Gemini Nano এবং Gemma 4-এর মধ্যে অন-ডিভাইস ইন্টেলিজেন্স কাজ করছে

সারা স্মুট

হ্যালো, টকে আপনাকে স্বাগত।

আমার নাম সারা এবং আমি Gemma-র মডেলিং সাইডের ইঞ্জিনিয়ারিং লিড।

আজ আমি এখানে আমাদের মডেল সম্পর্কে কথা বলতে এসেছি।

আমি এখন ক্ষমতা সম্পর্কে কথা বলব, কীভাবে আমরা মোবাইলের জন্য ডিজাইন করার কথা ভাবি।

আমি সেইসব টেকনিকের ব্যাপারে কথা বলব যা আমরা মডেলে তৈরি করি যাতে সেগুলি মোবাইলে দক্ষতার সাথে রান করে।

আপনি কীভাবে এটি অ্যাক্সেস করতে পারবেন এবং আমরা কীভাবে AICore-এর সাথে ইন্টিগ্রেট করি তা আমি দেখব।

এবং তারপরে, আমি কিছু ডেমো দিয়ে শেষ করব, যাতে মডেলটি কী করতে পারে এবং এর ক্ষমতা কী, সেই সম্পর্কে আপনাকে একটি ধারণা দিতে পারি।

তাই আমরা কোথায় যাচ্ছি তা বুঝতে, আমরা কোথায় ছিলাম তা বুঝতে সাহায্য করে।

আমরা ২০২৪ সালে Gemma 1 লঞ্চ করেছি।

আমরা ২ বিলিয়ন ও ৭ বিলিয়ন প্যারামিটার মডেল লঞ্চ করেছিলাম, শুধু টেক্সট, সেই সময় যা চলছিল তার তুলনায় খুব খুব ছোট সাইজ।

Gemma 1-এর পরে, আমরা Gemma 2 লঞ্চ করেছি, যা কিছু অতিরিক্ত ক্ষমতা চালু করেছে।

আমরা কোডিং চালু করেছি।

এছাড়াও, আমরা একটি বড় সাইজের মডেল, 27B, নিয়ে এসেছি যা Gemma সিরিজের ক্ষমতাকে সত্যিই অনেক বাড়িয়ে দিয়েছে।

কিছুক্ষণ পরে Gemma 3 লঞ্চ করা হয়েছে।

আবার, আমরা আরও ক্ষমতা, মাল্টিমোডাল এবং তারপরে একটি ছোট মডেল, একটি ২৭০ মিলিয়ন প্যারামিটার মডেল যোগ করেছি, কারণ আমরা বুঝতে পেরেছি যে ছোট মডেলগুলির সত্যিই অনেক ব্যবহারের ক্ষেত্র রয়েছে এবং আমরা সত্যিই যতটা সম্ভব অনলাইন মোবাইল ব্যবহারের ক্ষেত্র চালু করতে সাহায্য করার চেষ্টা করছি।

তাই প্রতিটি রিলিজের সাথে, আমাদের ক্ষমতা বৃদ্ধি পাচ্ছে এবং এটি ইচ্ছাকৃত।

আমরা যা করছি তা হল, আমরা সিঙ্গল-ডিভাইস হার্ডওয়্যারের জন্য ডিজাইন করছি এবং আমরা চেষ্টা করছি, মানে এর মধ্যে ফোন, ল্যাপটপ, GPU অন্তর্ভুক্ত এবং আমাদের লক্ষ্য একটি বড় মডেল তৈরি করা নয়, যদিও আমরা ১২ থেকে ২৭B পর্যন্ত গিয়েছি, আমাদের লক্ষ্য হল একই ফুটপ্রিন্টে প্রতিটি ইটারেশনের সাথে আরও বেশি ক্ষমতা ফিট করা, কারণ আমরা অন-ডিভাইস থাকতে চাই, আমরা লোকাল থাকতে চাই।

তাই, আমরা আরও বেশি দক্ষতার সাথে এটি করেছি।

আর আমি Gemma 4-এর জন্য আমরা নির্দিষ্টভাবে কী করেছি এবং কীভাবে করেছি সেই সম্পর্কে কথা বলতে চলেছি।

আমরা E2B লঞ্চ করেছি, আমি এক মিনিটের মধ্যে "E" ব্যাখ্যা করতে যাচ্ছি, আমরা E4B লঞ্চ করেছি, আমরা একটি 12B ইউনিফায়েড মডেল লঞ্চ করেছি, আমরা কেন এটি করেছি তা ব্যাখ্যা করেছি এবং তারপরে আমরা একটি MoE মডেলও লঞ্চ করেছি।

এইসব কিছু দক্ষতা প্রমাণ করতে এবং ডেভেলপারদের অ্যাপ ও অন্যান্য জিনিস তৈরি করার জন্য আরও বেশি ফ্লেক্সিবিলিটি দিতে সাহায্য করে।

তাই, ক্ষমতাগুলি আরও একটু ঘনিষ্ঠভাবে দেখে, এখানে আপনি সেই ক্ষমতাগুলি দেখতে পাবেন যা আমরা সময়ের সাথে সাথে যোগ করেছি।

আমি কয়েকটি বিষয় উল্লেখ করতে চাই, যেমন কনটেক্সটের দৈর্ঘ্য।

আমরা Gemma-র আগের ভার্সনের তুলনায় অনেক বেশি দীর্ঘ কন্টেক্সট দৈর্ঘ্য যোগ করেছি।

Gemma 4-এ ১২৮ K পর্যন্ত কনটেক্সট আছে।

আরও বড় মডেলের ক্ষেত্রে এই সংখ্যা ২৫৬ পর্যন্ত হতে পারে।

আমি উল্লেখ করব যে ML Kit কনটেক্সটের দৈর্ঘ্যের উপর একটি সীমা আরোপ করে, তাই আপনি ১২৮ দিয়ে লঞ্চ করতে পারবেন বলে আশা করার আগে আপনার বাজেট কত তা চেক করে নিন।

তবে, এটি আপনাকে দীর্ঘ ডকুমেন্ট পড়তে, কিছু বর্ধিত যুক্তি, ফাংশন কলিং করতে এবং মাল্টিমোডালিটি, ভিশন ও অডিও ব্যবহার করার জন্য যথেষ্ট বাজেট দিতে পারে।

ভিডিও হল একটি নতুন ক্ষমতা যা আমরা যোগ করেছি, আসলে Gemma 3n থেকে শুরু করে এবং আমরা Gemma 4-এর জন্য এতে আরও কিছুটা ঝুঁকেছি।

তাই এখন আমাদের মাল্টিলিঙ্গুয়াল সাপোর্ট আছে।

আমরা এখনও একাধিক ভাষায় ট্রেনিং দিচ্ছি, তাই আপনার কাছে বিল্ট-ইন ভাষা ও প্রি-ট্রেনড সহায়তা, দুটিই আছে।

আর এই সবকিছুই এখন ব্র্যান্ড-নিউ Apache 2 লাইসেন্সে আসছে, যা নিয়ে আমরা সত্যিই খুব উৎসাহিত, কারণ এটি আপনাকে অনেক বেশি নমনীয়তা দেবে যে আপনি এটি দিয়ে কী তৈরি করতে পারবেন এবং এটি ঘর্ষণকে অনেক কম করে দেয়।

মডেল তৈরি ও ডাউনলোড করা অনেক বেশি সহজ।

সারা স্মুট

ঠিক আছে, তাহলে ভিশন, ভিশন নিয়ে আমরা কী করব?

Gemma 4-এর জন্য বিশেষভাবে এই ভিশন, এতে পরিবর্তনশীল অ্যাস্পেক্ট রেশিও আছে।

তাই এটি যা করে তা হল এটি একটি ছবি নেয় এবং কিছু স্কুইশিং এবং এটিকে একটি বিশ্রী স্কোয়ারে স্কুইশ করার পরিবর্তে, আমরা মডেলটির আসল অ্যাস্পেক্ট রেশিও সংরক্ষণ করি।

এর অর্থ হল, আপনার টেক্সট বা অবজেক্ট বিকৃত হচ্ছে না।

এটি আসলে মডেলের ক্ষমতাকে নাটকীয়ভাবে উন্নত করে।

শেপ একই থাকে, এই পরিবর্তনশীল অ্যাস্পেক্ট রেশিওর মাধ্যমে OCR অনেক উন্নত হয়েছে।

এছাড়াও, ভিশন চার্ট, স্প্রেডশিট ও গ্রাফ পড়তে পারে।

এটি ভিজ্যুয়াল ইঙ্গিত থেকেও অনুবাদ করতে পারে, তাই আপনি শব্দের ছবি তুলতে পারেন এবং এটি আপনার জন্য সেগুলি অনুবাদ করতে পারবে।

এটি বাস্তব জগতের বিষয়েও যুক্তি দেয়।

এটি ছবি দেখতে পারে, ছবিতে কোন জিনিস কোথায় আছে তা বুঝতে পারে এবং ছবিতে কী আছে তাও বুঝতে পারে।

এটি অনেক কিছু করতে পারে।

আমাদের Gemma মডেলের আরেকটি কম পরিচিত ফিচার হল, আপনি ভিজ্যুয়াল টোকেন বাজেট সেট করতে পারবেন।

তাই, এই মুহূর্তে, আমি বলতে চাইছি যে ML টুলকিটে কী আছে তা চেক করে দেখুন, তবে আপনার কাছে একটি বড় রেঞ্জ রয়েছে।

আপনি যদি আরও বেশি রেজোলিউশনের ছবি বুঝতে পারার জন্য আরও বেশি পাওয়ার ও এনার্জি খরচ করতে চান, তাহলে আপনি তা সেট করতে পারেন।

আপনি যদি আপনি যদি এমন কোনও ব্যবহারের ক্ষেত্রে না হন যা আপনি সত্যিই কাজে লাগাতে চান, তাহলে আপনি ইমেজ টোকেন বাজেট অনেকটাই কমাতে পারেন এবং সেই ক্ষমতার অনেকটাই আবার দাবি করতে পারেন এবং আপনি জানেন, আপনার টেক্সট অ্যাপ্লিকেশনের জন্য মডেল কম্পিউট সাইকেলে।

অডিও আমাদের জন্য তুলনামূলকভাবে নতুন মোড।

আমরা প্রথমে এটি Gemma 3n-এ নিয়ে এসেছি।

Gemma 4-এর জন্য আমরা এখন সম্পূর্ণভাবে এর উপর নির্ভর করছি।

অডিও শুধুমাত্র আমাদের সবচেয়ে ছোট মডেলে আছে: আমাদের E2B এবং আমাদের E4B এবং আমাদের 12B মডেল।

এটি অডিও ফাইলের উপর ভিত্তি করে সম্পূর্ণ ট্রান্সক্রাইব করবে।

এটি স্পিচ অনুবাদ করে।

এটি ৩৫টিরও বেশি ভাষায় কাজ করে।

এছাড়াও, আমরা এটিকে ১৪০টিরও বেশি ভাষায় প্রি-ট্রেন করেছি, তাই আপনি যদি এমন কোনও ভাষা ব্যবহার করতে চান যা আমাদের ৩৫টি ভাষার মধ্যে নেই, তাহলে আপনি ফাইন-টিউন করতে পারবেন এবং এমন একটি ভাষার জন্য সত্যিই ভাল সহায়তা পাবেন যা আউট অফ দ্য বক্স কাজ করে না।

আমরা এজেন্টিক রিজনিং যোগ করেছি।

Gemma 4-এও এটি নতুন।

এটি প্ল্যান করে।

এটি একাধিক ধাপের কাজ করে।

এটি টুল ব্যবহার করে।

এটি যথাযথভাবে নির্দেশাবলী অনুসরণ করে।

এটি স্ট্রাকচার্ড JSON রিটার্ন করে।

এটি এমন সব কাজ করতে পারে যা আপনি একটি এজেন্টিক মডেল থেকে আশা করেন।

আমি বলব, আপনি ML টুলকিট ব্যবহার না করলে, আপনি নিজেই সবকিছু করছেন, চ্যাট টেমপ্লেটের দিকে মনোযোগ দিচ্ছেন কিনা তা নিশ্চিত করুন।

চ্যাট টেমপ্লেট ব্যবহার করা কঠিন।

সেগুলি যত্ন সহকারে ব্যবহার করতে হবে।

আপনি ML Toolkit ব্যবহার করলে, এই সবকটি কাজ আপনার জন্য করা হয়।

এবং সবশেষে, Gemma টেক্সট বোঝার ক্ষেত্রে দুর্দান্ত পারফর্ম্যান্স প্রদান করা চালিয়ে যাচ্ছে।

এবং দীর্ঘতর প্রসঙ্গের সাথে, আমরা এখন কোড, দীর্ঘ ডকুমেন্ট বিশ্লেষণ করতে, অনুবাদ করতে সক্ষম।

আসলে, কোডিং কার্যকারিতার সাথে, Android Studio এখন অফলাইন মোডে Gemma 4-এ কাজ করে।

তাই, আপনি অফলাইনে Android Studio ব্যবহার করতে চাইলে, আপনার কোডিংয়ের কাজ করার জন্য এটি Gemma 4 দ্বারা পরিচালিত হবে।

আর একটি মূল পয়েন্ট: E2B এবং E4B যথেষ্ট ছোট, তাই এটি আপনার ফোনে ভালভাবে ফিট হবে এবং চলবে।

তাই, এটি অনেক ক্ষমতা সম্পন্ন একটি ছোট ফুটপ্রিন্ট।

এটি আসলে একটি অত্যন্ত কঠিন ইঞ্জিনিয়ারিং চ্যালেঞ্জ, তাই Gemma টিমে আমরা এর জন্য অত্যন্ত গর্বিত।

এখানে কিছু উদাহরণ দেওয়া হল যা এর ক্ষমতা প্রদর্শন করে।

বাঁদিকে, আমরা দেখাই যে মডেলটি ল্যাপটপ খুঁজে পেতে এবং ল্যাপটপটি কোথায় আছে তার স্থানাঙ্ক দেখাতে সক্ষম।

এবং তারপরে, অ্যাপটি একটি পয়েন্টার আঁকতে পারে, ল্যাপটপটি কোথায় আছে তা দেখাতে পারে।

মাঝখানে, মডেলটি অবজেক্ট শনাক্ত করতে এবং তারপরে সেই অবজেক্টের চারপাশে বাউন্ডিং বক্স আঁকতে সক্ষম।

এটির জন্য কিছু আকর্ষণীয় অ্যাপ্লিকেশন রয়েছে: অবজেক্ট ডিটেকশন, অবজেক্ট এড়ানো।

এটি সত্যিই একটি চমৎকার ক্ষমতা।

ডানদিকে, মডেল কীভাবে টেক্সট পড়তে পারে তা দেখানো হচ্ছে।

তাই, এর অনুবাদ হল "সাবধান, বিড়াল আছে।"

এটি ছবিতে কী ঘটছে তাও বুঝতে পারে এবং এই বিড়ালটিকে এই সত্যিই মজার অবস্থানে দেখে এবং এটি অনুবাদ করতে পারে এবং উল্লেখ করতে পারে যে এটি একটি পাঞ্চলাইন যা নিচের টেক্সটে বলা হয়েছে, "কিছু ঘটতে পারে।"

আমার মনে হয় এটা বেশ কিউট।

তাই, পয়েন্ট করা, অবজেক্ট শনাক্ত করা, এটি OCR করে এবং এটি অনুবাদ করে, কোনও বিশেষ ভিশন পাইপলাইন ছাড়াই।

ঠিক আছে, এবার মূল্যায়ন সংক্রান্ত সংখ্যাগুলি দেখা যাক।

আপনি জানেন, আমি ক্ষমতা প্রদর্শন করা সবসময় গুরুত্বপূর্ণ, কিন্তু অনেক লোক এগুলি দেখে এবং আমি মনে করি এখানে আপনি মডেলগুলির শক্তি দেখতে পাবেন।

আপনি যদি শেষ দুটি কলাম দেখেন, তাহলে বুঝতে পারবেন যে রিজনিং, কোডিং ও এজেন্টের মতো কাজে E2B মডেল Gemma 3 27B-এর চেয়েও ভালো পারফর্ম করে, যদিও Gemma 3 27B অনেক বড় মডেল।

তাই, LiveCodeBench-এর লাইভ দেখুন।

Gemma 4-এর জন্য আমরা ৪৪টি এবং Gemma 3 27B-এর জন্য ২৯টি পেয়েছি।

AIME-ও অনেক বেশি।

Tau2, যা একটি এজেন্টিক ইভাল, সেটিও অনেক বেশি, যা সেখানে অনেক শক্তি দেখাচ্ছে।

আমরা যদি আরও কয়েকটি প্যারামিটার যোগ করি, তাহলে আমাদের E4B মডেল প্রতিটি বেঞ্চমার্কে আমাদের 27B মডেলকে দৃঢ়ভাবে পরাজিত করে।

তাই, Gemma 3 থেকে Gemma 4-এ আপগ্রেড করার সময়, আমরা একই সংখ্যক প্যারামিটারে অনেক বেশি ক্ষমতা প্যাক করেছি।

সারা স্মুট

তাহলে, আমরা এটি কীভাবে করব?

মডেলকে আরও বড় না করে আরও দক্ষ করে তোলা একটি চ্যালেঞ্জিং সমস্যা।

আপনি যদি শুধু হার্ডওয়্যার দেখেন, তাহলে দেখবেন যে ফোনে অনেক কম মেমরি থাকে।

আমি বলতে চাইছি, আমরা ১২ থেকে ১৬ জিবি বনাম ৮০-এর কাছাকাছি দেখছি যা আপনি সার্ভারে পেতে পারেন।

ব্যান্ডউইথও অনেক, অনেক কম: ৫০ থেকে ৮০ জিবি বনাম টেরাবাইট যা আপনি একটি সার্ভারে পাবেন।

আর তারপর বিদ্যুতের গুরুতর সমস্যা তো আছেই।

তাই মডেল চালানোর সময় আমাদের এইসব বিষয় মাথায় রাখতে হবে।

এবং আমি আপনাকে যে প্রতিটি কৌশল দেখাতে চলেছি তা এই সীমাবদ্ধতাগুলির প্রত্যেকটিকে টার্গেট করে এবং মোবাইল হার্ডওয়্যারে থাকার জন্য মডেলটিকে আরও অনুকূল করতে সাহায্য করে।

ঠিক আছে, প্রথম যে কাজটি আমরা করি, প্রতিটি সাইজের জন্য আমাদের একটি আর্কিটেকচার নেই।

প্রতিটি মডেল সাইজের নিজস্ব আলাদা আর্কিটেকচার আছে।

তাই আমাদের E2B, E4B-তে কিছু বিশেষ এলিমেন্ট আছে, যেগুলির উপর আমি আমার বাকি বক্তৃতায় প্রাথমিকভাবে ফোকাস করতে যাচ্ছি, তবে আমি মনে করি এটি জানা সহায়ক যে আমাদের 12B মডেলে কোনও ভিশন এনকোডার নেই।

তাই এই মডেলের ক্ষেত্রে, আমরা ডিপ্লয়মেন্ট সহজ করতে এবং মডেলের জন্য প্রয়োজনীয় প্যারামিটারের সংখ্যা কমাতে ভিশন এনকোডার সরিয়ে দিয়েছি।

এটি সাধারণত আমাদের ল্যাপটপ হার্ডওয়্যারকে টার্গেট করে।

আমাদের বড় মডেলগুলি সবচেয়ে বেশি ক্ষমতা দেখানোর জন্য রয়েছে।

এগুলি ফুল ডেন্স এবং মিক্সচার অফ এক্সপার্টস মডেল, দুটিতেই উপলভ্য।

মিক্সচার অফ এক্সপার্টস মডেল ল্যাপটপেও চালানো যেতে পারে এবং আমরা এটি তৈরি করেছি কারণ এক্সপার্ট আর্কিটেকচার থেকে আপনি কম লেটেন্সি পান।

তাই, বাকি আলোচনায় আমি মোবাইল মডেলের উপর ফোকাস করব, যেগুলি হল E2B, E4B এবং আপনার ফোনে যাতে সেগুলি খুব ভালোভাবে কাজ করে তার জন্য আমরা কী করেছি সেই সম্পর্কে কথা বলব।

ঠিক আছে, এখান থেকেই "E" এসেছে, অর্থাৎ প্রতি-লেয়ার এম্বেডিং।

এটি একটি আকর্ষণীয় কৌশল যা আমাদের কাছে আছে, একটি উদ্ভাবনী কৌশল যা আমরা মডেলগুলিতে যোগ করেছি।

আর আপনি যদি মডেলের কাজ করার পদ্ধতি সম্পর্কে ভাবেন, তাহলে মডেলকে আরও স্মার্ট হতে আরও প্যারামিটার প্রয়োজন।

এবং আমরা দেখছি আমরা প্যারামিটার দক্ষতায় আরও ভালো হচ্ছি, কিন্তু, সাধারণভাবে বলতে গেলে, আপনি মডেলটি আরও ভালো করতে চান, আপনার আরও প্যারামিটার প্রয়োজন।

তাই PLE যা করে তা হল, "ঠিক আছে, আমাদের আরও প্যারামিটার প্রয়োজন।"

কিন্তু মডেলে সরাসরি আরও প্যারামিটার যোগ করার পরিবর্তে, আমাদের কাছে একটি অতিরিক্ত এম্বেডিং টেবিল আছে।

এবং এই এম্বেডিং টেবিল প্রতিটি লেয়ারের জন্য রিড করা হয়।

তাই আপনি যা করতে পারেন তা হল, মডেলের প্রয়োজন হবে এমন টোকেনগুলি আপনার কাছে থাকলে, আপনি প্রদত্ত ইনপুট সিকোয়েন্সের জন্য প্রয়োজনীয় প্রতি-লেয়ার এম্বেডিংগুলি টেনে আনতে পারেন এবং তারপরে আপনি সেই এম্বেডিংগুলি মডেলে লোড করতে পারেন।

তাই এটি আপনাকে একটি কার্যকর ২ বিলিয়ন প্যারামিটার মডেল দেয়, যদিও প্যারামিটারের সংখ্যা নিজেই কিছুটা বড়।

তাই আমরা এটিকে কার্যকরভাবে ২ বিলিয়ন প্যারামিটার বলি, কারণ শুধুমাত্র সেই ২ বিলিয়ন আপনার মেমরিতে লোড হয়।

এম্বেডিং টেবিল সাধারণত ফ্ল্যাশে সেভ করা হয়, RAM-এ নয়।

তাই আপনি সত্যিই ব্যান্ডউইথ সীমিত করছেন, কারণ আপনাকে অনেক প্যারামিটার ট্রান্সফার করতে হচ্ছে না, তবে আপনি এখনও অনেক বড় মডেলের সম্পূর্ণ মডেল ক্ষমতা পাচ্ছেন।

এছাড়াও, এটি ডিভাইসে কম RAM ব্যবহার করে।

এর পরে আমরা একটি ড্রাফটার মডেল যোগ করেছি।

Gemma-র জন্য আমরা যে ড্রাফ্টার মডেল ব্যবহার করি সেটি হল মাল্টি-টোকেন প্রেডিকশন মডেল।

এবং এটি এক ধরনের স্পেকুলেটিভ ডিকোডিং।

এটি যা করে তা হল এটি আপনাকে দেয় এটি একটি সাধারণ অটোরিগ্রেসিভ মডেলের চেয়ে প্রতি পাসে আরও বেশি টোকেন ভবিষ্যদ্বাণী করে।

তাই সাধারণ অটোরিগ্রেসিভ মডেলগুলো যেখানে একবারে শুধু একটি টোকেন নিয়ে কাজ করে, সেখানে আপনাকে প্রতিটি টোকেনের জন্য পুরো মডেলটি খতিয়ে দেখতে হবে।

এই ড্রাফটার বা MTP যা করে তা হল এটি একবারে তিন বা চারটি টোকেন অনুমান করবে এবং তারপরে আমরা সেই টোকেনগুলি যাচাই করার জন্য মূল মডেলটি ব্যবহার করি।

এবং সেই টোকেনগুলি গ্রহণ করা হলে, সেগুলি ব্যবহার করা হয় এবং তারপরে আমরা সাধারণত একটির পরিবর্তে প্রতি পাসে দুই, তিন, চারটি টোকেন পেতে পারি।

এটি একটি সাধারণ কৌশল।

Drafter মডেল উপলভ্য আছে।

Gemma-র জন্য আমরা যা করেছি তা আলাদা এবং বিশেষ, তা হল আমরা বেস মডেল থেকে KV ক্যাশে শেয়ার করি।

তাই E2B-এর জন্য আমরা সম্পূর্ণ প্রিফিল করি, ক্যাশে তৈরি করি এবং তারপর আমাদের ড্রাফটার মডেল সেই KV ক্যাশে ব্যবহার করে।

তাই, আপনি আসলে একশো-টোকেন বা হাজার-টোকেন প্রম্পটে প্রায় ১৩০ মিলিসেকেন্ড সাশ্রয় করছেন, কারণ আপনাকে ড্রাফটার মডেলের জন্য প্রিফিল আবার তৈরি করতে হচ্ছে না।

তাই আমাদের ড্রাফটার মডেল অন্যান্য ড্রাফটার মডেলের চেয়ে ৩০ থেকে ৪০ গুণ বেশি দ্রুত কাজ করে।

আপনি যদি সংখ্যাগুলি দেখেন, তাহলে আপনি দেখতে পাবেন যে আমরা যখন ড্রাফটার মডেল ব্যবহার করি তখন স্পিড আপ হয়।

বেশিরভাগ ড্রাফ্টার মডেলের তুলনায় আমরা ৪০ থেকে ৬০% বেশি গ্রহণযোগ্যতার হার পাই।

ড্রাফটার মডেল ব্যবহার করার ফলে ডিকোড লেটেন্সি ৪০% ৪০ ৪০% কম হয় এবং এই ড্রাফটার মডেল ব্যবহার করার ফলে আমরা ৩০ থেকে ৪০% কম বিদ্যুৎ ব্যবহার করি।

তাই আপনি আরও দ্রুত উত্তর, ব্যাটারির দীর্ঘ আয়ু পাবেন এবং কোনও কোড পরিবর্তন করতে হবে না।

এটি একটি মোটামুটি সহজ এবং ভালভাবে কাজ করে এমন টুল।

সারা স্মুট

আমাদের পরবর্তী উদ্ভাবন হল কোয়ান্টাইজেশন।

সাধারণত, কোয়ান্টাইজেশনও কোনও নতুন টেকনিক নয়, তবে আমাদের মোবাইল মডেলের জন্য আমরা অতিরিক্ত বিশেষ যত্ন নিই যাতে আমাদের কাছে এমন একটি কোয়ান্টাইজেশন থাকে যা মোবাইল হার্ডওয়্যারের সাথে সত্যিই ভাল কাজ করে।

আমাদের QAT মডেলের ক্ষেত্রে আমরা কয়েকটি বিষয় বিবেচনা করি।

প্রথমত, আমরা QAT করি, যা হল কোয়ান্টাইজেশন-অ্যাওয়ার ট্রেনিং।

এর অর্থ হল, ট্রেনিং দেওয়ার সময় আমরা কোয়ান্টাইজ করার বিষয়টি বিবেচনা করি এবং স্বীকার করি।

তাই এটি মডেলকে বুঝতে সাহায্য করে যে প্যারামিটারগুলি বাকেট করা হবে এবং এটি কোয়ালিটি বজায় রাখতে সাহায্য করে।

এছাড়াও, এটি কোয়ালিটি বজায় রাখতে সাহায্য করে এবং সাধারণত আমরা মডেলের সাইজ অনেক ছোট করে দিতে পারি।

তাই আপনি যদি ১৬-বিট মডেল থেকে ৪-বিট মডেলে যান এবং সব কোয়ালিটি বজায় রাখেন, তাহলে আমরা সত্যিই অনেক মেমরি বাঁচাতে পারব।

তাই E2B দুটি ভিন্ন কোয়ান্টাইজেশনে আসে।

আমাদের কাছে Q4_0 ফর্ম্যাট আছে।

এটি আরও সাধারণ-উদ্দেশ্যের কোয়ান্টাইজেশন।

এটি কাস্টমাইজ করা যায়।

এটি অন্যান্য কোয়ান্টাইজেশন লাইব্রেরির সাথে খুব ভালভাবে কাজ করে।

এটি আপনাকে প্লে করতে এবং কোয়ান্টাইজেশন করতে দেয় যা আপনার ব্যবহারের ক্ষেত্রে ভাল কাজ করতে পারে।

এছাড়াও, আমাদের কাছে একটি বিশেষ কোয়ান্টাইজেশন আছে, আমরা এটিকে আমাদের মোবাইল কোয়ান্ট বলি, যা কোয়ান্টাইজেশনের ক্ষেত্রে খুবই অ্যাগ্রেসিভ এবং এটিকে অপ্টিমাল করার জন্য আমরা অনেক রিসার্চ করেছি।

বেশিরভাগ রানটাইমে এটি কাজ করে না, তাই ML Kit এবং Android Studio-তে এটি ব্যবহার করা যায়।

আপনি সেখানে এটি ব্যবহার করতে পারবেন।

আমরা যে উদ্ভাবনগুলি তৈরি করেছি তার মধ্যে কিছু: আমরা স্ট্যাটিক, অ্যাক্টিভেশন কোয়ান্ট ব্যবহার করি।

তাই কোয়ান্টাইজেশন করার সময়, সাধারণত মডেল, আপনি যদি ডায়নামিক রেঞ্জ অ্যাক্টিভেশন করেন, তাহলে আপনাকে ফ্লাইতে রেঞ্জ গণনা করতে হবে এবং তারপর কোয়ান্টাইজেশন করার জন্য সেটি ব্যবহার করতে হবে।

স্ট্যাটিক রেঞ্জ কোয়ান্ট, আমরা আপনার জন্য এটি করেছি এবং তাই এটি শুধু সঞ্চয়, আপনাকে রেঞ্জগুলি প্রি-কম্পিউট করতে হবে না।

আমরা অন্য যে কাজটি করেছি তা হল চ্যানেল-ভিত্তিক কোয়ান্টাইজেশন।

আমরা চ্যানেল-ভিত্তিক পদ্ধতিতে মডেলটি স্ট্রাকচার ও কম্প্রেস করেছি যা বেশিরভাগ মোবাইল হার্ডওয়্যারের সাথে খুব ভালভাবে কাজ করে।

আমরা ২-বিট কোয়ান্টাইজেশনকে টার্গেট করেছি।

তাই, টু-বিট কোয়ান্টাইজেশন সাধারণত বেশ লসি হয়।

PTQ করা খুব কঠিন।

আমরা রিসার্চ করেছি এবং আমাদের মডেলগুলি যথেষ্ট ভালোভাবে বুঝি, তাই আমরা জানি যে প্যারামিটারগুলি কোথায় ২-বিট পর্যন্ত কম্প্রেস করা যেতে পারে এবং কোয়ান্টাইজেশন-অ্যাওয়ার ট্রেনিংয়ের মাধ্যমে এটি ভালোভাবে করা হয়েছে।

এটি অনেক স্টোরেজ বাঁচায় এবং প্রায় সব কোয়ালিটিই বজায় রাখে।

তাই আমাদের, আমাদের বিশেষ কোয়ান্ট মডেল এক গিগাবাইটেরও কম, যা আমাদের কাছে থাকা ৪-বিট কোয়ান্টের চেয়েও বেশ ছোট।

আমাদের কাস্টম কোয়ান্টাইজেশনে আমরা আরেকটি জিনিস তৈরি করেছি, তা হল এম্বেডিং ও KV ক্যাশে কোয়ান্টাইজেশন।

এই দুটি কাজ করার জন্য অনেক কৌশল আছে।

আমরা রিসার্চ করে দেখেছি যে আমাদের মডেলের সাথে এটি খুব ভালভাবে কাজ করবে।

এবং আমরা সেটিকে এই চেকপয়েন্টে বান্ডেল করেছি।

তাই, এই সবকিছুর ফলে আপনার অ্যাক্টিভ মেমরি নাটকীয়ভাবে কমে যায়।

এটি, প্যারামিটার এদিক ওদিক সরানোর জন্য ব্যান্ডউইথে আপনার অনেক খরচ বাঁচায়।

এবং এটি আপনাকে আপনার দীর্ঘ চ্যাট এবং জিনিসগুলি পরিচালনা করতে এবং রাখতে দেয়, আপনি জানেন, স্থান ফুরিয়ে না গিয়ে।

সারা স্মুট

ঠিক আছে, তাহলে আমরা AICore-এর মাধ্যমে ইন্টিগ্রেট করি।

তাই AICore-এর সাথে আপনি Gemini Nano 4 মডেল পাবেন।

Gemini Nano 4 হল Gemma যা AICore-এর মাধ্যমে তৈরি ও রান করা হয়।

AICore আপনার জন্য কিছু ভালো কাজ করে।

এটি সবচেয়ে সহজ পথ এবং আমি অন্য পথ সম্পর্কে খুব দ্রুত আলোচনা করতে চলেছি।

অন্য পথটি LiteRT-এর মাধ্যমে যাচ্ছে, যা আরও কাস্টম, হ্যান্ডস-অন পথ।

আপনি যদি এই পদ্ধতি অনুসরণ করেন, তাহলে মডেলটি আপনার অ্যাপের সাথে বান্ডেল করা হবে।

এটি শেয়ার করা, অন-ডিভাইস হোস্ট করা মডেল ব্যবহার করবে না।

তাই, আপনার মেমরি সম্পর্কে সচেতন থাকতে হবে।

আপনাকে বিদ্যুতের ব্যবহার সম্পর্কে সচেতন হতে হবে।

আপনাকে ফোনের রিসোর্স এবং আপনি কীভাবে এটি ম্যানেজ করেন তার সাথে আরও অনেক বেশি হ্যান্ডস-অন হতে হবে।

তবে এটি আপনাকে সম্পূর্ণ নিয়ন্ত্রণ দেয়।

আপনি LiteRT-এর সাথে ফাইন-টিউন ব্যবহার করতে পারেন এবং তারপরে এটি আপনাকে কাস্টমাইজেশনের জন্য আরও বিকল্প দেয়।

আপনি AICore-এর মাধ্যমে গেলে, ML টুলকিট API ব্যবহার করতে পারবেন এবং এটি সবচেয়ে সহজ উপায়।

এবং আপনি যখন এটি ব্যবহার করেন, তখন আমি যে সমস্ত কার্যকারিতা সম্পর্কে কথা বলেছি তার অনেক কিছুই আপনি পান, প্রতি-লেয়ার এম্বেডিংগুলি যথাযথভাবে পরিচালনা করা হয় এবং আমরা রানটাইম প্যারামিটারগুলিকে RAM-এ না থাকার জন্য সমর্থন করি, এম্বেডিং প্যারামিটারগুলি RAM-এ না থাকার জন্য।

এতে আগে থেকেই MTP বিল্ট-ইন আছে, তাই এটি অটোমেটিক কাজ করবে।

এটি আমাদের মোবাইল কোয়ান্টও ব্যবহার করছে।

এবং এটি এমন একটি রানটাইমে চলছে যা হোস্ট করার জন্য এবং সেই কোয়ান্টাইজেশনের সাথে ভালভাবে কাজ করার জন্য ডিজাইন করা হয়েছে।

ঠিক আছে, তাই এটি আসলে ২-বিট প্রিসিশনে রান করতে এবং কাজ করতে পারে, যেখানে আমাদের এটি প্রয়োজন, যা এটিকে সত্যিই বেশ দক্ষ করে তোলে।

আপনি যদি আরও গভীরে যেতে চান, তাহলে আরও দুটি আলোচনা আছে যা তারা হয় এসেছে বা আসছে।

ডেভিডের ML Kit সেশনে Gemini Nano 4 পাথ, কীভাবে এবং কীভাবে ML Kit-এর মাধ্যমে মডেলটি ব্যবহার করতে হয় তা কভার করে এবং তারপরে চিন্তন এবং ফার্গুসের LiteRT সেশনে LiteRT কীভাবে ব্যবহার করতে হয় এবং LiteRT-এর মাধ্যমে কীভাবে ডেভেলপ করতে হয় তা কভার করতে চলেছে।

সুতরাং, Gemma-র জন্য অনুরোধের ফ্লো এইরকম দেখতে হয়।

একটি API সারফেস আছে যা কিছু ইনপুট প্রসেসিংয়ের মাধ্যমে যায় এবং এটি আপনার জন্য বিল্ট-ইন।

ইনপুট প্রসেসিংয়ের অংশ হল নিরাপত্তা সিগন্যাল।

AICore-এর মাধ্যমে আপনি কিছু বিল্ট-ইন নিরাপত্তা পান।

এটি চেক করে যে আমরা মডেলে অনেক নিরাপত্তা তৈরি করেছি।

এটি মোবাইল অ্যাপের জন্য সুরক্ষার একটি অতিরিক্ত স্তর।

এটি ফিচার কনফিগারেশন এবং তারপর আমাদের অন-ডিভাইস রানটাইমের মাধ্যমে যাবে।

আউটপুটের ক্ষেত্রেও এটি আবার নিরাপত্তা চেক করে।

এটি আউটপুট সিগন্যাল চেক করে দেখে যে নিরাপদ আউটপুট তৈরি হচ্ছে কিনা।

এটিও, মডেলে আমরা যা তৈরি করেছি তার বাইরে সুরক্ষার একটি অতিরিক্ত স্তর।

এটি আপডেটও করে এবং বিভিন্ন অ্যাপ জুড়ে শেয়ার করা হয়।

তাই, আপনি যদি বিশেষ করে একাধিক অ্যাপ তৈরি করেন অথবা আপনি যদি বান্ডেল করা মডেল ম্যানেজ করতে না চান, তাহলে এটি সত্যিই একটি দুর্দান্ত উপায় এবং আপনি সরাসরি বক্সের বাইরে অনেক বিল্ট-ইন কার্যকারিতা পেতে চলেছেন।

সারা স্মুট

ঠিক আছে, আমি ডেমো শুরু করতে চলেছি।

এটি একটি ভয়েস অ্যাসিস্ট্যান্ট।

আমি এটি ল্যাপটপে দেখাব।

আমি চাই আপনি কিছু জিনিস লক্ষ্য করুন, এটি সম্পূর্ণ লোকাল, এটি ডিভাইসে চলছে।

VAD ব্যবহার করে এটি ক্যাসকেড করা হয়েছে।

এটি STT-এর মাধ্যমে যায়, তারপর এটি Gemma-তে যায় এবং তারপর এটি TTS-এর মাধ্যমে যায়, যা হল টেক্সট-টু-স্পিচ মডেল।

এটি স্ট্রিমিং করছে এবং E2B মডেলেও চলছে।

সুতরাং, এটি ল্যাপটপে চলছে, তবে এটি ফোনে চলা মডেলের মতোই।

এইসব কিছু ফোনে করা যেতে পারে।

এই নির্দিষ্ট ডেমোটি LiteRT-এর মাধ্যমে তৈরি করা হয়েছে।

ML Kit-এর মাধ্যমেও তৈরি করা যেতে পারে।

লেটেন্সি, সার্ভার রাউন্ড ট্রিপ না থাকা এবং এটি কীভাবে বাধা সামলায় তা দেখুন।

হ্যালো Gemma, তোমার সম্পর্কে আমাকে একটু বলো।

আমি Gemma 4, Google DeepMind-এর তৈরি করা লার্জ ল্যাঙ্গুয়েজ মডেল।

তথ্য প্রদান করতে এবং টাস্ক সম্পূর্ণ করতে আমি টেক্সট ও ছবি প্রসেস করি।

ঠিক আছে।

শেক্সপিয়র সম্পর্কে আমাকে কিছু বলতে পারবে?

উইলিয়াম শেক্সপিয়ার ছিলেন একজন ইংরেজ নাট্যকার এবং কবি যাকে ইংরেজি ভাষার সর্বশ্রেষ্ঠ লেখক হিসেবে ব্যাপকভাবে গণ্য করা হয়।

এক মিনিট, আর একবার বলছি।

তুমি কি জানো?

আমি সৌরজগতের ব্যাপারে জানতে চাই।

আপনি কি আমাকে সেই সম্পর্কে বলতে পারেন?

সৌরজগতে সূর্য এবং মহাকর্ষীয় বলের মাধ্যমে এর সাথে যুক্ত সবকিছু রয়েছে, যার মধ্যে আটটি গ্রহ, বামন গ্রহ, চাঁদ, গ্রহাণু এবং ধূমকেতু অন্তর্ভুক্ত।

দারুণ।

ব্ল্যাক হোল কীভাবে কাজ করে তা কি তুমি ব্যাখ্যা করতে পারবে?

কোনও বিশাল নক্ষত্র যখন নিজের মাধ্যাকর্ষণের চাপে ভেঙে পড়ে, তখন ব্ল্যাক হোল তৈরি হয়। এর ফলে স্পেসটাইমের এমন একটি অঞ্চল তৈরি হয় যেখানে মাধ্যাকর্ষণ এতটাই শক্তিশালী হয় যে আলো সহ কোনও কিছুই সেখান থেকে বেরিয়ে আসতে পারে না।

দারুণ ব্যাপার।

ধন্যবাদ।

আপনাকে স্বাগত।

আপনার আর কোনও প্রশ্ন আছে যার উত্তর আমি দিতে পারি?

ঠিক আছে।

অডিও অ্যাসিস্ট্যান্ট আছে।

ঠিক আছে, পরেরটা।

এটি ভিডিওর ক্ষমতা ব্যবহার করে একটি লোকাল অ্যাসিস্ট্যান্ট হতে চলেছে।

এটি সম্পূর্ণ অফলাইন এবং এই পয়েন্টটি সত্যিই বোঝাতে, ডেমোটি ক্যাম্পিং করার সময় দেখানো হয়েছে, সম্ভবত বন্য পরিবেশে।

যেসব বিষয়ে আপনি মনোযোগ দিতে চান, সেগুলি E4B মডেলের উপর ভিত্তি করে তৈরি করা হয়েছে।

এটি স্বাভাবিকভাবে কথা বলে।

আমরা এটিকে শেখাব কীভাবে কাজ করতে হয়।

এটি ব্যাকগ্রাউন্ডে টুল কল ব্যবহার করছে এবং ফোনের বিভিন্ন জিনিস অ্যাক্সেস করতে পারছে।

এবং এটি বেশ কৌতুকপূর্ণ।

হ্যালো Gemma, আমাদের কি এখন ইন্টারনেট আছে?

না, এই মুহূর্তে আমাদের কোনও ইন্টারনেট কানেকশন নেই।

এই সতর্কতাটি কী সম্পর্কে?

এটি স্প্যানিশ ভাষায়।

ওই চিহ্নটি হল পুমা হ্যাবিট্যাট সম্পর্কে সতর্কতা।

এটি পরামর্শ দেয় যে পুমা স্থানীয় পরিবেশের অংশ এবং আপনি যদি কোনও পুমার মুখোমুখি হন তবে আপনার সতর্ক হওয়া উচিত।

এই ফাংশনের ডেরিভেটিভ কী?

x স্কোয়ার্ড প্লাস 7x প্লাস 10-এর ডেরিভেটিভ হল 2x প্লাস 7।

এটি মজার।

ওহ, হ্যালো।

হ্যালো সিন্ডি।

Gemma, আজ রাতে আমাদের গ্রুপ হাইকিং কখন?

আপনার গ্রুপ হাইকিং সন্ধ্যা ৬:০০টায় শিডিউল করা হয়েছে।

আজ।

এটি কি পুমা?

না, ওটা একটা কুকুর।

সোনা বাবা।

সারা স্মুট

ঠিক আছে, তৈরি করা শুরু করুন।

এখানে উপরে যে লিঙ্কগুলি আছে, সেগুলি আসলে চেকপয়েন্টের লিঙ্ক।

আপনি যদি সরাসরি চেকপয়েন্ট এবং আমাদের মডেল কোড দেখতে চান, তাহলে তা উপলভ্য আছে।

আপনি ML ব্যবহার করতে পারেন-- Gemma, Gemini Nano 4, ML Kit লিঙ্ক আছে।

চেকপয়েন্টগুলি Hugging Face-এ রয়েছে, আমাদের কোড Transformers কোডবেসে রয়েছে।

আমরা কী করেছি তা আপনি দেখতে পারেন।

এছাড়াও, আপনি Kaggle থেকে চেকপয়েন্ট পেতে পারেন।

আমি আবার আপনাকে মনে করিয়ে দিতে চাই, ML Kit সম্পর্কে আরও জানতে চাইলে, ডেভিডের ML Kit প্রেজেন্টেশন দেখুন।

এবং তারপরে আমাদের কাছে চিন্তন এবং ফার্গাসের LiteRT প্রেজেন্টেশনও রয়েছে।

LiteRT-এর মাধ্যমে আপনার অ্যাপে কীভাবে মডেল অ্যাক্সেস ও ব্যবহার করবেন তা দেখতে চাইলে।

ধন্যবাদ।

আপনারা সবাই কী তৈরি করতে চলেছেন তা দেখার জন্য আমি সত্যিই খুব উৎসুক।