ভার্চুয়াল ভয়েস এজেন্টে আল্ট্রা-লো লেটেন্সি ও ক্লাউড ইকোনমিক্সের মধ্যে ভারসাম্য বজায় রাখা

Devin Reimer

ভার্চুয়াল ভয়েস এজেন্টে আল্ট্রা-লো লেটেন্সি ও ক্লাউড ইকোনমিক্স ব্যালেন্স করার বিষয়ে স্বাগতম।

আমি ডেভিন রেইমার।

আমি AstroBeam-এর প্রতিষ্ঠাতা ও সিইও।

এর আগে আমি Owlchemy Labs-এর সিইও এবং সহ-প্রতিষ্ঠাতা ছিলাম, যা সম্ভবত জব সিমুলেটরের জন্য সবচেয়ে বেশি পরিচিত।

তাই, AstroBeam-এ আমরা গেমে রিয়েল-টাইম AI তৈরি করার উপর ফোকাস করছি।

বিশেষ করে, আমরা ইনপুট হিসেবে ভয়েসের উপর ফোকাস করছি।

আমরা এখনও পর্যন্ত দুটি টাইটেল রিলিজ করেছি, Stellar Cafe, যা VR এবং পিসি (PC)-তে উপলভ্য।

এটি এমন একটি গেম যেখানে আপনি স্পেস স্টেশন ক্যাফেতে রোবটদের সাথে কথা বলেন এবং তাদের সমস্যা সমাধান করতে সাহায্য করেন।

এটি ১০০% ভয়েস দ্বারা পরিচালিত।

আপনি শুধু নিজের ভয়েস ব্যবহার করে মেনু ও নেভিগেশন সহ পুরো জিনিসটি চালাতে পারবেন।

আমাদের পরবর্তী গেম, Robo Detective, যা আমরা আজই ঘোষণা করেছি, Android XR এবং বিশেষ করে XREAL-এর Project Aura-এর জন্য তৈরি করা হয়েছে।

এই গেমে, আপনি একজন গোয়েন্দার ভূমিকায় অভিনয় করেন যিনি রোবট পার্টনারের সাথে কাজ করেন। রোবট পার্টনার রোবটের ইন্টারভিউ নিতে সাহায্য করে যাতে রোবটের করা অপরাধের সমাধান করা যায়। এই গেমটিও ১০০% ভয়েস-চালিত।

তাই, ভয়েস এজেন্টরা সত্যিই কঠিন এবং গেমে তারা আরও কঠিন।

কারণ হল গেমের দাম খুব কম এবং ভয়েস এজেন্ট এখন সেই পাইপলাইনে যোগ করার জন্য একটি নতুন খরচ।

এছাড়াও, আমরা অন্যান্য ভয়েস এজেন্টের সাথে প্রতিযোগিতা করছি না, আমরা এখন পর্যন্ত তৈরি প্রতিটি গেমের কোয়ালিটির সাথে প্রতিযোগিতা করছি, তাই না?

তাই, আমাদের খুব ভালো কোয়ালিটির কন্টেন্ট তৈরি করতে হবে।

তার মানে এই নয় যে নির্দিষ্ট ভয়েস এজেন্টের ব্যবহারের ক্ষেত্রে কোনও অনন্য চ্যালেঞ্জ নেই বা যেখানে ঝুঁকি অনেক বেশি, তবে এই ক্ষেত্রে গেমের টেকনিক্যাল চ্যালেঞ্জ অনেক বেশি।

তবে, এগুলি গেম হওয়ার কারণে, এই ধরনের কিছু কঠিন সমস্যার সমাধান কীভাবে করা যায় তা নিয়ে পরীক্ষা-নিরীক্ষা করার অনেক সুযোগ থাকে।

তাই, আমি বিশ্বাস করি যে ভয়েস এজেন্ট যদি গেমের মধ্যে কাজ করতে পারে, তাহলে তারা প্রায় যেকোনও জায়গায় কাজ করতে পারবে।

তাই, আমি যে বিষয়ে কথা বলছি তা শুধু গেমের ক্ষেত্রেই প্রযোজ্য নয়, আপনি যে কোনও ভয়েস-ফার্স্ট অ্যাপ্লিকেশন তৈরি করতে চাইলেও তা প্রযোজ্য হবে।

তাই, ভয়েস এজেন্টের কথা ভাবলে, আমার মনে হয় তিনটি মূল চ্যালেঞ্জ রয়েছে।

সুতরাং, আমাদের কাছে লেটেন্সি, ইন্টেলিজেন্স এবং খরচ আছে।

তবে, আমি একটি বিষয় স্পষ্ট করে দিতে চাই যে আমি যখন ভয়েস এজেন্ট সম্পর্কে কথা বলছি, তখন আমি কথোপকথন হিসেবে ভয়েস এজেন্ট সম্পর্কে কথা বলছি, প্রম্পট হিসেবে নয়।

আমি এমন কোনও মাইক্রোফোন র‍্যাপারের কথা বলছি না যা LLM-এ কিছু পাঠায় এবং তারপর উত্তরের জন্য অপেক্ষা করে।

আমি রিয়েল-ওয়ার্ল্ড, রিয়েল-টাইম ব্যাক অ্যান্ড ফোর্থের কথা বলছি এবং এটি তৈরি করা আসলে বেশ কঠিন।

তাহলে, লেটেন্সি দিয়ে শুরু করা যাক।

এটি কত দ্রুত করতে হবে?

দেখা যাচ্ছে যে এটি দ্রুত, খুব দ্রুত হতে হবে, তবে আপনি যা পড়েছেন তার উপর নির্ভর করে, এটি আপনার ভাবনার মতো দ্রুত নাও হতে পারে বা আপনার ভাবনার চেয়ে অনেক দ্রুত হতে পারে।

তাহলে, আসুন কিছু সংখ্যার ব্যাপারে কথা বলা যাক যা আমরা অনেক পরীক্ষার মাধ্যমে জানতে পেরেছি।

তাই, আমি যখন এন্ড-টু-এন্ড লেটেন্সি সম্পর্কে কথা বলছি, তখন আমি ব্যবহারকারীর শেষ উচ্চারণ, ব্যবহারকারীর করা শেষ শব্দ থেকে শুরু করে অডিও ফিরে আসার সময় পর্যন্ত সময়ের কথা বলছি।

আমাদের টেস্টিংয়ে আমরা যা আবিষ্কার করেছি তা হল, ১.৫ সেকেন্ড হল সেই পয়েন্ট যেখানে আমরা ব্যবহারকারীদের কাছ থেকে প্লে টেস্ট ফিডব্যাক পাচ্ছি, তারা স্পিড বা স্লোনেস বা এই ধরনের কোনও কিছুর উল্লেখ করা বন্ধ করে দেয়।

মনে হয়, এই পয়েন্টে এসে লোকজন সত্যিই স্বাচ্ছন্দ্য বোধ করতে শুরু করেন।

আমরা এর থেকে অনেক ধীর গতিতে কাজ করলেই, লোকজন প্রায়ই বলেন, "এটি দারুণ, কিন্তু", তাই এটিই হল সুইট স্পট।

তারপর আপনি আরও দ্রুত উত্তর দিলে, আমরা দেখেছি যে প্রায় ১.২ সেকেন্ডে, আরও বেশি অতিপ্রাকৃতিক ঘটনা যেমন, সামনে ও পিছনে যাওয়া শুরু হয়।

যেমন, আমি কিছু বললাম, এই ক্ষেত্রে রোবট, খুব দ্রুত কিছু বলবে এবং আপনি যেন আগে-পরে করে শুনছেন।

মনে হচ্ছে, সেখানে একটি সুইট স্পট আনলক করা আছে।

তবে, ১.২ সেকেন্ডের মধ্যে স্ট্যাকের মধ্যে এটি করা বেশ কঠিন।

এবং তারপরে, আরেকটি আকর্ষণীয় অনুসন্ধান হল আমরা অনেক পরীক্ষা করেছি এবং আমরা এক সেকেন্ডের কম সময়ে কিছু দৃশ্য পেয়েছি।

আর তাই, আপনি হয়ত বলবেন, "ওহ, এটা তো দারুণ হবে!"

আর কখনও কখনও তা ছিল, এবং কখনও কখনও এটি ভয়ানক, খুব অদ্ভুত মনে হয়েছিল।

তাই, আপনি হয়ত লোকজনকে ৮০০ মিলিসেকেন্ড বা ৫০০ মিলিসেকেন্ডকে সঠিক রেসপন্স টাইম হিসেবে বলতে শুনবেন।

এমনকি আমি ৩০০ সম্পর্কে অনেক নিবন্ধ পড়েছি কারণ এটিই মানুষের ধারণার আসল জায়গা।

বাস্তবতা হল, এটি সম্পূর্ণভাবে প্রসঙ্গের উপর নির্ভর করে।

তাই, উদাহরণস্বরূপ, আমি যদি আপনাকে জিজ্ঞাসা করি যে আপনার নাম কী ছিল, তাহলে আপনি কতক্ষণের মধ্যে উত্তর দেবেন সেই ব্যাপারে আমার একটি প্রত্যাশা থাকে।

আমি যদি তোমাকে জীবনের অর্থ কী তা জিজ্ঞাসা করি, তাহলে আমি খুব আলাদা টার্নঅ্যারাউন্ড টাইম আশা করছি।

আমরা যখন পরীক্ষা করে লোকজনকে রেটিং দিতে বলেছিলাম যে এই উত্তরটি দ্রুত নাকি ধীরগতির, তখন আমরা দেখেছি যে রেটিংয়ের সংখ্যাগুলি সব জায়গায় ছড়িয়ে ছিটিয়ে ছিল।

যেসব উত্তর দিতে অনেক সময় লেগেছে, লোকজন সেগুলিকে দ্রুত বলে উল্লেখ করেছেন এবং এর উল্টোটাও ঘটেছে কারণ এটি সম্পূর্ণভাবে প্রসঙ্গের উপর নির্ভর করে।

এছাড়াও, কথোপকথনে তারা কোথায় ছিলেন।

সাধারণত, লোকজন আশা করেন যে প্রথম উত্তরটি পরবর্তী উত্তরগুলির চেয়ে দ্রুত হবে কারণ এতে চিন্তা করার সময় থাকে।

কিন্তু কখনও কখনও আপনি খুব অল্প সময়ের মধ্যে উত্তর পেয়ে যান, তাই আপনার প্রত্যাশা বেড়ে যায়।

তাই, এটি কোনও নিখুঁত বিজ্ঞান নয় যেখানে একটি নিখুঁত সংখ্যা আছে, তবে আমরা ১.৫-এর কাছাকাছি সংখ্যা পেয়েছি, আপনি যদি সেই স্পটে থাকেন, তাহলে আপনি আপনি আপনি বেশ ভালো করছেন।

তাই, একবার আপনি ১.৫ সেকেন্ডে পৌঁছানোর পরে, আপনি ধারাবাহিকতার ব্যাপারে সত্যিই যত্নশীল হতে শুরু করেন, তাই না?

কারণ, ৯০% ক্ষেত্রে এটি ঘটলেও, ১০% ক্ষেত্রে যদি ৩ সেকেন্ড সময় লাগে, তাহলে আপনার অভিজ্ঞতা খারাপ নয়, বরং অসম্পূর্ণ বলে মনে হবে।

তাই, আমরা শেষ পর্যন্ত যথেষ্ট দ্রুত হয়ে উঠি, আপনি শুধু ধারাবাহিকতার ব্যাপারে যত্নশীল হন, তাই বেশিরভাগ সময় নয়, সব সময় দ্রুত।

Devin Reimer

সুতরাং, এখানে একটি স্ট্যান্ডার্ড ভয়েস পাইপলাইন আর্কিটেকচার রয়েছে।

তাই, আমরা স্পিচ-টু-টেক্সট নিয়ে LLM-এ পাঠাচ্ছি এবং তারপর LLM থেকে পাওয়া ফলাফল টেক্সট-টু-স্পিচে ফেরত পাঠাচ্ছি।

সুতরাং, এর মাধ্যমে আমি যা বলতে চাইছি তা হল, স্পিচ-টু-টেক্সট, আমরা সার্ভারে অডিও পাঠাচ্ছি এবং তারপরে সেটিকে টেক্সটে কনভার্ট করছি।

LLM-এর ক্ষেত্রে, আমরা সেই টেক্সট, সেই উত্তরের ডায়ালগ নিচ্ছি বা এটিকে উত্তরের ডায়ালগে কনভার্ট করছি এবং তারপর সেই চরিত্র থেকে কী অ্যাকশন নেওয়া হবে তা দেখছি।

আমরা এগুলি খুব শক্তভাবে একসাথে যুক্ত করি কারণ আমরা মনে করি যে এটি খুবই গুরুত্বপূর্ণ।

তারপর টেক্সট-টু-স্পিচ ফিচারের মাধ্যমে আমরা সেই টেক্সট নিয়ে টেক্সট-টু-স্পিচ ফিচারে পাঠাই এবং ব্যবহারকারীর কাছে স্ট্রিম করি। এর সাথে এজেন্ট যে অ্যাকশন পারফর্ম করতে চায় তার সাথেও এটি টাইম করা থাকে।

এর সাথে একটি সমস্যা হল যে এটি ক্রমানুসারে চালানো বেশ ধীর হতে পারে কারণ আপনাকে এই জিনিসগুলির প্রতিটির মধ্য দিয়ে যেতে হবে।

তাই, আমি প্রায়ই যে প্রশ্নটি পাই তা হল, এই প্রসেসটি যদি ধীরগতির হয় এবং আপনাকে তিনটি ধাপ অনুসরণ করতে হয়, তাহলে এর পরিবর্তে স্পিচ-টু-স্পিচ মডেল ব্যবহার করা হয় না কেন?

কারণ, তাহলে আরও দ্রুত হবে, তাই না?

আর, হ্যাঁ, বেশিরভাগ সময় এটি দ্রুত কাজ করবে কারণ আপনি একটি জিনিস চালাচ্ছেন।

তবে এর জন্য কিছু বড় বড় সমঝোতা করতে হয়।

তাই, এটি দ্রুত হলেও, আমাদের জন্য কিছু বড় ডিল ব্রেকার রয়েছে এবং সবচেয়ে বড়টি হল খরচ।

তাই, সাধারণত আমরা দেখেছি যে স্পিচ-টু-স্পিচ মডেল চালাতে এই প্যারালাইজড অ্যাপ্রোচের চেয়ে প্রায় ৩ থেকে ৫ গুণ বেশি খরচ হয়।

তাই, আমাদের ক্ষেত্রে, অর্থনৈতিকভাবে এটি লাভজনক নয়।

নিরাপত্তার দিক থেকে, এটি আসলে কিছুটা বেশি জটিল কারণ এজেন্ট যতক্ষণ না উত্তর দিচ্ছে ততক্ষণ পর্যন্ত তার উত্তর যাচাই করা কঠিন।

তবে, ইতিমধ্যে আপনার কাছে পাইপলাইনড অ্যাপ্রোচ থাকলে, LLM যা বলছে সেই উত্তর নিয়ে আপনি যাচাই করতে এবং নিরাপত্তা চেক করতে পারবেন। ব্যবহারকারীকে পাঠানোর আগেই আপনি এটি করতে পারবেন।

ভয়েস স্টাইলিংয়ের ক্ষেত্রে, আপনি স্পিচ-টু-স্পিচ মডেলের মধ্যে প্রিসেট নিয়ে একরকম আটকে আছেন।

আপনি এমনটা বলতে পারেন না, "ওহ, তুমি কি জানো?

এই ক্ষেত্রে, আমি সত্যিই এই ধরনের ভয়েস ব্যবহার করতে চাই।"

আপনি যেন ওই নির্দিষ্ট একটির সাথে আটকে আছেন।

পাইপলাইনড অ্যাপ্রোচে, আপনি বলতে পারেন, "ওহ, আমি এটি পরিবর্তন করতে চলেছি।

আমি এই মডেলটি বেছে নিতে চলেছি কারণ এই মডেলটি এই নির্দিষ্ট ব্যবহারের ক্ষেত্রে সত্যিই ভাল কাজ করে।"

আর বুদ্ধিমত্তার ক্ষেত্রেও একই কথা প্রযোজ্য, তাই না?

আপনার কাছে যদি খুব ভালো স্পিচ-টু-স্পিচ মডেল থাকে যা ভালো ভয়েস তৈরি করে, কিন্তু ইন্টেলিজেন্স যদি আপনার পছন্দমতো না হয়, তাহলে আপনি সেটি পরিবর্তন করতে পারবেন না, তাই তো?

আপনি যেন লক হয়ে আছেন।

পাইপলাইনড অ্যাপ্রোচে, আপনি বলেন, "ওহ, এই ব্যবহারের ক্ষেত্রে, আমি একটি নির্দিষ্ট মডেল ব্যবহার করতে চাই।"

স্পিচ-টু-স্পিচ যে ক্ষেত্রে অবশ্যই এগিয়ে থাকে তা হল ব্যবহারকারীর টোন বুঝতে পারা।

যেমন, ব্যঙ্গাত্মক মন্তব্য এবং এই ধরনের অন্যান্য বিষয়।

এই মুহূর্তে, স্পিচ-টু-টেক্সট ট্রান্সক্রিপশনে সাধারণত সেই ধরনের অনেক তথ্য থাকে না, তবে আমার মনে হয় সময়ের সাথে সাথে এটি পরিবর্তিত হবে।

স্পিচ-টু-স্পিচ ফিচারের ক্ষেত্রে এটি অবশ্যই একটি বড় সাফল্য।

তাই, স্পিচ-টু-স্পিচ অবশ্যই স্পিডের ক্ষেত্রে একটি সুবিধা, তবে কনফিগারযোগ্যতা এবং উচ্চ খরচের ক্ষেত্রে এটির অবশ্যই কিছু চ্যালেঞ্জ রয়েছে, বিশেষ করে আমাদের জন্য, এটি একটি ডিল ব্রেকার ছিল।

তাহলে, অন্য কোনও উপায় আছে কি?

হ্যাঁ।

আমাদের যা করা উচিত তা হল পাইপলাইন সমান্তরাল করার জন্য আমাদের যথাসাধ্য চেষ্টা করা।

তাই, আমরা যা করি তার মধ্যে কিছু হল, স্পিচ-টু-টেক্সট সম্পূর্ণ আত্মবিশ্বাসী হওয়ার আগেই আমরা LLM চালানো শেষ করি।

আর কনফিডেন্স বলতে আমি ট্রানস্ক্রিপ্টে জেনারেট হওয়া শব্দ এবং তারপর এন্ড-অফ-টার্নের কনফিডেন্সকে বোঝাচ্ছি।

তাই, ব্যবহারকারী কথা বলা বন্ধ করেছেন এবং তিনি কী বলেছেন তা আমরা বুঝতে পারলেই, আমরা পরবর্তী ধাপে এগিয়ে যাই।

আর তাই, এর জন্য সবচেয়ে খারাপ পরিস্থিতি হল যে আমরা ভুল, তাই তো?

ব্যবহারকারী কথা বলা চালিয়ে যাচ্ছেন।

তবে, সেই পরিস্থিতিতেও, আমরা যা করি তা হল LLM বাতিল করে আবার রান করি।

এবং যেহেতু প্রসঙ্গটি সম্ভবত ক্যাশে করা হবে এবং আমরা এতগুলি টোকেন তৈরি করিনি, তাই এটি করার জন্য আসলে বড় খরচ হয় না এবং এর সুবিধা হল যে ব্যবহারকারী সম্পূর্ণ আত্মবিশ্বাসের জন্য অপেক্ষা করলে যা শুনতেন তার চেয়ে দ্রুত জিনিসগুলি শুনতে পান।

এছাড়াও, LLM-এর সম্পূর্ণ উত্তর জেনারেট করা শেষ হওয়ার জন্য আমরা অপেক্ষা করি না, তার আগেই টেক্সট-টু-স্পিচ ফিচারে সেটি পাঠানো শুরু করে দিই।

আমরা যেটির জন্য অপেক্ষা করি সেটি হল প্রথম উচ্চারণযোগ্য চাঙ্ক।

বেশিরভাগ ক্ষেত্রে, এটি একটি বাক্য।

কখনও কখনও এটি অন্য কোনও কনফিগারেশন হতে পারে, তবে প্রথম বাক্যের চাঙ্ক পাওয়ার সাথে সাথেই আমরা এটি আমাদের টেক্সট-টু-স্পিচে পাঠাই।

এবং তারপরে, আমাদের কাছে যদি একটি ভালো টেক্সট-টু-স্পিচ থাকে যা স্ট্রিম করবে, স্ট্রিম করার জন্য প্রস্তুত হওয়ার সাথে সাথেই, এটি ব্যবহারকারীর কাছে পৌঁছে যেতে পারে।

এছাড়াও, কতগুলি টোকেন জেনারেট করতে হবে সেই ব্যাপারে আমরা অত্যন্ত সতর্ক।

তাই আমরা JSON র‍্যাপার এবং এই ধরনের জিনিস ব্যবহার করি না যা অতিরিক্ত টোকেন যোগ করতে পারে।

আমরা বোঝার চেষ্টা করি যে সবচেয়ে দ্রুত উত্তর পাওয়ার জন্য সবচেয়ে সরল স্ট্রাকচার কী হতে পারে।

এছাড়াও, আমরা অ্যাসিস্ট্যান্ট প্রিফিলের মতো জিনিস ব্যবহার করি যদি আমরা আগে থেকেই জানি যে এজেন্টের কাছ থেকে টোকেনের প্রথম চাঙ্ক কী হতে চলেছে।

আর তাই টেক্সট-টু-স্পিচের জন্য, এটি এই দুটি খণ্ডে শেষ হয়েছে, তাই না?

যাতে প্রথমে স্পিচ-টু-টেক্সট চাঙ্ক আসে এবং তারপরে আমরা অন্য সবকিছু চালাই।

কিন্তু অডিও প্লেআউট শুনতে জেনারেশনের চেয়ে বেশি সময় লাগে, তাই প্রায় সর্বজনীনভাবে দ্বিতীয় চাঙ্কটি শেষ হওয়ার সময় প্রথম চাঙ্কটি ব্যবহারকারীর কাছে বাজানো শেষ হয়ে যাবে।

তাই এটি আসলে ব্যবহারকারী দেখতে পান না।

সেখানে যত দ্রুত সম্ভব এটি আসে।

তাই আপনি যখন বিভিন্ন পরিষেবা বেছে নেওয়ার কথা ভাবছেন, তখন আমাদের কিছু থাম্ব রুল এখানে দেওয়া হল।

যখন একটি ভাল ধরনের অডিও এবং এজেন্ট ফ্রেমওয়ার্ক বেছে নেওয়ার কথা আসে, তখন আপনি যা চান তা হল ইন এবং আউট করার ক্ষেত্রে সর্বনিম্ন লেটেন্সি।

তাহলে আমি কত দ্রুত জিনিস পাঠাতে এবং ডাউনলোড করতে পারব?

স্পিচ-টু-টেক্সটের ক্ষেত্রে, আমরা টাইম টু কনফিডেন্সের ব্যাপারে যত্নশীল।

তাই এটি ট্রান্সক্রিপ্ট এবং এন্ড অফ টার্নের ক্ষেত্রে কনফিডেন্স।

এগুলি একসাথে পেয়ার করা আছে, তাই তো?

আপনি যদি কোনও একটিতে দ্রুত আত্মবিশ্বাস না পান, তবে এটি ঠিক ততটাই ধীর হতে চলেছে, তাই না?

তাই, এর মধ্যে সবচেয়ে ধীরগতির যে ডিভাইসটি আছে, তার স্পিডেই এটি কাজ করবে।

LLM-এর ক্ষেত্রে, প্রথম বাক্য, অর্থাৎ প্রথম উচ্চারণযোগ্য অংশটি তৈরি করতে কত সময় লাগছে, তা আমরা দেখি।

তাহলে, এটি দুটি অংশ, তাই তো?

এটি হল প্রথম টোকেন জেনারেশনে লাগা সময় এবং প্রতি সেকেন্ডে টোকেন জেনারেশনের কম্বিনেশন।

তাই, আপনি যদি হঠাৎ করে এমন একটি খুব ভালো মডেল খুঁজে পান যা আপনাকে প্রথম টোকেন জেনারেট করার জন্য খুব ভালো সময় দেয়, কিন্তু প্রতি সেকেন্ডে টোকেন জেনারেট করার ক্ষেত্রে ধীরগতির হয়, তাহলে সেটি বিকল্পের চেয়ে খারাপ হতে পারে।

তাই, এর জন্য সঠিক কম্বিনেশন কী তা খুঁজে বের করুন।

এবং তারপরে টেক্সট-টু-স্পিচ সংক্রান্ত বিষয়ে, আপনি প্রথম অডিওর সময় সম্পর্কে যত্নশীল।

তাই এটি কী তা পরিমাপ করা খুবই গুরুত্বপূর্ণ, কারণ কখনও কখনও অডিওর শুরুতে নীরবতা থাকতে পারে এবং ব্যবহারকারী তা শুনতে পাবেন না।

তাই, ব্যবহারকারী যে পয়েন্ট পর্যন্ত শুনছেন, আপনাকে সেই পয়েন্ট পর্যন্ত পরিমাপ করতে হবে।

এবং তারপরে, আমি আগে যেমন উল্লেখ করেছি, সবকিছুর উপরে আপনি স্টেবিলিটির ব্যাপারে যত্নশীল, পিক স্পিড বা সেরা-পরিস্থিতির সিনারিও নয়।

এই সম্পূর্ণ স্ট্যাকের কনসিস্টেন্ট লেটেন্সি কী?

Devin Reimer

তাই, বর্তমানে আমাদের অডিও এজেন্ট ফ্রেমওয়ার্কের জন্য আমরা LiveKit ব্যবহার করছি।

স্পিচ-টু-টেক্সটের জন্য, আমরা Deepgram ব্যবহার করছি।

LLM-এর জন্য আমরা Gemma 4 31B ব্যবহার করছি এবং এটি LiveKit-এ হোস্ট করা হয়।

টেক্সট-টু-স্পিচের ক্ষেত্রে, আমরা Inworld AI টেক্সট-টু-স্পিচ ২ ব্যবহার করছি।

এবং তারপরে, আমরা AstroBeam AI এজেন্ট হারনেস তৈরি করেছি যা শুধু এই সবকিছুকে একসাথে বেঁধে রাখে না, বরং এমন সব অংশ যোগ করে যা একটি সত্যিই ভালো ভয়েস এজেন্ট তৈরি করার জন্য প্রয়োজন, বিশেষ করে এমন একটি যা আমাদের গেমের মতো অত্যন্ত ইন্টার‍্যাক্টিভ।

তাহলে, একটি জিনিস যার ব্যাপারে আমি এখনও কথা বলিনি, সেটি হল নিরাপত্তা মডেলের ব্যাপারে কী বলা যায়?

তাই, সাধারণত, নিরাপত্তা মডেলগুলি LLM পাসের অংশ, কিন্তু এটি লেটেন্সি যোগ করে এবং সেখানে একটি অতিরিক্ত ধাপ যোগ করে।

তাহলে, আপনি যদি নিজের ব্যবসা শুরু করেন?

সুতরাং, এটি আসলে আমাদের স্ট্যাকের মতো দেখতে।

তাই আমরা এখানে যা করছি তা হল, যখন আমরা টেক্সটের প্রথম অংশটি ফেরত পাই, সেই প্রথম অংশটি যা আমরা টেক্সট-টু-স্পিচে পাঠাতে চলেছি, ঠিক একই সময়ে আমরা এটি আমাদের নিরাপত্তা মডেলে পাঠাই।

আর যেহেতু নিরাপত্তা মডেলটি ছোট এবং স্পিচ-টু-টেক্সট-এর তুলনায় দ্রুত কাজ করে, তাই এটি প্রায় সব ক্ষেত্রেই সময়ের আগেই কাজ শেষ করে ফেলে।

এর অর্থ হল, আমাদের স্ট্যাকে একটি নিরাপত্তা মডেল যোগ করলে লেটেন্সি শূন্য হয়ে যায় এবং আরও ভালো বিষয় হল, এটি যথেষ্ট বড় চাঙ্ক, যার ফলে আমরা এমন একটি অনেক বড় নিরাপত্তা মডেল চালাতে পারি যা চালানোর কথা বেশিরভাগ মানুষ ভাবতেও পারেন না।

আর এটি আমাদের জন্য অত্যন্ত গুরুত্বপূর্ণ, বিশেষ করে আমরা গেম তৈরি করছি বলে।

সেই জগতের অনেক প্রসঙ্গ আছে যা অত্যন্ত গুরুত্বপূর্ণ।

যেমন, ধরা যাক আপনি মধ্যযুগীয় কোনও গেম তৈরি করছেন এবং সেই গেমে একটি NPC আছে যে চিৎকার করে বলছে, "আক্রমণ করো!

তাদের মাথা কেটে ফেলো!", তাই তো?

একটি ঐতিহ্যগত নিরাপত্তা মডেলের প্রতিক্রিয়া হতে পারে, "আরে, এটা ঠিক নয়।

আপনার এমন কথা বলা উচিত নয়।"

তবে এই গেমের প্রসঙ্গে এটি একদম মানানসই।

আর আমরা যেভাবে এটি করতে পারি তা হল, আমরা আরও শক্তিশালী নিরাপত্তা মডেল ব্যবহার করি, যেখানে বিশ্বে কী ঘটছে তার আরও অনেক বেশি প্রসঙ্গ থাকে, যাতে এটি কাজ করতে পারে।

আপনি এখানে লক্ষ্য করতে পারেন যে আমরা আসলে নিরাপত্তা মডেলটি দুবার চালাই, তাই আমরা প্রথমে প্রথম চাঙ্কে এটি চালাই এবং তারপরে যখন আমাদের কাছে সেই চূড়ান্ত চাঙ্কটি একসাথে থাকে তখন আমরা পুরো জিনিসটিতে এটি আবার চালাই।

আবারও, আমাদের এটি দুবার চালাতে হবে, তবে এটি স্ট্যাকে কোনও লেটেন্সি যোগ করে না।

তাই, এখন আমরা যথেষ্ট দ্রুত, কিন্তু দুর্ভাগ্যবশত আমরা যথেষ্ট স্মার্ট না হলে এটি কোনও ব্যাপার নয়।

Devin Reimer

তাহলে, এটি কতটা স্মার্ট হতে হবে?

এটি আপনার ব্যবহারকারীদের জন্য যথেষ্ট স্মার্ট হতে হবে, তবে আরও গুরুত্বপূর্ণভাবে আপনার ডেভেলপ করার জন্য যথেষ্ট স্মার্ট হতে হবে।

And this is often a thing that people don't think about when they're kind of going about selecting kind of what they need for intelligence here.

আমরা প্রায় তিন বছর ধরে ভয়েস এজেন্ট নিয়ে কাজ করছি এবং উদাহরণস্বরূপ, প্রথম দিকে আমরা কিছু প্রাথমিক LLaMA মডেল ব্যবহার করছিলাম এবং আমরা ব্যবহারকারীদের জন্য সেগুলি কাজ-করার-মতো অবস্থায় নিয়ে আসতে পারলেও, ডেভেলপমেন্টের দিকটি খুব ব্যয়বহুল ছিল কারণ সবকিছুই খুব ভঙ্গুর ছিল।

মডেলের পক্ষে অবাঞ্ছিত উত্তর বা অর্থহীন কিছু তৈরি করা খুব একটা কঠিন নয়, তাই আমরা এই কাজ করার জন্য অনেক ইঞ্জিনিয়ারিং প্রচেষ্টা করেছি।

তাই আমরা এই বিষয়টিকে অগ্রাধিকার দিই, কারণ আমরা যদি এই জিনিসগুলি তৈরি করার ক্ষেত্রে দ্রুত এগিয়ে যেতে না পারি, তাহলে আমরা ব্যবহারকারীদের কাছে জিনিসগুলি পৌঁছে দিতে পারব না।

তাই, এই দুটি বিষয় সম্পর্কে ভাবা খুবই গুরুত্বপূর্ণ।

তাই, লোকজন যখন ইন্টেলিজেন্সের কথা ভাবেন, তখন তারা LLM-এর কথা ভাবেন, তাই তো?

তবে এটি হল তার একটি অংশ মাত্র।

ইন্টেলিজেন্সের ক্ষেত্রে আমাদের প্রতিটি অংশ নিয়ে ভাবতে হয়।

তাহলে, স্পিচ-টু-টেক্সট ইন্টেলিজেন্স সম্পর্কে আলোচনা করা যাক।

তাই এখানে আমরা যে বিষয়টি নিয়ে চিন্তিত তা হল শব্দে কম ভুল হওয়ার হার।

এবং অতিরিক্তভাবে, এটি শুধু নয় যে ত্রুটির হার কম, এটি যখন ঘটে, তখন আমরা এমন কিছু তৈরি করছি যা প্রকৃত জিনিসটির খুব কাছাকাছি, কারণ যদি এটি সত্যিই কাছাকাছি হয়, LLM প্রায়শই, প্রসঙ্গের সাথে, এটি কী তা বোঝার জন্য সত্যিই একটি ভাল কাজ করতে পারে।

আপনার ভুলের হার কম হলেও, ভুল পদক্ষেপের সংখ্যা অনেক বেশি হলে, LLM-এর পক্ষে প্রকৃত উদ্দেশ্য কী ছিল তা বোঝার চেষ্টা করা অনেক বেশি কঠিন হবে।

আপনার টার্গেট প্ল্যাটফর্ম কী, সেটিও ভেবে দেখতে হবে।

তাই, উদাহরণস্বরূপ, আমি যদি XR-এর জন্য তৈরি করি এবং আমার কাছে এমন মাইক্রোফোন থাকে যা ব্যবহারকারীর মুখের খুব কাছাকাছি থাকে, তাহলে আমি খুব ভালো, উচ্চ মানের মাইক্রোফোন অডিও ডেটা পাব এবং এটি নির্দিষ্ট কিছু মডেলের জন্য খুব ভালো কাজ করতে পারে।

কিন্তু হঠাৎ করে আমি যদি এমন কোনও মোবাইল ফোনের জন্য অ্যাপ তৈরি করি যা লোকজন ব্যস্ত রাস্তায় ব্যবহার করবেন, তাহলে তার প্রভাব অনেক আলাদা হবে এবং বিভিন্ন মডেল আলাদাভাবে কাজ করবে এবং বিভিন্ন উপায়ে যা বলা হচ্ছে তা বুঝতে পারবে।

তাই আপনাকে সেই বিষয়ে ভাবতে হবে, আপনি যে প্ল্যাটফর্মের জন্য তৈরি করছেন, সেটিই বেছে নিচ্ছেন কিনা তা নিশ্চিত করুন।

তাহলে, এবার ইন্টেলিজেন্স ইকুয়েশনের টেক্সট-টু-স্পিচ দিকটি দেখা যাক।

এটি কি সাবলীল বলে মনে হচ্ছে, তাই না?

আমাদের লক্ষ্য হল ব্যবহারকারীকে এমনভাবে জানানো যাতে তিনি বুঝতে পারেন।

কিন্তু এটা তো শুধু একটা অংশ, তাই না?

সেই এজেন্টের অভিব্যক্তি প্রকাশ করার ক্ষমতাও অত্যন্ত গুরুত্বপূর্ণ কারণ অভিব্যক্তি প্রকাশের মধ্যে তথ্য থাকে এবং আমাদের প্লে টেস্টেও আমরা দেখেছি যে আমাদের এজেন্টরা যত বেশি অভিব্যক্তি প্রকাশ করতে পারে, ব্যবহারকারীরা তাদের তত বেশি বুদ্ধিমান বলে মনে করেন, যা খুবই যুক্তিযুক্ত।

এবং তারপর, এটি কি যথেষ্ট দ্রুত?

আমি জানি যে আগের বিভাগে আমি লেটেন্সি সম্পর্কে কথা বলছিলাম, তবে এটি আসলে এখানেও পারসিভড ইন্টেলিজেন্সের জন্য গুরুত্বপূর্ণ।

ব্যবহারকারীরা মনে করেন যে উত্তরের স্পিড সরাসরি বুদ্ধিমত্তার সাথে সম্পর্কিত।

আমি যদি দ্রুত উত্তর দিই, তাহলে সম্ভবত আরও বুদ্ধিমান শোনায়।

তাই, ব্যবহারকারী কীভাবে অভিজ্ঞতাটি উপলব্ধি করছেন এবং তিনি কতটা নিমগ্ন হতে পারছেন, তা নির্ধারণ করার ক্ষেত্রে এই বিষয়গুলি সত্যিই গুরুত্বপূর্ণ।

তাহলে, এবার ইন্টেলিজেন্সের LLM দিকটি দেখা যাক।

এটি, এখনও পর্যন্ত, ব্যালেন্স করা সবচেয়ে কঠিন কারণ এখানে অনেক আলাদা আলাদা প্রয়োজনীয়তা রয়েছে, তাই না?

তাই আমাদের কাছে স্পিচ বোঝা, প্রসঙ্গ ও গ্রাউন্ডিংয়ের মতো সুবিধা রয়েছে।

গেমের মধ্যে এটি করা খুবই কঠিন, কারণ আপনাকে পুরো বিশ্ব ও ব্রহ্মাণ্ডের উপর ভিত্তি করে এটি করতে হয়, তাই না?

এটি কোনও টেক্সট বক্স নয় যেখানে এটি যা ঘটছে তা তৈরি করতে পারে।

গেমের মধ্যে আপনার এজেন্ট যদি বলে, "টেবিলের উপর একটি আপেল আছে" এবং টেবিলে কোনও আপেল না থাকে, তাহলে ব্যবহারকারীর অভিজ্ঞতা নষ্ট হবে।

এছাড়াও, আমাদের কঠোরভাবে নিয়ম মেনে চলার মতো বিষয়গুলিও প্রয়োজন।

গেমগুলি খুব নিয়ম-ভিত্তিক।

LLM কি এই ধরনের কাজ করতে পারে?

Can we have a low hallucination rate?

আপনি একই এজেন্টের সাথে বারবার ইন্টার‍্যাক্ট করার সময় আমরা কি একই ধরনের ক্যারেক্টার পেতে পারি?

এটি কি একই এজেন্ট বলে মনে হচ্ছে?

এবং তারপরে, এমন একটি সমস্যা যা আপনাকে বিভ্রান্ত করতে পারে, কারণ এটি ডেভেলপমেন্টের শুরুতে কোনও সমস্যা নয়, তা হল, আপনার মডেল কি প্রম্পটের সাইজ বাড়ার সাথে সাথে তা ম্যানেজ করতে পারে?

কারণ, আপনি ডেভেলপ করা চালিয়ে গেলে, প্রম্পটে আরও বেশি জিনিস যোগ করতে থাকবেন।

কিন্তু তারপরেও, ব্যবহারকারীরা খেলা চালিয়ে গেলে, সেই প্রম্পটে আরও চ্যাট ইতিহাস থাকবে।

তাহলে, সেই প্রম্পট কি সেই বৃদ্ধিকে সামলাতে পারবে?

কারণ কখনও কখনও যা ঘটে তা হল, নির্দিষ্ট মডেলের জন্য, আপনার প্রম্পট বাড়ার সাথে সাথে, উত্তরের গুণমান কমে যায় এবং তাই আপনাকে এক ধরণের হিসেব করতে হবে যে প্রতিবার সেই প্রম্পটে যে পরিমাণ যেতে হবে তার জন্য আপনার প্রকৃত প্রয়োজনগুলি কী কী।

তবে, এগুলি হল প্রাথমিক কিছু বিষয় এবং আপনি কী তৈরি করছেন তার উপরও অনেক কিছু নির্ভর করে।

তাই আপনি কী তৈরি করছেন এবং কী অর্জন করতে চাইছেন সেই বিষয়ে আপনাকে খুব গভীরভাবে চিন্তা করতে হবে।

এখন আমরা যথেষ্ট দ্রুত এবং যথেষ্ট স্মার্ট, কিন্তু এর জন্য যদি অনেক বেশি খরচ হয়, তাহলে এর কোনও গুরুত্ব নেই।

Devin Reimer

তাহলে এটি কতটা সস্তা হতে হবে?

তবে, এটি তার চেয়ে একটু বেশি জটিল।

তাই আমরা যে অ্যাপ্লিকেশন বা গেম তৈরি করছি তার অর্থনৈতিক দিকটি আমাদের ভাবতে হবে, তাই না?

তাই, আপনাকে কয়েকটি প্রশ্ন করতে হবে।

ব্যবহারকারী কতক্ষণ আপনার ভয়েস এজেন্টের সাথে ইন্টার‍্যাক্ট করবেন?

আপনি প্রতি ব্যবহারকারী থেকে কত উপার্জন করছেন?

And how much does that voice stack cost per hour to run?

আমরা সেগুলি একসাথে করে বোঝার চেষ্টা করি যে, কোনও অর্থপূর্ণ তথ্য পাওয়া যাচ্ছে কিনা।

তাহলে, আমাদের প্রথম গেম, Stellar Cafe-এর অর্থনীতি এখানে দেওয়া হল।

তাই Stellar Cafe-তে খেলার সময় ১ ঘণ্টা ৩০ মিনিট থেকে ৩ ঘণ্টা ৩০ মিনিটের মধ্যে, তাই আমরা গড় সময় ২ ঘণ্টা ধরে নিচ্ছি।

ভয়েস এজেন্ট চালানোর জন্য আমাদের খরচ প্রতি ব্যবহারকারী প্রতি ঘন্টায় প্রায় $১.২০ এবং ব্যবহারকারীরা ১০০% সময় এটির সাথে ইন্টার‍্যাক্ট করছেন।

এটি ১০০% ভয়েস-চালিত গেম।

আমরা গেমের জন্য $১০ ফ্ল্যাট ফি চার্জ করি, যা প্রচলিত।

আমরা সাবস্ক্রিপশন করি না কারণ গেমে তা করা খুব কঠিন এবং আমি দৃঢ়ভাবে বিশ্বাস করি যে আমাদের এটি একটি ফ্ল্যাট খরচে কাজ করতে হবে, অন্যথায়, এটি কাজ করবে না এবং স্কেল করা যাবে না।

আগে আমরা $১৫ চার্জ করতাম, কিন্তু আমরা এই সার্ভারের খরচ কমানোর জন্য কাজ করছি, তাই এখন আমরা আসলে এটি কমিয়ে $১০ করেছি।

আর এই $১.২০, এই হল আমাদের বর্তমান অবস্থা।

এটি কোনও সর্বজনীন খরচ নয়।

আমি দেখেছি যে এইসব জিনিসের দাম অনেক বেশি এবং কখনও কখনও আরও বেশি ব্যয়বহুল।

তাই, আপনাকেও এক ধরনের হিসেব করে দেখতে হবে যে খরচের দিক থেকে আপনি কোথায় আছেন।

আমরা আরও সস্তা করতে পারতাম, তবে আমরা যতটা সম্ভব আমাদের কোয়ালিটি বারকে উঁচুতে রাখার চেষ্টা করছি।

সুতরাং, এই সবকিছুর মাধ্যমে কাজ করার অর্থ হল, ২ ঘণ্টার প্লে টাইমে, প্রতি ব্যবহারকারীর জন্য আমাদের ভয়েস স্ট্যাকের খরচ প্রায় $২.৪০।

আর তাই, যেহেতু আমরা $১০ চার্জ করি এবং স্টোর একটি ফি নেয়, তার মানে আমরা ব্যবহারকারী প্রতি প্রায় $৪.৫৯ উপার্জন করি, তাই না?

আর তাই, এর অর্থনীতি কাজ করে, তাই না?

ভয়েস হল আমাদের হুক, আমরা এর পিছনেই টাকা খরচ করতে চাই, এটি কাজ করে।

তাহলে, এটি একটি খুব ছোট গেম।

একটু বড় কিছু নিয়ে কথা বলা যাক।

তাহলে, একটি কাল্পনিক গেম, একটি ন্যারেটিভ গেমের কথা বলা যাক, যা ৫ থেকে ৯ ঘণ্টার মধ্যে, তাই ধরা যাক গড়ে ৭ ঘণ্টা।

বাস্তবে, বেশিরভাগ মানুষ-- অনেক মানুষ গেম শেষ করেন না, তারা গেমের কিছুটা অংশ খেলেন এবং একরকম ছেড়ে দেন, তবে আমি একটু বেশি কিছু বেছে নিতে চাই যাতে নিশ্চিত করা যায় যে অর্থনীতি এখনও কাজ করছে।

তাই, আমরা প্রতি ঘণ্টায় $১.২০ চার্জ করব, তবে আমরা যে পরিবর্তনটি করতে চলেছি তা হল এর ভয়েস কম্পোনেন্ট ৬০% সময় ব্যবহার করা হবে, কারণ একটি বড় গেমে শুধু ভয়েসের চেয়ে অনেক বেশি মেকানিক্স থাকবে।

তাই, এটি এখনও একটি ভয়েস-চালিত গেম হতে চলেছে, তবে এর মধ্যে অন্যান্য ধরনের ফিচার থাকবে।

তাই, আমরা যদি $২০ চার্জ করি, এই সব কিছু আবার কাজ করার মতো, এতে আমাদের খরচ হবে-- ব্যবহারকারী প্রতি প্রায় $৫ খরচ হবে, যার অর্থ হল দিনের শেষে, আমরা ব্যবহারকারী প্রতি প্রায় $৯ উপার্জন করি।

সুতরাং, আবারও, এর সাথে, অর্থনীতি কাজ করে।

এর মানে এই নয় যে, সবকিছুর ক্ষেত্রেই অর্থনীতি কাজ করবে।

যেমন, আপনি যদি ভাবেন, "আমি ফ্রি-টু-প্লে গেম তৈরি করতে চাই এবং ব্যবহারকারীরা এই গেম ১ ঘণ্টা থেকে ১০০ ঘণ্টার বেশি সময় ধরে খেলবেন", তাহলে এটি ভুল হবে।

তাহলে, এর গড় ১০ ঘণ্টা ধরা যাক।

এটি ১০০% ভয়েস-চালিত, তবে ধরা যাক আমাদের কাছে একটি হিট গেম আছে এবং গেমটি ব্যবহারকারী প্রতি প্রায় $৩ উপার্জন করছে, ঠিক আছে, যা ফ্রি-টু-প্লে গেম হিসেবে বেশ ভালো।

আপনি ব্যবহারকারী প্রতি $১০ হারাবেন।

তাই, এটি এখনও এই সব জিনিসে কাজ করে না এবং আপনি বর্তমানে কী তৈরি করছেন এবং এটি কি অর্থপূর্ণ তা আপনাকে ভাবতে হবে?

অর্থনীতি বোঝার জন্য শেষ পর্যন্ত অপেক্ষা করবেন না।

Devin Reimer

তাহলে, এর পরে যে প্রশ্নটি করা হয় তা হল, লোকাল মডেলের ব্যাপারে কী বলা যায়?

কারণ, খরচের এই বড় চ্যালেঞ্জ থাকলে, স্থানীয় মডেল কি তা দূর করতে পারবে না?

হ্যাঁ, এটি কাজ করবে।

তবে এখানে কিছু ট্রেডঅফ আছে যা আমাদের বিবেচনা করতে হবে।

তাই, খরচের দিক থেকে, হ্যাঁ, আমরা সার্ভার বিল বাদ দেব, যা একটি বিশাল সুবিধা হবে, আরও অনেক সুযোগ খুলে দেবে।

কিন্তু এমন অনেক কিছু আছে যা এখন ক্লাউড সমাধান করতে পারে যা স্থানীয়ভাবে করতে সমস্যা হয়।

যেমন, কম্পিউট।

প্রায়ই লোকজন বলেন, "দেখুন, আমি এই স্পিচ-টু-টেক্সট মডেলটি খুব ভালো পেয়েছি এবং এটি এই ডিভাইসে লোকালি চলে, তাই তো?"

দারুণ, তবে আমাদের যেটা ভাবতে হবে তা হল, এটি একটি মডেল চালাচ্ছে না, এটি একাধিক মডেল চালাচ্ছে, তাই না?

আমাদের ক্ষেত্রে, চারটি, সম্ভাব্য একই সময়ে, এবং তাই, একবার চালানোর জন্য কিছু যথেষ্ট নয়, এটি একই সময়ে একাধিকবার চালাতে হবে।

এবং তারপরে, আপনি যদি এটি করেন, তাহলে আপনার গেম বা অ্যাপ্লিকেশন চালানোর জন্য কি কিছু বাকি আছে?

GPU-এর ক্ষমতা সম্পূর্ণ ব্যবহার করে ফেললে, আপনি ভিডিও গেমের খুব বেশি রেন্ডার করতে পারবেন না।

তাহলে, ধরা যাক আপনি সেইসব চ্যালেঞ্জ জয় করেছেন।

তাহলে, পরেরটা স্পিড, তাই তো?

আপনি প্রায়ই এগুলি চালাতে পারবেন, তবে সেগুলি খুব ধীর গতিতে চলবে এবং রিয়েল-টাইম কথোপকথনের চেয়ে প্রম্পট করার মতো বেশি মনে হবে।

তাই, তাত্ত্বিকভাবে, এটি লোকালভাবে পাওয়ার সুবিধা হল, আপনাকে ইন্টারনেটে গিয়ে ফিরে আসতে হবে না।

এই কাজ করার জন্য সঠিক স্পিডে রান করবে এমন মডেল পাওয়া এখন একটি চ্যালেঞ্জ।

তাহলে, ধরা যাক, আপনি কম্পিউট এবং স্পিড, দুটিতেই জয়লাভ করেছেন, এখন আমাদের কোয়ালিটি নিয়ে ভাবতে হবে, তাই তো?

তাই, সাধারণত আপনি যেহেতু এটি একটি লোকাল ডিভাইসে চালাচ্ছেন, আপনি একটি ছোট LLM ব্যবহার করছেন, ধরা যাক, আরও আদিম টেক্সট-টু-স্পিচ, আপনি কী কন্টেন্ট তৈরি করছেন তার ক্ষেত্রে এটি আসলে কিছু চ্যালেঞ্জ উপস্থাপন করতে পারে।

এবং আমি আগেই বলেছি, আপনি যখন LLM-এর কথা ভাবছেন, তখন এটি শুধু আপনার ব্যবহারকারীদের জন্য যথেষ্ট ভালো কিনা তা নয়, এটি কি আপনার ডেভেলপ করার জন্য যথেষ্ট ভালো?

তাই, সেই মডেলের সাহায্যে কিছু তৈরি করা যদি বেশ কঠিন হয়ে পড়ে, তাহলে অবশ্যই সেই বিষয়ে চিন্তা করতে হবে।

সুতরাং, ধরা যাক আপনি কম্পিউট, স্পিড ও কোয়ালিটি জয় করেছেন, এর পরে আসছে পোর্টেবিলিটি।

আপনি যদি জিতে যান এবং এই পুরো প্রসেসটি সম্পূর্ণ করেন এবং RTX 5070-এর মতো কোনও ডিভাইসে এটি চালান, তাহলে সেটিই হয়ত একমাত্র জায়গা যেখানে এটি চালানো যাবে।

তাই, নতুন প্ল্যাটফর্মে এটি নিয়ে আসার সুযোগ এলে, আপনি হয়ত আটকে যেতে পারেন।

ক্লাউডের ক্ষেত্রে, আপনার শুধু ইন্টারনেট কানেকশন প্রয়োজন।

তাই, এটি এখানে এক ধরনের বড় আনলক।

একাধিক প্ল্যাটফর্মে যাওয়ার অনুমতি দেয়।

তাহলে, এর পরে, হাইব্রিড অ্যাপ্রোচ সম্পর্কে কথা বলা যাক, ঠিক আছে?

তাই, কিছু জিনিস ক্লাউডে এবং কিছু জিনিস লোকাল ডিভাইসে রান করা যাক।

একটু একটু, এটা কি কাজ করবে?

তুমি যতটা ভাবছ, এটা ততটা বড় জয় নয়।

তাই, আপনি যদি এমন একটি মডেল পান যা বেশিরভাগ লোকাল প্ল্যাটফর্মে রান করার জন্য যথেষ্ট ছোট, তাহলে আপনি যদি সেই একই মডেল ক্লাউডে রান করেন, তাহলে সম্ভবত আপনার খুব কম খরচ হবে।

তাই, সাধারণত আপনি পুরো স্ট্যাকের সমাধান না করা পর্যন্ত আপনার সবচেয়ে বড় জয় পান না।

তারপর, পরবর্তী যে বিষয়টি উঠে আসে তা হল, আপনি যদি এটি লোকালি চালান, তাহলে কেমন হয়, তাই না?

তাদের কাছে সঠিক হার্ডওয়্যার আছে এবং আপনার কাছে না থাকলে ক্লাউডে আছে, তাই না?

আপনি ক্লাউডে আরও শক্তিশালী কিছু চালাতে পারেন।

এতে নতুন চ্যালেঞ্জ আছে, তাই না?

আপনি যদি অন্য কোনও মডেল রান করেন, তাহলে এটি ডেভেলপমেন্টের উপর বেশ প্রভাব ফেলতে পারে।

এবং আপনাকে যেকোনও উপায়ে ন্যূনতম স্পেসিফিকেশনে কাজ করার জন্য অনেক সময় ব্যয় করতে হবে।

এবং আপনার কাছে এমন মডেল থাকতে পারে যা সম্পূর্ণ ভিন্নভাবে আচরণ করে।

তাই, আপনি যদি ঠিক একই মডেল ব্যবহার না করেন, তাহলে আপনি অনেক বেশি ডেভেলপমেন্ট টাইম এবং খরচ যোগ করতে পারেন।

তাই, আপনি কী অর্জন করতে চাইছেন সেই বিষয়ে চিন্তা করাটা গুরুত্বপূর্ণ, কারণ ধরুন আপনি এটি বুঝতে পেরেছেন এবং প্রয়োজন হলে একটি ভাল লোকাল পেয়েছেন, যদি না হয় তাহলে ক্লাউড, তবুও ক্লাউড মডেলের জন্য অর্থনীতিকে কাজ করতে হবে।

কারণ, হঠাৎ করে আপনার সব ব্যবহারকারী ক্লাউড সাইডে চলে গেলে, আপনি যদি অর্থনৈতিক দৃষ্টিকোণ থেকে সেই বিষয়ে না ভাবেন, তাহলে আপনার ক্ষতি হবে।

তাই, লোকাল মডেলের ক্ষেত্রে, এটি অবশ্যই, একটি বড় অর্থনৈতিক জয়, তবে এটি এখনও প্রাথমিক পর্যায়ে রয়েছে।

গেমের মতো দাম-সংবেদনশীল অ্যাপ্লিকেশনের জন্য, আমি বিশ্বাস করি যে এটি শেষ পর্যন্ত জিতবে।

আজকে, আরও নির্দিষ্ট ব্যবহারের ক্ষেত্রে, বিশেষ করে কমান্ড-ভিত্তিক জিনিসের ক্ষেত্রে এটি কিছুটা জটিল।

তাই, আজ, এই মুহূর্তে, আমরা সম্ভাব্য সেরা অভিজ্ঞতা চাই।

সেই জন্যই আমরা ক্লাউড ব্যবহার করছি।

তবে, এই স্পেস খুব দ্রুত পরিবর্তন হচ্ছে এবং সবকিছুই খুব দ্রুত বদলে যাচ্ছে।

তাহলে, পরবর্তী অংশ হল, আমরা যে মডেলগুলি ব্যবহার করছি সেগুলি সম্পর্কে চিন্তা করা যাক, তাই না?

তাহলে, পরবর্তী প্রশ্ন হল ওপেন ওয়েট বনাম ক্লোজড ওয়েট।

আমাদের এখানে কী করা উচিত?

আমি এই বিষয়ে কথা বলার সময় LLM-এর উপর ফোকাস করতে চাই কারণ আমরা দেখেছি যে এই ক্ষেত্রটি ওপেন বনাম ক্লোজড সোর্স সংক্রান্ত প্রশ্নের দ্বারা সবচেয়ে বেশি প্রভাবিত হয়।

সুতরাং, এখানে অবশ্যই কিছু সুবিধা এবং অসুবিধা রয়েছে।

তাহলে, ক্লোজড, ওয়েট মডেলের ক্ষেত্রে, এগুলি সাধারণত আপনার ফ্রন্টিয়ার ইন্টেলিজেন্স, তাই তো?

তাই, আপনার যদি সবচেয়ে বেশি ইন্টেলিজেন্সের প্রয়োজন হয়, তাহলে আপনাকে প্রায়শই এখানে যেতে হবে।

এদিকে, ওপেন সোর্সের ক্ষেত্রে, তারা প্রায়ই এক প্রজন্ম পিছিয়ে থাকে।

তাই, এটি একটি বাস্তবসম্মত ট্রেড-অফ হতে পারে।

স্পিডের ব্যাপারে আমি প্রথম বাক্যটি বলতে কত সময় লাগছে তার উপর জোর দিয়েছি।

আমরা যা আবিষ্কার করেছি তা হল, ক্লোজড মডেলের লাইফটাইম জুড়ে, স্পিড প্রায়ই কমে যায়।

আর এর অনেক কারণ থাকতে পারে।

হতে পারে আরও বেশি লোক মডেলটি ব্যবহার করছেন, হতে পারে হার্ডওয়্যার একটি নতুন মডেলে স্থানান্তরিত হয়েছে।

তবে এটি এমন একটি বিষয় যা আমরা লক্ষ্য করেছি।

তাই, আপনাকে সতর্ক থাকতে হবে কারণ এর ফলে সমস্যা হতে পারে, যেমন আপনি কোনও প্রোডাক্ট শিপ করলে এবং সেটি খুব ভালো হলেও, সময়ের সাথে সাথে তা ব্যবহারের অনুপযোগী হয়ে যেতে পারে।

এরপর স্পাইক।

আপনি এই ধরনের ধারাবাহিকতার ব্যাপারে অনেক বেশি যত্নশীল এবং তাই, প্রায়শই, এক ধরনের ক্লোজড মডেল অ্যাসিঙ্ক্রোনাস টাস্কে ব্যাচিংয়ের মতো করে তৈরি করা হয়, P99 লেটেন্সির মতো নয়, যেখানে, ওপেন সাইডে, আপনি এমন একজন পরিষেবা প্রদানকারীকে বেছে নিতে পারেন যিনি আপনার যত্ন নেওয়া নির্দিষ্ট জিনিসটির যত্ন নেন, যাতে আপনি শেষ পর্যন্ত প্রয়োজনীয় আত্মবিশ্বাস, গতি এবং লেটেন্সি পেতে পারেন।

পরবর্তীটি হল মডেলের লাইফটাইম।

তাই, ক্লোজড মডেলের ক্ষেত্রে, প্রায় এক বছর পরে সেগুলি বন্ধ করে দেওয়া হয়।

সুতরাং, এর অর্থ হল আপনি যদি এক বছর ধরে কোনও কিছু ডেভেলপ করেন এবং আশা করেন যে এটি ৩ বছর ধরে প্রোডাকশনে থাকবে, তাহলে আপনাকে ৩টির বেশি মডেল পরিবর্তন করতে হতে পারে।

আর কোনও মডেল ভালো মানেই যে সেটি আপনার জন্য ভালো কাজ করবে, তা নয়।

গত ৩ বছরে আমরা অনেক মডেল পরিবর্তন করেছি এবং প্রায়ই সবকিছু নতুন করে সাজাতে কয়েক সপ্তাহ, কখনও কখনও কয়েক মাস সময় লেগে যায়। তবে, ওপেন সোর্সের ক্ষেত্রে, যতক্ষণ কেউ সেই মডেল হোস্ট করতে ইচ্ছুক বা আপনি নিজেই হোস্ট করতে ইচ্ছুক, ততক্ষণ আপনি সেই মডেল চালাতে পারবেন।

সবশেষে, খরচ।

প্রায়ই, সময়ের সাথে সাথে, এইসব ক্লোজড মডেল, নতুন ভার্সন রিলিজ করার সাথে সাথে, আগের ভার্সনের চেয়ে বেশি ব্যয়বহুল হয়ে যায়।

তাই, অর্থনৈতিক দিক থেকে এটিও একটি গুরুত্বপূর্ণ বিষয়, আপনার অর্থনৈতিক মডেল লঞ্চের সময় কাজ করলেও, মডেল মাইগ্রেট করার পরে তা কাজ নাও করতে পারে।

ওপেন সাইডে, আপনার কাছে এটি এদিক ওদিক সরানোর নমনীয়তা রয়েছে এবং এটি একই মডেল হওয়ার কারণে এর সম্ভাবনা নাটকীয়ভাবে বৃদ্ধি পাবে না।

তাই, আমরা Gemma 4 31B ব্যবহার করছি এবং এটি আমাদের জন্য একটি বিশাল আনলক ছিল কারণ, আমাদের জন্য, এটি ছিল গতি, বুদ্ধিমত্তা এবং খরচের সেরা সমন্বয়।

এটি আমাদের খুব দ্রুত কাজ করতে সাহায্য করেছে।

আমরা আগে যেসব জিনিস ব্যবহার করেছি তার থেকে এটি দিয়ে ডেভেলপ করা অনেক সহজ।

এর অর্থ এই নয় যে আমরা শুধু এটিই ব্যবহার করি।

আমরা বিভিন্ন ওপেন ও ক্লোজড মডেলের অনেক কম্বিনেশন ব্যবহার করি।

যেমন, মেমরি জেনারেশন, নিরাপত্তা ও কাস্টমাইজেশন।

সেই টাস্কে আপনার নির্দিষ্ট প্রয়োজনের জন্য সেরা মডেল বেছে নেওয়াটা খুবই গুরুত্বপূর্ণ।

তবে ভয়েস এজেন্টের ক্ষেত্রে Gemma 4 31B হল আমাদের সবচেয়ে নির্ভরযোগ্য মডেল।

তাই, এই দুইয়ের মধ্যে এই ধরনের পার্থক্যের কথা বলতে গেলে, ওপেন মডেল আপনাকে অবশ্যই আরও বেশি নিয়ন্ত্রণ দেয় এবং আরও বেশি অনুমানযোগ্য খরচে হোস্ট করা যায় এমন মডেলগুলিকে আপনি যতদিন খুশি রাখতে পারেন।

এবং কোনও মডেল বন্ধ হয়ে যাওয়ার কারণে আপনার শিডিউলে কোনও প্রভাব পড়বে না।

Devin Reimer

তাহলে, এই বিষয়ে আলোচনা শেষ করার আগে, এই তিনটি বিষয়ের মধ্যে ভারসাম্য বজায় রাখাটাই আসল কথা, তাই তো?

আপনার লেটেন্সি, আমরা স্ট্রিমিং, প্যারালাল, স্পিড এবং এর ধারাবাহিকতার মধ্যে ভারসাম্য বজায় রাখার চেষ্টা করছি।

বুদ্ধিমত্তার দিক থেকে, ব্যবহারকারীদের জন্য যথেষ্ট স্মার্ট, তৈরি করার জন্য যথেষ্ট স্মার্ট।

খরচের ক্ষেত্রে, আমাদের জানতে হবে যে ব্যবহারকারী প্রতি কত খরচ হবে এবং ব্যবহারকারী প্রতি আমরা কত উপার্জন করতে পারব যাতে আমরা নিশ্চিত করতে পারি যে অর্থনৈতিকভাবে এটি লাভজনক হবে।

প্রথমে তৈরি করে পরে অর্থনৈতিক দিকটি নিয়ে ভাববেন না।

একদম শুরু থেকেই এই বিষয়ে চিন্তা করুন।

তাই, এখনও অনেক কিছু করা বাকি, তবে এখানে অর্থনীতি কাজ করতে শুরু করেছে।

And so, cheaper will definitely be greater, more intelligent models will definitely be greater.

তবে, আজ থেকেই আমরা সেইসব কঠিন চ্যালেঞ্জের উপর কাজ শুরু করতে পারি, যেগুলি সমাধান করলে ভয়েস এজেন্ট সব জায়গায় ব্যবহার করা যাবে।

তাই, ভয়েস এজেন্টের এই ক্ষমতা সকলের কাছে পৌঁছে দিতে পেরে আমি অত্যন্ত আনন্দিত।

ধন্যবাদ।