Bên trong Gemini Nano và Gemma 4, những mô hình hỗ trợ trí tuệ trên thiết bị

Sara Smoot

Xin chào, chào mừng các bạn đến với buổi trò chuyện.

Tôi là Sara, trưởng nhóm kỹ thuật về mô hình Gemma.

Vì vậy, hôm nay tôi muốn chia sẻ với các bạn về các mô hình của chúng tôi.

Tôi sẽ nói về các tính năng và cách chúng tôi thiết kế cho thiết bị di động.

Tôi sẽ nói về các kỹ thuật mà chúng tôi tích hợp vào mô hình để giúp mô hình chạy hiệu quả trên thiết bị di động.

Tôi sẽ hướng dẫn bạn cách truy cập vào mô hình đó và cách chúng tôi tích hợp với AICore.

Sau đó, tôi sẽ kết thúc bằng một số bản minh hoạ để giới thiệu mô hình và giúp bạn hình dung về khả năng của mô hình này.

Vì vậy, để hiểu được hướng đi của chúng ta, chúng ta cần hiểu được những gì chúng ta đã làm.

Chúng tôi đã ra mắt Gemma 1 vào năm 2024.

Chúng tôi đã ra mắt một mô hình có 2 tỷ và 7 tỷ tham số, chỉ xử lý văn bản, kích thước rất nhỏ so với những gì đang diễn ra vào thời điểm đó.

Sau Gemma 1, chúng tôi đã ra mắt Gemma 2, mang đến một số tính năng bổ sung.

Chúng tôi đã giới thiệu về lập trình.

Chúng tôi cũng đã giới thiệu một mô hình kích thước lớn, 27B, giúp mở rộng đáng kể khả năng của dòng Gemma.

Gemma 3 ra mắt ngay sau đó.

Một lần nữa, chúng tôi bổ sung thêm nhiều tính năng, khả năng đa phương thức và sau đó là một mô hình nhỏ hơn, mô hình 270 triệu tham số, vì chúng tôi nhận ra rằng các mô hình nhỏ hơn thực sự có nhiều trường hợp sử dụng và chúng tôi thực sự đang cố gắng hỗ trợ nhiều trường hợp sử dụng trực tuyến trên thiết bị di động nhất có thể.

Vì vậy, với mỗi bản phát hành, khả năng của chúng tôi sẽ tăng lên và đó là điều có chủ đích.

Chúng tôi đang thiết kế cho phần cứng của một thiết bị, bao gồm cả điện thoại, máy tính xách tay, GPU. Mục tiêu của chúng tôi không phải là tạo ra một mô hình lớn hơn, mặc dù chúng tôi đã tăng lên 12 đến 27 tỷ tham số. Mục tiêu của chúng tôi là tích hợp nhiều khả năng hơn vào cùng một kích thước trong mỗi lần lặp lại, vì chúng tôi muốn duy trì hoạt động trên thiết bị, chúng tôi muốn duy trì hoạt động cục bộ.

Vì vậy, chúng tôi đã xây dựng một hệ thống hiệu quả hơn.

Tôi sẽ nói về những việc chúng tôi đã làm cho Gemma 4 và cách chúng tôi thực hiện.

Chúng tôi đã ra mắt mô hình E2B (tôi sẽ giải thích chữ "E" sau một phút nữa), mô hình E4B, mô hình hợp nhất 12B (tôi sẽ giải thích lý do chúng tôi ra mắt mô hình này) và mô hình MoE.

Tất cả đều nhằm chứng minh hiệu quả và mang lại cho nhà phát triển sự linh hoạt hơn đối với các ứng dụng và những thứ họ muốn xây dựng.

Giờ thì hãy xem xét kỹ hơn một chút về các tính năng. Tại đây, bạn có thể thấy các tính năng mà chúng tôi đã thêm vào theo thời gian.

Có vài điều tôi muốn chỉ ra, đó là độ dài ngữ cảnh.

Chúng tôi đã tăng độ dài ngữ cảnh lên nhiều so với các phiên bản Gemma trước đây.

Gemma 4 có ngữ cảnh lên đến 128 nghìn.

Các mô hình lớn hơn có thể lên đến 256.

Tôi xin lưu ý rằng Bộ công cụ học máy có giới hạn về độ dài ngữ cảnh, vì vậy, hãy nhớ kiểm tra ngân sách của bạn trước khi dự kiến có thể ra mắt với 128.

Nhưng như vậy là đủ để bạn đọc các tài liệu dài, thực hiện một số suy luận mở rộng, gọi hàm, đồng thời cung cấp cho bạn đủ ngân sách để thực hiện đa phương thức, sử dụng hình ảnh và âm thanh.

Video là một tính năng mới mà chúng tôi đã thêm vào, bắt đầu từ Gemma 3n, và chúng tôi đã chú trọng hơn một chút vào tính năng này cho Gemma 4.

Giờ đây, chúng tôi hỗ trợ nhiều ngôn ngữ.

Chúng tôi vẫn đang huấn luyện mô hình bằng nhiều ngôn ngữ, nên bạn có cả tính năng hỗ trợ ngôn ngữ tích hợp sẵn và tính năng hỗ trợ được huấn luyện trước.

Và tất cả những điều này hiện đang được cung cấp theo giấy phép Apache 2 hoàn toàn mới, điều mà chúng tôi thực sự rất hào hứng, vì điều này sẽ mang lại nhiều sự linh hoạt hơn cho những gì bạn có thể xây dựng bằng giấy phép này, đồng thời cũng giúp giảm bớt sự bất đồng.

Việc xây dựng và tải mô hình xuống sẽ liền mạch hơn nhiều.

Sara Smoot

Được rồi, vậy chúng ta làm gì với thị giác?

Cụ thể, Gemma 4 có khả năng xử lý hình ảnh với tỷ lệ khung hình linh hoạt.

Vì vậy, tính năng này sẽ lấy một hình ảnh và thay vì thu nhỏ hình ảnh đó thành một hình vuông không phù hợp, chúng tôi sẽ giữ nguyên tỷ lệ khung hình thực tế của mô hình.

Điều này có nghĩa là văn bản và các đối tượng của bạn sẽ không bị méo.

Điều này thực sự cải thiện đáng kể khả năng của mô hình.

Hình dạng vẫn giữ nguyên, OCR được cải thiện rất nhiều nhờ tỷ lệ khung hình biến thiên này.

Mô hình thị giác cũng có thể đọc biểu đồ, bảng tính và đồ thị.

Ứng dụng này cũng có thể dịch từ các dấu hiệu hình ảnh, vì vậy, bạn có thể chụp ảnh các từ và ứng dụng sẽ có thể dịch các từ đó cho bạn.

Mô hình này cũng có thể suy luận về thế giới vật lý.

Nó có thể nhìn vào một bức ảnh, hiểu được vị trí của các vật thể, hiểu được nội dung trong ảnh.

Gemini có thể làm được rất nhiều việc.

Và một tính năng ít người biết khác về các mô hình Gemma của chúng tôi là bạn có thể đặt ngân sách mã thông báo hình ảnh.

Vì vậy, hiện tại, tôi muốn nói là hãy kiểm tra và xem nó là gì trong Bộ công cụ học máy, nhưng bạn có một phạm vi rộng.

Nếu muốn dành nhiều năng lượng và sức mạnh hơn cho việc hiểu hình ảnh có độ phân giải cao, bạn có thể thiết lập điều đó.

Nếu bạn không thực sự muốn tận dụng trường hợp sử dụng đó, bạn có thể giảm đáng kể ngân sách mã thông báo hình ảnh và lấy lại nhiều sức mạnh đó, cũng như chu kỳ tính toán của mô hình cho các ứng dụng văn bản của bạn.

Chế độ âm thanh là một chế độ tương đối mới đối với chúng tôi.

Chúng tôi ra mắt mô hình này lần đầu trong Gemma 3n.

Giờ đây, chúng tôi đang hoàn toàn tập trung vào hướng đi này cho Gemma 4.

Âm thanh chỉ có trong các mô hình nhỏ nhất của chúng tôi: E2B, E4B và mô hình 12B.

Tính năng này sẽ chép lời hoàn toàn dựa trên tệp âm thanh.

Tính năng này dịch lời nói.

Công cụ này hỗ trợ hơn 35 ngôn ngữ ngay từ đầu.

Chúng tôi cũng đã huấn luyện trước mô hình này bằng hơn 140 ngôn ngữ. Vì vậy, nếu muốn sử dụng một ngôn ngữ không nằm trong số 35 ngôn ngữ được hỗ trợ, bạn có thể tinh chỉnh mô hình để nhận được sự hỗ trợ hiệu quả cho ngôn ngữ chưa được hỗ trợ sẵn.

Chúng tôi đã thêm khả năng suy luận của tác nhân.

Đây cũng là một điểm mới của Gemma 4.

Có lên kế hoạch.

Nó thực hiện nhiều bước.

Mô hình này sử dụng các công cụ.

Mô hình này làm theo hướng dẫn một cách chính xác.

Nó trả về JSON có cấu trúc.

Mô hình này có thể làm mọi việc mà bạn mong đợi ở một mô hình tác nhân.

Tôi khuyên bạn nên xem phần Đảm bảo bạn đang sử dụng Nếu bạn đang làm Nếu bạn không sử dụng Bộ công cụ học máy, bạn đang tự làm mọi thứ, hãy đảm bảo bạn chú ý đến các mẫu trò chuyện.

Mẫu trò chuyện rất phức tạp.

Bạn cần phải cẩn thận khi xử lý các trường hợp này.

Nếu bạn đang sử dụng Bộ công cụ học máy, thì tất cả những việc này đều được thực hiện cho bạn.

Cuối cùng, Gemma tiếp tục mang đến khả năng hiểu văn bản tuyệt vời.

Và với bối cảnh dài hơn, giờ đây chúng ta có thể phân tích mã, tài liệu dài, dịch thuật.

Trên thực tế, với chức năng lập trình, Android Studio hiện hỗ trợ Gemma 4 ở chế độ ngoại tuyến.

Vì vậy, nếu bạn muốn sử dụng Android Studio khi không có mạng, Gemma 4 sẽ hỗ trợ bạn thực hiện các nhiệm vụ lập trình.

Và một điểm mấu chốt: E2B và E4B đủ nhỏ để có thể chạy mượt mà trên điện thoại của bạn.

Vì vậy, đây là một thiết bị có nhiều tính năng nhưng lại rất nhỏ gọn.

Đây thực sự là một thách thức kỹ thuật rất khó khăn, vì vậy, nhóm Gemma rất tự hào về điều này.

Sau đây là một vài ví dụ minh hoạ các chức năng.

Ở bên trái, chúng tôi cho thấy mô hình có thể tìm thấy máy tính xách tay và trả về toạ độ của vị trí máy tính xách tay.

Sau đó, ứng dụng có thể vẽ một con trỏ, cho biết vị trí của máy tính xách tay.

Ở giữa, mô hình có thể xác định các đối tượng rồi vẽ các hộp giới hạn xung quanh các đối tượng đó.

Có một số ứng dụng thú vị cho việc này: phát hiện đối tượng, tránh vật thể.

Đây là một tính năng rất hay.

Ở bên phải là cách mô hình có thể đọc văn bản.

Vì vậy, câu này có nghĩa là "Cẩn thận, có mèo".

Mô hình này cũng hiểu được những gì đang diễn ra trong hình ảnh và nhìn thấy chú mèo này ở tư thế rất hài hước, đồng thời có thể dịch và chỉ ra rằng đó là một câu nói đùa mà văn bản bên dưới cho biết: "Điều gì đó có thể xảy ra".

Tôi thấy điều này khá dễ thương.

Vì vậy, việc chỉ tay, phát hiện đối tượng, nhận dạng ký tự quang học và dịch thuật đều không cần đến quy trình xử lý thị giác đặc biệt.

Giờ chúng ta hãy cùng xem các số liệu đánh giá.

Bạn biết đấy, việc chứng minh năng lực luôn quan trọng, nhưng nhiều người nhìn vào những điều này và tôi nghĩ rằng ở đây bạn có thể thấy sức mạnh của các mô hình.

Nếu nhìn vào hai cột cuối cùng, bạn sẽ thấy E2B vượt trội hơn Gemma 3 27B (một mô hình lớn hơn nhiều) về khả năng suy luận, lập trình và tác nhân.

Vì vậy, hãy xem LiveCodeBench.

Chúng tôi có 44 cho Gemma 4 so với 29 cho Gemma 3 27B.

AIME cũng cao hơn nhiều.

Tau2, một công cụ đánh giá tác nhân, cũng cao hơn nhiều, cho thấy sức mạnh vượt trội.

Nếu tăng thêm một vài tham số, mô hình E4B của chúng tôi sẽ vượt trội hơn hẳn mô hình 27B trên mọi điểm chuẩn.

Vì vậy, khi chuyển từ Gemma 3 sang Gemma 4, chúng tôi đã tích hợp thêm nhiều tính năng vào cùng một số lượng tham số.

Sara Smoot

Vậy chúng ta làm điều này bằng cách nào?

Việc nâng cao khả năng của mô hình mà không cần tăng kích thước là một bài toán khó.

Nếu chỉ nhìn vào phần cứng, điện thoại có ít bộ nhớ hơn nhiều.

Ý tôi là, chúng ta đang xem xét 12 đến 16 GB so với khoảng 80 GB mà bạn có thể nhận được trên máy chủ.

Băng thông cũng ít hơn rất nhiều: 50 đến 80 GB so với terabyte mà bạn sẽ nhận được trong một máy chủ.

Và sau đó là những hạn chế nghiêm trọng về nguồn điện.

Vì vậy, chúng ta phải lưu ý tất cả những điều này khi chạy mô hình.

Và mỗi kỹ thuật mà tôi sắp giới thiệu cho bạn sẽ nhắm đến từng quy tắc ràng buộc này và giúp mô hình hoạt động tối ưu hơn trên phần cứng di động.

Được rồi, điều đầu tiên chúng ta làm là không có một cấu trúc cho mỗi kích thước.

Mỗi kích thước mô hình có cấu trúc riêng biệt.

Vì vậy, mô hình E2B, E4B của chúng tôi có một số yếu tố đặc biệt mà tôi sẽ chủ yếu tập trung vào trong phần còn lại của bài nói chuyện, nhưng tôi nghĩ bạn nên biết rằng mô hình 12B của chúng tôi không có bộ mã hoá thị giác.

Vì vậy, với mô hình này, chúng tôi đã loại bỏ bộ mã hoá thị giác để đơn giản hoá cả quá trình triển khai và giảm thiểu số lượng tham số mà mô hình cần.

Đó là một trong những mục tiêu thường thấy đối với phần cứng máy tính xách tay của chúng tôi.

Các mô hình lớn của chúng tôi được thiết kế để thể hiện khả năng mạnh mẽ nhất.

Các mô hình này có cả dạng mô hình dày đặc hoàn toàn và mô hình kết hợp các chuyên gia.

Mô hình kết hợp các chuyên gia cũng có thể chạy trên máy tính xách tay và chúng tôi xây dựng mô hình này vì kiến trúc chuyên gia có độ trễ thấp hơn.

Vì vậy, trong phần còn lại của bài nói chuyện, tôi sẽ tập trung vào các mô hình di động, đó là E2B, E4B và nói về những gì chúng tôi đã làm để giúp chúng chạy thực sự tốt trên điện thoại của bạn.

Được rồi, đây là nơi xuất phát của chữ "E", tức là Per-Layer Embeddings (Nhúng theo lớp).

Đây là một kỹ thuật thú vị mà chúng tôi có, một kỹ thuật cải tiến mà chúng tôi đã thêm vào các mô hình.

Và nếu bạn nghĩ về cách hoạt động của các mô hình, thì các mô hình cần nhiều tham số hơn để thông minh hơn.

Chúng tôi đang tìm cách cải thiện hiệu suất của tham số, nhưng nói chung, nếu muốn mô hình hoạt động tốt hơn, bạn cần có nhiều tham số hơn.

Và PLE, những gì nó làm là nó nói, "Được rồi, chúng ta cần thêm tham số."

Nhưng thay vì thêm trực tiếp các tham số vào mô hình, chúng ta có thêm một bảng nhúng.

Và bảng nhúng này được đọc cho mỗi lớp.

Vì vậy, bạn có thể làm như sau: sau khi có các mã thông báo mà bạn biết mô hình sẽ cần, bạn có thể lấy các mục nhúng theo từng lớp mà bạn cần cho một chuỗi đầu vào nhất định, sau đó bạn có thể chỉ tải các mục nhúng đó vào mô hình.

Vì vậy, mô hình này mang lại cho bạn một mô hình 2 tỷ tham số hiệu quả, mặc dù số lượng tham số thực tế lớn hơn một chút.

Đó là lý do chúng tôi gọi mô hình này là mô hình 2 tỷ tham số hiệu quả, vì chỉ có 2 tỷ tham số đó được tải vào bộ nhớ của bạn.

Bảng nhúng thường được lưu trong bộ nhớ flash, không phải trong RAM.

Vì vậy, bạn thực sự đang giới hạn cả băng thông, vì bạn không phải chuyển nhiều tham số, nhưng bạn vẫn nhận được toàn bộ khả năng của một mô hình lớn hơn nhiều.

Ứng dụng này cũng chiếm ít RAM hơn trên thiết bị.

Tiếp theo, chúng tôi thêm một mô hình soạn thảo.

Mô hình người soạn thảo mà chúng tôi sử dụng cho Gemma là mô hình Dự đoán nhiều mã thông báo.

Và đây là một dạng giải mã suy đoán.

Điều này giúp bạn dự đoán nhiều mã thông báo hơn cho mỗi lượt so với mô hình tự hồi quy thông thường.

Vì vậy, thay vì đưa ra các mô hình tự hồi quy thông thường sẽ chỉ thực hiện một mã thông báo tại một thời điểm, bạn phải xem qua toàn bộ mô hình cho mọi mã thông báo.

MTP sẽ dự đoán 3 hoặc 4 mã thông báo cùng một lúc, sau đó chúng tôi sử dụng mô hình chính để xác thực các mã thông báo đó.

Và nếu những mã thông báo đó được chấp nhận, chúng sẽ được sử dụng và sau đó, chúng ta thường có thể nhận được, bạn biết đấy, hai, ba, bốn mã thông báo cho mỗi lần truyền thay vì chỉ một mã thông báo tại một thời điểm.

Đây là một kỹ thuật phổ biến.

Mô hình Drafter đã xuất hiện.

Điều chúng tôi đã làm khác biệt và đặc biệt cho Gemma là chúng tôi chia sẻ bộ nhớ đệm KV từ mô hình cơ sở.

Vì vậy, đối với E2B, chúng tôi thực hiện điền trước đầy đủ, xây dựng bộ nhớ đệm, sau đó mô hình soạn thảo của chúng tôi sử dụng bộ nhớ đệm KV đó.

Vì vậy, bạn thực sự tiết kiệm được khoảng 130 mili giây cho một câu lệnh 100 token hoặc 1.000 token, vì bạn không phải tạo lại câu trả lời được điền sẵn cho mô hình soạn thảo.

Và vì vậy, mô hình soạn thảo của chúng tôi nhanh hơn khoảng 30 đến 40 lần so với các mô hình soạn thảo khác hiện có.

Nếu nhìn vào các con số, bạn có thể thấy tốc độ tăng lên khi chúng ta sử dụng mô hình người soạn thảo.

Tỷ lệ chấp nhận của chúng tôi cao hơn từ 40% đến 60% so với hầu hết các mô hình soạn thảo.

Chúng tôi giảm được 40% độ trễ giải mã nhờ sử dụng mô hình soạn thảo, đồng thời giảm được từ 30% đến 40% mức tiêu thụ năng lượng nhờ sử dụng mô hình soạn thảo này.

Nhờ đó, bạn sẽ nhận được phản hồi nhanh hơn, thời lượng pin dài hơn và không cần thay đổi mã.

Đây là một công cụ khá đơn giản và được hỗ trợ tốt.

Sara Smoot

Cải tiến tiếp theo của chúng tôi là về lượng tử hoá.

Thông thường, lượng tử hoá cũng không phải là một kỹ thuật mới, nhưng chúng tôi đặc biệt chú ý đến các mô hình di động để đảm bảo rằng chúng tôi có một kỹ thuật lượng tử hoá hoạt động thực sự hiệu quả với phần cứng di động.

Và có một số điều chúng tôi cân nhắc khi sử dụng mô hình QAT.

Đầu tiên là chúng tôi thực hiện QAT, tức là huấn luyện nhận biết lượng tử hoá.

Điều này có nghĩa là khi huấn luyện, chúng ta sẽ xem xét và nhận ra rằng chúng ta sẽ lượng tử hoá.

Vì vậy, việc này giúp mô hình hiểu rằng các tham số sẽ được phân nhóm và giúp duy trì chất lượng.

Và nó cũng giúp duy trì chất lượng, và thường thì chúng ta có thể giảm kích thước mô hình xuống một phần nhỏ.

Vì vậy, nếu bạn chuyển từ mô hình 16 bit sang mô hình 4 bit mà vẫn giữ nguyên chất lượng, thì chúng ta thực sự đã tiết kiệm được rất nhiều bộ nhớ.

Vì vậy, E2B có hai kiểu lượng tử hoá khác nhau.

Chúng ta có định dạng Q4_0.

Đây là phương pháp lượng tử hoá đa năng hơn.

Bạn có thể tuỳ chỉnh thông tin này.

Cách này hoạt động rất hiệu quả với các thư viện lượng tử hoá khác.

Công cụ này cho phép bạn thử nghiệm và có một phương pháp lượng tử hoá có thể phù hợp với trường hợp sử dụng của bạn.

Chúng tôi cũng có một phương pháp lượng tử hoá rất đặc biệt, gọi là lượng tử hoá di động, có khả năng lượng tử hoá rất mạnh mẽ và chúng tôi đã nghiên cứu rất nhiều để tối ưu hoá phương pháp này.

Hầu hết các môi trường thời gian chạy đều không hỗ trợ, nhưng Bộ công cụ học máy và Android Studio thì có, nên bạn có thể sử dụng.

Bạn có thể sử dụng thẻ đó ở đó.

Một số điểm cải tiến mà chúng tôi đã tích hợp: chúng tôi sử dụng lượng tử kích hoạt tĩnh.

Vì vậy, khi thực hiện lượng tử hoá, thông thường, nếu đang thực hiện kích hoạt dải động, bạn cần tính toán các dải một cách nhanh chóng rồi sử dụng dải đó để thực hiện lượng tử hoá.

Chúng tôi đã thực hiện lượng tử hoá dải tĩnh cho bạn, vì vậy, bạn không cần phải tính toán trước các dải.

Một việc khác chúng tôi đã làm là lượng tử hoá theo kênh.

Chúng tôi cấu trúc và nén mô hình theo cách thức phù hợp với kênh, hoạt động rất hiệu quả với hầu hết phần cứng di động.

Chúng tôi đã nhắm đến phương pháp lượng tử hoá 2 bit.

Vì vậy, việc lượng tử hoá 2 bit thường gây tổn hao khá nhiều.

Rất khó để thực hiện PTQ.

Chúng tôi đã nghiên cứu và hiểu rõ các mô hình của mình để biết những tham số nào có thể được nén xuống 2 bit, đồng thời thực hiện tốt quá trình huấn luyện nhận biết lượng tử hoá.

Điều này giúp tiết kiệm rất nhiều dung lượng lưu trữ, đồng thời vẫn giữ được gần như toàn bộ chất lượng.

Vì vậy, mô hình lượng tử đặc biệt của chúng tôi có kích thước dưới 1 gigabyte, tức là nhỏ hơn khá nhiều so với các mô hình lượng tử 4 bit mà chúng tôi có.

Một điều khác mà chúng tôi đã tích hợp vào quy trình lượng tử hoá tuỳ chỉnh là chúng tôi đã thực hiện lượng tử hoá bộ nhớ đệm KV và nhúng.

Có nhiều kỹ thuật để thực hiện cả hai việc này.

Chúng tôi đã nghiên cứu và đây là những gì sẽ hoạt động thực sự hiệu quả với mô hình của chúng tôi.

Và chúng tôi đã gói gọn những điều đó vào các điểm kiểm tra này.

Vì vậy, tất cả những điều này giúp giảm đáng kể bộ nhớ hoạt động của bạn.

Điều này giúp bạn tiết kiệm rất nhiều băng thông khi phải di chuyển các tham số qua lại.

Và bạn cũng có thể quản lý và lưu giữ các cuộc trò chuyện dài và những nội dung khác mà không lo hết dung lượng.

Sara Smoot

Được rồi, vậy là chúng ta tích hợp thông qua AICore.

Vì vậy, bạn sẽ nhận được mô hình Gemini Nano 4 khi sử dụng AICore.

Gemini Nano 4 là Gemma được xây dựng và chạy thông qua AICore.

AICore mang lại một số lợi ích cho bạn.

Đây là cách ít tốn công nhất, và thực ra, tôi sẽ nói nhanh về cách còn lại.

Cách còn lại là thông qua LiteRT, một cách tuỳ chỉnh và thực tế hơn.

Nếu bạn chọn cách này, mô hình sẽ được đóng gói cùng với ứng dụng của bạn.

Mô hình này sẽ không sử dụng mô hình dùng chung được lưu trữ trên thiết bị.

Vì vậy, bạn phải lưu ý đến bộ nhớ của mình.

Bạn cần phải chú ý đến mức tiêu thụ điện năng của mình.

Bạn sẽ phải can thiệp nhiều hơn vào tài nguyên trên điện thoại và cách quản lý tài nguyên đó.

Nhưng bạn sẽ có toàn quyền kiểm soát.

Bạn có thể sử dụng các mô hình tinh chỉnh với LiteRT để có thêm nhiều lựa chọn tuỳ chỉnh.

Nếu sử dụng AICore, bạn có thể dùng các API của bộ công cụ học máy. Đây là cách dễ dàng nhất.

Và khi sử dụng, bạn sẽ có được rất nhiều chức năng mà tôi đã nói đến, các mục nhúng theo từng lớp được xử lý một cách thích hợp và thời gian chạy hỗ trợ việc không có tham số trong RAM, không có tham số nhúng trong RAM.

Thiết bị này đã được tích hợp sẵn MTP nên sẽ tự động hoạt động.

Nó cũng sử dụng lượng tử di động của chúng tôi.

Và mô hình này đang chạy trên một môi trường thời gian chạy được thiết kế để lưu trữ và hoạt động hiệu quả với quá trình lượng tử hoá đó.

Vậy nên, mô hình này thực sự có thể chạy và thực hiện các tác vụ với độ chính xác 2 bit khi cần, giúp tiết kiệm tài nguyên và hoạt động rất hiệu quả.

Nếu bạn muốn tìm hiểu sâu hơn, có hai bài nói chuyện khác mà họ đã hoặc sắp thực hiện.

Phiên của David về Bộ công cụ học máy sẽ đề cập đến lộ trình Gemini Nano 4, cách sử dụng mô hình thông qua Bộ công cụ học máy, sau đó phiên của Chintan và Fergus về LiteRT sẽ đề cập đến cách sử dụng LiteRT và cách phát triển bằng LiteRT.

Vì vậy, đây là quy trình yêu cầu cho Gemma.

Có một nền tảng API xử lý một số dữ liệu đầu vào và tất cả đều được tích hợp sẵn cho bạn.

Một phần của quá trình xử lý dữ liệu đầu vào là tín hiệu an toàn.

AICore có một số tính năng an toàn tích hợp sẵn.

Mô hình này kiểm tra xem Chúng tôi tích hợp nhiều tính năng an toàn vào mô hình.

Đây là một lớp bảo vệ bổ sung cho các ứng dụng di động.

Dữ liệu này sẽ đi qua cấu hình tính năng rồi đến thời gian chạy trên thiết bị.

Ở đầu ra, Gemini cũng kiểm tra lại mức độ an toàn.

Mô hình này kiểm tra các tín hiệu đầu ra để đảm bảo rằng kết quả đầu ra là an toàn.

Đây cũng là một lớp bảo mật bổ sung bên cạnh những lớp bảo mật mà chúng tôi đã tích hợp vào mô hình.

Lớp này cũng thực hiện các bản cập nhật và được chia sẻ trên các ứng dụng.

Vì vậy, nếu bạn đang xây dựng nhiều ứng dụng nói riêng hoặc không muốn phải quản lý một mô hình đi kèm, thì đây thực sự là cách tuyệt vời và bạn sẽ nhận được nhiều chức năng tích hợp sẵn ngay từ đầu.

Sara Smoot

Được rồi, tôi sẽ chuyển sang phần minh hoạ.

Đây là trợ lý thoại.

Tôi sẽ chiếu video đó trên máy tính xách tay.

Một số điều tôi muốn bạn lưu ý là tính năng này hoàn toàn cục bộ và chạy trên thiết bị.

Nó được xếp tầng bằng VAD.

Dữ liệu sẽ đi qua STT, sau đó đi vào Gemma, rồi đi qua TTS, tức là mô hình chuyển văn bản sang lời nói.

Nó đang truyền trực tuyến và cũng đang chạy trên mô hình E2B.

Đây là mô hình đang chạy trên máy tính xách tay, nhưng đây cũng chính là mô hình đang chạy trên điện thoại.

Tất cả những việc này đều có thể thực hiện trên điện thoại.

Bản minh hoạ cụ thể này được xây dựng bằng LiteRT.

Cũng có thể được xây dựng bằng Bộ công cụ học máy.

Hãy chú ý đến độ trễ, không có chuyến khứ hồi nào của máy chủ và xem cách ứng dụng xử lý các gián đoạn.

Gemma, hãy giới thiệu đôi chút về bản thân bạn.

Tôi là Gemma 4, một mô hình ngôn ngữ lớn do Google DeepMind phát triển.

Tôi xử lý văn bản và hình ảnh để cung cấp thông tin và hoàn thành nhiệm vụ.

Chúng ta tìm hiểu tiếp nhé.

Bạn có thể chia sẻ đôi điều về Shakespeare không?

William Shakespeare là nhà viết kịch và nhà thơ người Anh, được nhiều người coi là nhà văn vĩ đại nhất trong nền văn học Anh.

Chờ chút.

Bạn có biết không?

Tôi rất muốn tìm hiểu về hệ mặt trời.

Bạn có thể chia sẻ thêm không?

Hệ Mặt Trời bao gồm Mặt Trời và mọi thiên thể chịu lực hấp dẫn của Mặt Trời, bao gồm 8 hành tinh, các hành tinh lùn, mặt trăng, tiểu hành tinh và sao chổi.

Thật tuyệt vời.

Bạn có thể giải thích cách hoạt động của lỗ đen không?

Lỗ đen hình thành khi một ngôi sao khổng lồ sụp đổ dưới lực hấp dẫn của chính nó, tạo ra một vùng không-thời gian có lực hấp dẫn mạnh đến mức không gì, kể cả ánh sáng, có thể thoát ra.

Thật tuyệt vời.

Cảm ơn bạn.

Không có gì!

Bạn có câu hỏi nào khác mà tôi có thể giải đáp không?

Được rồi.

Có trợ lý âm thanh.

Được rồi, tiếp theo.

Đây sẽ là một trợ lý cục bộ sử dụng các chức năng video.

Ứng dụng này hoàn toàn không cần mạng và để nhấn mạnh điều đó, bản minh hoạ được thực hiện khi đang cắm trại, có lẽ là ở nơi hoang dã.

Những điều bạn cần lưu ý là mô hình này được xây dựng dựa trên mô hình E4B.

Nói chuyện tự nhiên.

Chúng ta sẽ hướng dẫn mô hình cách thực hiện.

Tính năng này sử dụng các lệnh gọi công cụ ở chế độ nền và có thể truy cập vào nhiều nội dung trên điện thoại.

Và nó khá vui nhộn.

Gemma ơi, chúng ta có Internet chưa?

Không, chúng tôi hiện không có kết nối Internet.

Cảnh báo này là về vấn đề gì?

Đó là tiếng Tây Ban Nha.

Biển báo đó cảnh báo về môi trường sống của báo sư tử.

Biển báo này cho biết báo sư tử là một phần của môi trường địa phương và bạn nên thận trọng nếu gặp phải chúng.

Đạo hàm của hàm số này là gì?

Đạo hàm của x bình phương cộng 7x cộng 10 là 2x cộng 7.

Thật buồn cười.

Xin chào.

Chào Cindy!

Gemma, tối nay nhóm chúng ta đi bộ đường dài lúc mấy giờ?

Chuyến đi bộ đường dài của nhóm bạn được lên lịch vào lúc 18:00.

Hôm nay.

Đây có phải là báo sư tử không?

Không, đó là một chú chó.

Ngoan lắm.

Sara Smoot

Được rồi, hãy bắt đầu xây dựng.

Đây là các đường liên kết ở trên, thực chất là đường liên kết đến các điểm kiểm tra.

Nếu bạn muốn xem trực tiếp các điểm kiểm tra và mã mô hình của chúng tôi, thì tất cả đều có sẵn.

Bạn có thể sử dụng công nghệ học máy, chẳng hạn như Gemma, Gemini Nano 4, đường liên kết đến Bộ công cụ học máy.

Các điểm kiểm tra nằm trên Hugging Face, mã của chúng tôi nằm trong cơ sở mã Transformers.

Bạn có thể xem những việc chúng tôi đã làm.

Bạn cũng có thể lấy các điểm kiểm tra từ Kaggle.

Một lần nữa, tôi muốn nhắc bạn xem bài thuyết trình của David về Bộ công cụ học máy nếu bạn muốn tìm hiểu thêm về Bộ công cụ học máy.

Sau đó, chúng ta cũng sẽ có bài thuyết trình về LiteRT của Chintan và Fergus.

Nếu bạn muốn xem cách truy cập và sử dụng mô hình trong ứng dụng thông qua LiteRT.

Cảm ơn bạn.

Tôi rất mong chờ được thấy những sản phẩm mà các bạn sẽ xây dựng.