Tối ưu hoá câu lệnh tự động (APO)

Để hỗ trợ thêm cho các trường hợp sử dụng Prompt API của Bộ công cụ học máy trong quá trình phát hành công khai, chúng tôi rất vui mừng thông báo về tính năng Tối ưu hoá câu lệnh tự động (APO) nhắm đến các mô hình trên thiết bị trên Vertex AI. Tối ưu hoá câu lệnh tự động là một công cụ giúp bạn tự động tìm ra câu lệnh tối ưu cho các trường hợp sử dụng của mình.

Kỷ nguyên của AI trên thiết bị không còn là lời hứa mà đã trở thành hiện thực. Với việc phát hành Gemini Nano phiên bản 3, chúng tôi đang cung cấp khả năng hiểu ngôn ngữ và đa phương thức chưa từng có cho người dùng. Thông qua nhóm mô hình Gemini Nano, chúng tôi có phạm vi hỗ trợ rộng rãi cho các thiết bị trong Hệ sinh thái Android. Nhưng đối với những nhà phát triển đang xây dựng thế hệ ứng dụng thông minh tiếp theo, việc có quyền truy cập vào một mô hình mạnh mẽ chỉ là bước đầu tiên. Thách thức thực sự nằm ở khả năng tùy chỉnh: Làm cách nào để điều chỉnh một mô hình cơ sở cho hiệu suất ở cấp độ chuyên gia cho trường hợp sử dụng cụ thể của bạn mà không vi phạm các hạn chế của phần cứng di động?

Trong thế giới phía máy chủ, các LLM lớn hơn có xu hướng có khả năng cao và ít cần điều chỉnh theo miền hơn. Ngay cả khi cần, các lựa chọn nâng cao hơn như tinh chỉnh LoRA (Thích ứng cấp thấp) cũng có thể là những lựa chọn khả thi. Tuy nhiên, cấu trúc riêng biệt của Android AICore ưu tiên một mô hình hệ thống dùng chung, tiết kiệm bộ nhớ. Điều này có nghĩa là việc triển khai các bộ điều hợp LoRA tuỳ chỉnh cho từng ứng dụng riêng lẻ sẽ gặp phải những thách thức đối với các dịch vụ hệ thống dùng chung này.

Tuy nhiên, có một cách khác cũng hiệu quả không kém. Bằng cách tận dụng tính năng Tối ưu hoá câu lệnh tự động (APO) trên Vertex AI, nhà phát triển có thể đạt được chất lượng gần bằng với chất lượng của việc tinh chỉnh, đồng thời làm việc liền mạch trong môi trường thực thi Android gốc. Bằng cách tập trung vào hướng dẫn hệ thống vượt trội, APO cho phép nhà phát triển điều chỉnh hành vi của mô hình với độ mạnh mẽ và khả năng mở rộng cao hơn so với các giải pháp tinh chỉnh truyền thống.

Lưu ý:  Gemini Nano V3 là phiên bản được tối ưu hoá về chất lượng của mô hình Gemma 3N được đánh giá cao. Mọi hoạt động tối ưu hoá câu lệnh được thực hiện trên mô hình Gemma 3N nguồn mở cũng sẽ áp dụng cho Gemini Nano V3. Trên các thiết bị được hỗ trợ, các API GenAI của Bộ công cụ học máy tận dụng mô hình nano-v3 để tối đa hoá chất lượng cho Nhà phát triển Android

APO coi câu lệnh không phải là văn bản tĩnh mà là một nền tảng có thể lập trình và có thể được tối ưu hoá. Công cụ này tận dụng các mô hình phía máy chủ (như Gemini Pro và Flash) để đề xuất câu lệnh, đánh giá các biến thể và tìm ra câu lệnh tối ưu cho nhiệm vụ cụ thể của bạn. Quy trình này sử dụng 3 cơ chế kỹ thuật cụ thể để tối đa hoá hiệu suất:

1. Phân tích lỗi tự động: APO phân tích các mẫu lỗi từ dữ liệu huấn luyện để tự động xác định những điểm yếu cụ thể trong câu lệnh ban đầu.
2. Chưng cất hướng dẫn ngữ nghĩa: Phân tích vô số ví dụ huấn luyện để chưng cất "ý định thực sự" của một nhiệm vụ, tạo ra những hướng dẫn phản ánh chính xác hơn sự phân phối dữ liệu thực.
3. Thử nghiệm song song các đề xuất: Thay vì thử nghiệm từng ý tưởng một, APO sẽ tạo và thử nghiệm song song nhiều đề xuất để xác định giá trị tối đa toàn cầu về chất lượng.

Tại sao APO có thể tiếp cận chất lượng tinh chỉnh

Nhiều người thường lầm tưởng rằng tinh chỉnh luôn mang lại chất lượng tốt hơn so với việc đưa ra câu lệnh. Đối với các mô hình cơ sở hiện đại như Gemini Nano phiên bản 3, thiết kế câu lệnh có thể mang lại tác động đáng kể:

• Duy trì các khả năng chung: Việc tinh chỉnh ( PEFT/LoRA) buộc trọng số của mô hình phải lập chỉ mục quá mức trên một phân phối dữ liệu cụ thể. Điều này thường dẫn đến hiện tượng "quên thảm hoạ", trong đó mô hình trở nên tốt hơn ở cú pháp cụ thể của bạn nhưng lại kém hơn ở logic và độ an toàn chung. APO không thay đổi các trọng số, giữ nguyên các chức năng của mô hình cơ sở.
• Làm theo hướng dẫn và khám phá chiến lược: Gemini Nano phiên bản 3 đã được huấn luyện kỹ lưỡng để làm theo các hướng dẫn phức tạp của hệ thống. APO khai thác điều này bằng cách tìm ra cấu trúc chỉ dẫn chính xác giúp mở khoá các khả năng tiềm ẩn của mô hình, thường khám phá ra những chiến lược mà các kỹ sư có thể khó tìm thấy. 

Để xác thực phương pháp này, chúng tôi đã đánh giá APO trên nhiều tải công việc sản xuất đa dạng. Quy trình xác thực của chúng tôi cho thấy độ chính xác tăng từ 5% đến 8% trong nhiều trường hợp sử dụng.Trong số nhiều tính năng được triển khai trên thiết bị, APO đã mang lại những cải thiện đáng kể về chất lượng.

Quy trình làm việc liền mạch, toàn diện dành cho nhà phát triển

Nhiều người thường lầm tưởng rằng tinh chỉnh luôn mang lại chất lượng tốt hơn so với việc đưa ra câu lệnh. Đối với các mô hình cơ sở hiện đại như Gemini Nano phiên bản 3, thiết kế câu lệnh có thể mang lại tác động đáng kể:

• Duy trì các khả năng chung: Việc tinh chỉnh ( PEFT/LoRA) buộc trọng số của mô hình phải lập chỉ mục quá mức trên một phân phối dữ liệu cụ thể. Điều này thường dẫn đến hiện tượng "quên thảm hoạ", trong đó mô hình trở nên tốt hơn ở cú pháp cụ thể của bạn nhưng lại kém hơn ở logic và độ an toàn chung. APO không thay đổi các trọng số, giữ nguyên các chức năng của mô hình cơ sở.
• Làm theo hướng dẫn và khám phá chiến lược: Gemini Nano phiên bản 3 đã được huấn luyện kỹ lưỡng để làm theo các hướng dẫn phức tạp của hệ thống. APO khai thác điều này bằng cách tìm ra cấu trúc chỉ dẫn chính xác giúp mở khoá các khả năng tiềm ẩn của mô hình, thường khám phá ra những chiến lược mà các kỹ sư có thể khó tìm thấy. 

Để xác thực phương pháp này, chúng tôi đã đánh giá APO trên nhiều tải công việc sản xuất đa dạng. Quy trình xác thực của chúng tôi cho thấy độ chính xác tăng từ 5% đến 8% trong nhiều trường hợp sử dụng.Trong số nhiều tính năng được triển khai trên thiết bị, APO đã mang lại những cải thiện đáng kể về chất lượng.

Kết luận

Việc phát hành tính năng Tối ưu hoá câu lệnh tự động (APO) đánh dấu một bước ngoặt cho AI tạo sinh trên thiết bị. Bằng cách thu hẹp khoảng cách giữa các mô hình cơ sở và hiệu suất ở cấp độ chuyên gia, chúng tôi đang cung cấp cho nhà phát triển các công cụ để xây dựng các ứng dụng di động mạnh mẽ hơn. Cho dù bạn chỉ mới bắt đầu với Tối ưu hoá không cần dữ liệu hay mở rộng quy mô để sản xuất với tính năng tinh chỉnh Dựa trên dữ liệu, giờ đây, con đường dẫn đến thông tin tình báo chất lượng cao trên thiết bị đã trở nên rõ ràng hơn. Triển khai các trường hợp sử dụng trên thiết bị vào quy trình sản xuất ngay hôm nay bằng Prompt API của Bộ công cụ học máy và tính năng Tối ưu hoá câu lệnh tự động của Vertex AI. 

Đường liên kết có liên quan: 

• ML Kit Prompt API,
• Tài liệu về Trình tối ưu hoá câu lệnh của Vertex AI
• Blog thông báo về Gemma 3N