온디바이스 인텔리전스를 지원하는 Gemini Nano 및 Gemma 4 내부

사라 스뭇

안녕하세요. 강연에 오신 것을 환영합니다.

제 이름은 사라입니다. Gemma의 모델링 측면을 담당하는 엔지니어링 리드입니다.

오늘 이 자리에서 말씀드릴 내용은 Google의 모델입니다.

모바일용 디자인에 대한 Google의 생각과 기능에 대해 이야기하겠습니다.

모바일에서 효율적으로 실행되도록 모델에 빌드하는 기술에 대해 이야기하겠습니다.

이 기능에 액세스하는 방법과 AICore와 통합하는 방법을 살펴보겠습니다.

그런 다음 모델을 보여주고 모델의 기능과 할 수 있는 작업을 보여주는 몇 가지 데모로 마무리하겠습니다.

앞으로의 방향을 이해하려면 지금까지의 과정을 이해하는 것이 도움이 됩니다.

2024년에 Gemma 1을 출시했습니다.

당시 상황에 비해 매우 작은 크기인 20억 및 70억 파라미터 모델(텍스트 전용)을 출시했습니다.

Gemma 1에 이어 몇 가지 추가 기능을 도입한 Gemma 2를 출시했습니다.

코딩을 도입했습니다.

또한 Gemma 시리즈의 기능을 크게 확장한 대형 모델인 27B도 도입했습니다.

얼마 지나지 않아 Gemma 3가 출시되었습니다.

다시 말씀드리지만, 소형 모델에 실제로 많은 사용 사례가 있다는 것을 깨닫고 최대한 많은 온라인 모바일 사용 사례를 지원하기 위해 더 많은 기능, 멀티모달, 그리고 더 작은 모델인 2억 7천만 파라미터 모델을 추가했습니다.

따라서 출시할 때마다 기능이 향상되고 있으며 이는 의도된 것입니다.

Google은 단일 기기 하드웨어를 위해 설계하고 있으며, 여기에는 휴대전화, 노트북, GPU가 포함됩니다. Google의 목표는 더 큰 모델을 만드는 것이 아닙니다. 12B에서 27B까지 확장하기는 했지만, Google의 목표는 각 반복에서 동일한 공간에 더 많은 기능을 맞추는 것입니다. 온디바이스를 유지하고 로컬을 유지하고 싶기 때문입니다.

이를 위해 효율성을 개선했습니다.

Gemma 4를 위해 Google이 어떤 작업을 수행했고 어떻게 수행했는지에 대해 이야기하겠습니다.

E2B를 출시했고, 'E'의 의미는 잠시 후에 설명하겠습니다. E4B를 출시했고, 12B 통합 모델을 출시했습니다. 왜 그렇게 했는지 설명하겠습니다. 그리고 MoE 모델도 출시했습니다.

이 모든 것은 효율성을 입증하고 개발자가 원하는 앱과 사물을 더 유연하게 빌드할 수 있도록 지원하기 위한 것입니다.

기능을 좀 더 자세히 살펴보면, 지금까지 추가된 기능들을 확인할 수 있습니다.

몇 가지 지적하고 싶은 점은 컨텍스트 길이입니다.

이전 Gemma 버전보다 훨씬 긴 컨텍스트 길이를 추가했습니다.

Gemma 4는 최대 128K 컨텍스트를 지원합니다.

더 큰 모델은 최대 256개까지 지원합니다.

ML Kit는 컨텍스트 길이에 제한을 두므로 128로 출시할 수 있다고 기대하기 전에 예산을 확인해야 합니다.

하지만 이 정도면 긴 문서를 읽고, 확장된 추론과 함수 호출을 수행하고, 멀티모달리티를 수행하고, 시각 및 오디오를 사용할 수 있는 충분한 예산을 확보할 수 있습니다.

동영상은 Gemma 3n부터 추가된 새로운 기능으로, Gemma 4에서는 이 기능을 조금 더 강화했습니다.

이제 다국어 지원이 제공됩니다.

Google은 여전히 여러 언어로 학습을 진행하고 있으므로 기본 제공 언어 지원과 사전 학습된 지원을 모두 사용할 수 있습니다.

이 모든 것이 이제 완전히 새로운 Apache 2 라이선스로 제공됩니다. 이를 통해 빌드할 수 있는 항목에 훨씬 더 많은 유연성을 제공하고 마찰도 훨씬 줄어들기 때문에 매우 기대됩니다.

모델을 빌드하고 다운로드하는 것이 훨씬 더 원활합니다.

사라 스뭇

그렇다면 비전은 어떻게 해야 할까요?

Gemma 4의 비전은 가변 가로세로 비율을 지원합니다.

이 기능은 이미지를 가져와서 어색한 정사각형으로 압축하는 대신 모델의 실제 가로세로 비율을 유지합니다.

즉, 텍스트가 왜곡되지 않고 객체도 왜곡되지 않습니다.

실제로 모델의 기능이 크게 향상됩니다.

이 가변 가로세로 비율을 사용하면 도형이 그대로 유지되고 OCR이 크게 개선됩니다.

또한 비전은 차트, 스프레드시트, 그래프를 읽을 수 있습니다.

또한 시각적 단서를 번역할 수 있으므로 단어 사진을 찍으면 번역할 수 있습니다.

또한 실제 세계에 대해 추론합니다.

사진을 보고 사물의 위치를 파악하고 이미지에 무엇이 있는지 이해할 수 있습니다.

꽤 많은 일을 할 수 있습니다.

Gemma 모델의 또 다른 잘 알려지지 않은 기능은 시각적 토큰 예산을 설정할 수 있다는 것입니다.

지금은 ML Toolkit에서 무엇인지 확인하고 있지만 범위가 넓습니다.

고해상도 이미지 이해에 더 많은 전력과 에너지를 사용하고 싶다면 그렇게 설정할 수 있습니다.

이러한 사용 사례를 활용하고 싶지 않다면 이미지 토큰 예산을 크게 줄이고 텍스트 애플리케이션의 모델 컴퓨팅 주기를 많이 확보할 수 있습니다.

오디오는 비교적 새로운 모드입니다.

Gemma 3n에서 처음 도입되었습니다.

이제 Gemma 4에서 이 기능을 전적으로 활용하고 있습니다.

오디오는 가장 작은 모델인 E2B, E4B, 12B 모델에서만 사용할 수 있습니다.

오디오 파일을 기반으로 전체 스크립트가 작성됩니다.

음성을 번역합니다.

35개 이상의 언어를 기본적으로 지원합니다.

또한 140개 이상의 언어로 사전 학습되어 있으므로 35개 언어에 포함되지 않는 언어의 경우 미세 조정을 통해 기본적으로 지원되지 않는 언어에 대한 지원을 받을 수 있습니다.

에이전트형 추론이 추가되었습니다.

이 기능도 Gemma 4에 새로 추가되었습니다.

계획을 세웁니다.

여러 단계로 구성된 작업을 수행합니다.

도구를 사용합니다.

요청 사항을 정확하게 따릅니다.

구조화된 JSON을 반환합니다.

에이전트형 모델에 기대하는 모든 작업을 수행할 수 있습니다.

ML Toolkit을 사용하지 않고 직접 작업하는 경우 채팅 템플릿에 주의를 기울여야 합니다.

채팅 템플릿은 까다롭습니다.

신중하게 처리해야 합니다.

ML Toolkit을 사용하는 경우 이 모든 작업이 자동으로 처리됩니다.

마지막으로 Gemma는 계속해서 뛰어난 텍스트 이해 기능을 제공합니다.

또한 더 긴 컨텍스트를 통해 이제 코드와 긴 문서를 분석하고 번역할 수 있습니다.

코딩 기능을 통해 Android 스튜디오는 이제 오프라인 모드에서 Gemma 4를 지원합니다.

따라서 Android 스튜디오를 오프라인으로 사용하려는 경우 Gemma 4를 사용하여 코딩 작업을 수행할 수 있습니다.

핵심은 E2B와 E4B는 휴대전화에 적합하고 잘 실행될 만큼 작다는 것입니다.

따라서 매우 작은 공간에 많은 기능이 포함되어 있습니다.

이는 실제로 매우 어려운 엔지니어링 과제이므로 Gemma팀은 이 점을 매우 자랑스럽게 생각합니다.

다음은 기능을 보여주는 몇 가지 예시입니다.

왼쪽에서는 모델이 노트북을 찾고 노트북이 있는 위치의 좌표를 반환할 수 있음을 보여줍니다.

그러면 앱이 포인터를 그리고 노트북의 위치를 표시할 수 있습니다.

가운데에서는 모델이 객체를 식별한 다음 해당 객체 주위에 경계 상자를 그릴 수 있습니다.

객체 감지, 객체 회피 등 흥미로운 애플리케이션이 있습니다.

이는 매우 유용한 기능입니다.

오른쪽에는 모델이 텍스트를 읽는 방법이 표시됩니다.

따라서 이 문장은 '조심해, 고양이가 있어'로 번역됩니다.

또한 이미지에서 무슨 일이 일어나고 있는지 이해하고, 이 고양이가 정말 재미있는 자세를 취하고 있다는 것을 인식하며, 아래 텍스트에 '무슨 일이 일어날지도 모른다'는 핵심 내용이 있다는 것을 번역하고 지적할 수 있습니다.

귀여운 것 같아요.

따라서 특별한 비전 파이프라인 없이도 포인팅, 객체 감지, OCR, 번역을 모두 수행합니다.

이제 평가 수치를 살펴보겠습니다.

기능을 보여주는 것은 항상 중요하지만, 많은 사람들이 이를 보고 모델의 강점을 확인할 수 있다고 생각합니다.

마지막 두 열을 보면 E2B가 훨씬 더 큰 모델인 Gemma 3 27B보다 추론, 코딩, 에이전트 기능에서 더 우수한 성능을 보입니다.

LiveCodeBench를 살펴보겠습니다.

Gemma 4는 44점, Gemma 3 27B는 29점입니다.

AIME도 훨씬 높습니다.

에이전트 평가인 Tau2도 훨씬 높아서 이 부분에서 큰 강점을 보여줍니다.

파라미터를 조금만 더 늘리면 E4B 모델이 모든 벤치마크에서 27B 모델을 확실히 능가합니다.

Gemma 3에서 Gemma 4로 전환하면서 동일한 수의 파라미터에 훨씬 더 많은 기능을 담았습니다.

사라 스뭇

그렇다면 어떻게 해야 할까요?

모델을 더 크게 만들지 않고도 성능을 향상시키는 것은 어려운 문제입니다.

하드웨어만 보면 휴대전화의 메모리가 훨씬 적습니다.

서버에서 얻을 수 있는 80GB에 비해 12~16GB를 보고 있습니다.

대역폭도 서버에서 얻을 수 있는 테라바이트에 비해 50~80GB로 훨씬 적습니다.

그리고 심각한 전력 제약이 있습니다.

따라서 모델을 실행하는 동안 이 모든 사항을 염두에 두어야 합니다.

다음에 보여드릴 각 기법은 이러한 제약 조건을 각각 타겟팅하여 모델이 모바일 하드웨어에서 더 최적화되도록 도와줍니다.

먼저, 크기별로 하나의 아키텍처가 있는 것이 아닙니다.

각 모델 크기에는 자체 아키텍처가 있습니다.

E2B와 E4B에는 몇 가지 특별한 요소가 있으며, 이 부분에 대해서는 남은 시간 동안 집중적으로 다루겠습니다. 하지만 12B 모델에는 비전 인코더가 없다는 점을 알아두는 것이 도움이 될 것입니다.

이 모델에서는 배포를 간소화하고 모델에 필요한 파라미터 수를 최소화하기 위해 비전 인코더를 제거했습니다.

이 버전은 일반적으로 노트북 하드웨어를 대상으로 합니다.

대규모 모델은 가장 강력한 기능을 보여줍니다.

이러한 모델은 완전 밀집형 모델과 전문가 혼합 모델로 제공됩니다.

전문가 혼합 모델은 노트북에서도 실행할 수 있으며, 전문가 아키텍처에서 얻을 수 있는 지연 시간이 짧기 때문에 이 모델을 구축했습니다.

따라서 나머지 시간 동안에는 모바일 모델인 E2B, E4B에 초점을 맞춰 휴대전화에서 원활하게 실행되도록 하기 위해 어떤 작업을 수행했는지 설명하겠습니다.

여기서 'E'는 레이어별 임베딩을 의미합니다.

이는 Google이 모델에 추가한 흥미롭고 혁신적인 기법입니다.

모델이 작동하는 방식을 생각해 보면 모델이 더 스마트해지려면 더 많은 파라미터가 필요합니다.

파라미터 효율성이 개선되고 있지만 일반적으로 모델을 개선하려면 더 많은 파라미터가 필요합니다.

PLE는 '파라미터가 더 필요하다'고 말합니다.

하지만 모델에 직접 매개변수를 추가하는 대신 추가 임베딩 테이블이 있습니다.

이 임베딩 테이블은 각 레이어에 대해 읽어들입니다.

따라서 모델에 필요한 토큰을 확보한 후에는 지정된 입력 시퀀스에 필요한 레이어별 임베딩을 가져와서 해당 임베딩만 모델에 로드할 수 있습니다.

따라서 파라미터 수 자체는 상당히 크지만 20억 개의 파라미터 모델을 효과적으로 제공합니다.

따라서 20억 개의 파라미터만 메모리에 로드되므로 실질적으로 20억 개의 파라미터라고 부릅니다.

임베딩 테이블은 일반적으로 RAM이 아닌 플래시에 저장됩니다.

따라서 전송해야 하는 파라미터가 많지 않으므로 대역폭을 제한하면서도 훨씬 더 큰 모델의 전체 모델 기능을 활용할 수 있습니다.

또한 기기에서 RAM을 적게 차지합니다.

다음으로 추가한 것은 초안 작성 모델입니다.

Gemma에 사용하는 초안 작성 모델은 멀티 토큰 예측 모델입니다.

이는 추측 디코딩의 한 형태입니다.

이렇게 하면 일반적인 자동 회귀 모델보다 패스당 더 많은 토큰을 예측할 수 있습니다.

따라서 일반적인 자동 회귀 모델은 한 번에 하나의 토큰만 처리하므로 모든 토큰을 전체 모델을 통해 처리해야 합니다.

이러한 초안 작성자, 즉 MTP가 하는 일은 한 번에 3~4개의 토큰을 예측하는 것이며, 그런 다음 기본 모델을 사용하여 해당 토큰을 검증합니다.

이러한 토큰이 수락되면 사용되며, 일반적으로 한 번에 하나의 토큰이 아닌 패스당 2개, 3개, 4개의 토큰을 얻을 수 있습니다.

이는 일반적인 기법입니다.

초안 작성 모델이 있습니다.

Gemma에서 다르고 특별한 점은 기본 모델의 KV 캐시를 공유한다는 것입니다.

따라서 E2B의 경우 전체 사전 입력을 수행하고 캐시를 빌드한 다음 초안 작성자 모델이 해당 KV 캐시를 사용합니다.

따라서 드래프터 모델의 프리필을 다시 생성할 필요가 없으므로 1, 000토큰 프롬프트에서 약 130밀리초를 절약할 수 있습니다.

따라서 Google의 드래프터 모델은 다른 드래프터 모델보다 약 30~40배 더 빠릅니다.

수치를 보면 드래프터 모델을 사용할 때 속도가 빨라지는 것을 확인할 수 있습니다.

대부분의 드래프터 모델보다 수락률이 40~60% 더 높습니다.

초안 작성 모델을 사용하면 디코딩 지연 시간이 40% 줄어들고 에너지 사용량도 30~40% 줄어듭니다.

따라서 더 빠른 응답, 더 긴 배터리 수명, 코드 변경이 필요하지 않습니다.

이 도구는 비교적 간단하고 지원이 잘 됩니다.

사라 스뭇

다음 혁신은 양자화입니다.

일반적으로 양자화도 새로운 기술은 아니지만, 모바일 모델의 경우 모바일 하드웨어와 잘 작동하는 양자화를 확보하기 위해 각별한 주의를 기울입니다.

QAT 모델과 관련하여 고려해야 할 사항이 몇 가지 있습니다.

첫 번째는 QAT를 수행하는 것입니다. QAT는 양자화 인식 학습을 의미합니다.

즉, 학습을 진행할 때 양자화할 것이라는 사실을 고려하고 인식합니다.

따라서 모델이 매개변수가 버케팅될 것임을 이해하는 데 도움이 되며 품질을 유지하는 데 도움이 됩니다.

또한 품질을 유지하는 데 도움이 되며, 일반적으로 모델을 원래 크기의 일부로 줄일 수 있습니다.

따라서 16비트 모델에서 4비트 모델로 전환하고 모든 품질을 유지하면 메모리를 정말 많이 절약할 수 있습니다.

E2B는 두 가지 양자화로 제공됩니다.

Q4_0 형식이 있습니다.

이는 보다 범용적인 양자화입니다.

맞춤설정할 수 있습니다.

이는 다른 양자화 라이브러리와 함께 사용할 때 매우 효과적입니다.

이를 통해 사용 사례에 적합한 양자화를 사용해 볼 수 있습니다.

또한 모바일 양자화라고 하는 매우 특별한 양자화가 있는데, 이는 양자화가 매우 공격적이며 이를 최적화하기 위해 많은 연구를 진행했습니다.

대부분의 런타임에서 지원되지 않지만 ML Kit와 Android 스튜디오에서는 지원되므로 사용할 수 있습니다.

거기서 사용할 수 있습니다.

Google에서 구축한 혁신 중 일부는 정적 활성화 양자화를 사용합니다.

따라서 양자화를 수행할 때 일반적으로 모델은 동적 범위 활성화를 수행하는 경우 즉시 범위를 계산한 다음 이를 사용하여 양자화를 수행해야 합니다.

정적 범위 양자화는 이미 완료되었으므로 범위를 미리 계산할 필요가 없습니다.

또 다른 작업은 채널별 양자화입니다.

대부분의 모바일 하드웨어에서 잘 작동하는 채널별 방식으로 모델을 구조화하고 압축했습니다.

2비트 양자화를 타겟팅했습니다.

따라서 2비트 양자화는 일반적으로 손실이 상당히 큽니다.

PTQ를 수행하기가 매우 어렵습니다.

Google은 연구를 진행하고 모델을 충분히 이해하여 매개변수를 2비트로 압축할 수 있는 부분을 파악하고 양자화 인식 학습을 통해 이를 잘 수행했습니다.

이렇게 하면 품질을 거의 그대로 유지하면서도 저장용량을 많이 절약할 수 있습니다.

Google의 특수 양자화 모델은 1GB 미만으로, Google에서 제공하는 4비트 양자화 모델보다 훨씬 작습니다.

커스텀 양자화에 내장된 또 다른 기능은 임베딩 및 KV 캐시 양자화입니다.

이 두 가지를 모두 수행하는 방법에는 여러 가지가 있습니다.

조사를 통해 이 방법이 Google 모델에 매우 효과적이라는 것을 확인했습니다.

이러한 체크포인트에 번들로 묶었습니다.

이 모든 것이 활성 메모리를 크게 줄입니다.

매개변수를 앞뒤로 이동해야 하는 대역폭을 많이 절약할 수 있습니다.

또한 저장공간 부족 없이 긴 채팅 등을 관리하고 보관할 수 있습니다.

사라 스뭇

AICore를 통해 통합합니다.

AICore를 통해 Gemini Nano 4 모델을 사용할 수 있습니다.

Gemini Nano 4는 AICore를 통해 빌드되고 실행되는 Gemma입니다.

AICore는 몇 가지 유용한 기능을 제공합니다.

가장 간편한 방법입니다. 다른 방법도 간단히 설명해 드리겠습니다.

다른 경로는 LiteRT를 사용하는 것으로, 더 맞춤설정되고 직접적인 경로입니다.

이 방법을 사용하는 경우 모델이 앱과 함께 번들로 묶입니다.

기기에 호스팅된 공유 온디바이스 모델을 사용하지 않습니다.

따라서 메모리를 알고 있어야 합니다.

전력 소비에 유의해야 합니다.

휴대전화의 리소스와 관리 방식에 더 많이 직접 개입해야 합니다.

하지만 완전한 제어 권한을 얻을 수 있습니다.

LiteRT로 파인 튜닝을 사용하면 맞춤설정을 위한 더 많은 옵션을 사용할 수 있습니다.

AICore를 거치면 ML 도구 키트 API를 사용할 수 있으며, 이는 가장 간편한 방법입니다.

이 기능을 사용하면 제가 말씀드린 모든 기능을 사용할 수 있고, 레이어별 임베딩이 적절하게 처리되며, 런타임은 RAM에 없는 파라미터, RAM에 없는 임베딩 파라미터를 지원합니다.

MTP가 이미 내장되어 있으므로 자동으로 작동합니다.

또한 모바일 정량적 분석도 사용하고 있습니다.

그리고 이 양자화를 호스팅하고 잘 작동하도록 설계된 런타임에서 실행됩니다.

따라서 필요한 경우 2비트 정밀도로 실행하고 작업을 수행할 수 있으므로 매우 효율적입니다.

더 자세히 알고 싶다면 이미 진행되었거나 진행될 예정인 다른 두 강연을 참고하세요.

데이비드의 ML Kit 세션에서는 Gemini Nano 4 경로, ML Kit를 통해 모델을 사용하는 방법을 다루고, 친탄과 퍼거스의 LiteRT 세션에서는 LiteRT를 사용하는 방법과 LiteRT로 개발하는 방법을 다룹니다.

Gemma의 요청 흐름은 다음과 같습니다.

입력 처리를 거치는 API 노출 영역이 있으며, 이 모든 것이 기본 제공됩니다.

입력 처리의 일부는 안전 신호입니다.

AICore에는 안전 기능이 기본적으로 제공됩니다.

모델에 많은 안전 기능을 구축합니다.

이는 모바일 앱을 위한 추가 안전 조치입니다.

기능 구성을 거친 후 기기 내 런타임을 거칩니다.

출력에서도 안전성을 다시 확인합니다.

출력 신호를 확인하여 안전한 출력을 생성하는지 확인합니다.

이는 모델에 기본적으로 제공되는 보안 기능 외에 추가적인 보안 계층입니다.

또한 업데이트를 수행하며 앱 간에 공유됩니다.

따라서 특히 여러 앱을 빌드하는 경우나 번들 모델을 관리하고 싶지 않은 경우에 이 방법이 매우 유용하며, 기본적으로 많은 기능이 기본 제공됩니다.

사라 스뭇

이제 데모를 살펴보겠습니다.

음성 어시스턴트입니다.

노트북에 표시해 보겠습니다.

주목할 점은 이 기능이 완전히 로컬로 기기에서 실행된다는 것입니다.

VAD를 사용하여 계단식으로 표시됩니다.

STT를 거쳐 Gemma로 전달된 후 텍스트 음성 변환 모델인 TTS를 거칩니다.

스트리밍 중이며 E2B 모델에서도 실행되고 있습니다.

이 모델은 노트북에서 실행되고 있지만 휴대전화에서 실행되는 모델과 동일합니다.

이 모든 작업은 휴대전화에서 할 수 있습니다.

이 데모는 LiteRT로 빌드되었습니다.

ML Kit로도 빌드할 수 있어야 합니다.

지연 시간을 확인하고, 서버 왕복이 없으며, 중단을 처리하는 방식을 확인하세요.

Gemma, 너에 대해 조금 알려 줘.

저는 Google DeepMind에서 개발한 대규모 언어 모델인 Gemma 4입니다.

텍스트와 이미지를 처리하여 정보를 제공하고 작업을 완료합니다.

됐습니다

셰익스피어에 대해 간단히 알려 줄 수 있어?

윌리엄 셰익스피어는 영문학에서 가장 위대한 작가로 널리 알려진 영국의 극작가이자 시인입니다.

잠시만요.

그거 알아?

태양계에 대해 알고 싶어.

그것에 대해 알려주실 수 있나요?

태양계는 태양과 태양에 중력으로 묶인 모든 것(8개의 행성, 왜소행성, 위성, 소행성, 혜성 등)으로 구성됩니다.

그거 멋진데요.

블랙홀이 어떻게 작동하는지 설명해 줄 수 있어?

블랙홀은 거대한 별이 자체 중력으로 인해 붕괴할 때 형성되며, 빛을 포함한 그 어떤 것도 빠져나갈 수 없을 정도로 중력이 강한 시공간 영역을 만듭니다.

멋지네요

감사합니다.

감사합니다.

제가 도와드릴 다른 문의사항이 있으신가요?

좋습니다.

오디오 어시스턴트가 있습니다.

다음으로 넘어가겠습니다.

동영상 기능을 사용하는 로컬 어시스턴트입니다.

완전히 오프라인으로 작동하며, 이 점을 강조하기 위해 시연은 캠핑 중에, 그러니까 야외에서 진행됩니다.

E4B 모델을 기반으로 구축된 이 모델에서 주의해야 할 사항은 다음과 같습니다.

자연스럽게 대화합니다.

우리는 이 모델에게 어떻게 해야 하는지 보여줄 것입니다.

백그라운드에서 도구 호출을 사용하며 휴대전화의 다양한 항목에 액세스할 수 있습니다.

꽤 장난스럽기도 합니다.

Gemma, 지금 인터넷 연결되어 있어?

아니요, 현재 인터넷에 연결되어 있지 않습니다.

이 경고는 무엇에 관한 것인가요?

스페인어로 되어 있습니다.

저 표지판은 퓨마 서식지에 대한 경고입니다.

퓨마는 지역 환경의 일부이며, 퓨마를 마주치면 주의해야 한다고 조언합니다.

이 함수의 도함수는 무엇인가요?

x 제곱 더하기 7x 더하기 10의 미분은 2x 더하기 7입니다.

재미있네요.

안녕하세요

신디님, 안녕하세요.

Gemma, 오늘 밤 그룹 하이킹은 언제야?

단체 하이킹이 오후 6시에 예정되어 있습니다.

지금 눈앞에 펼쳐집니다.

퓨마인가요?

아니요, 개입니다.

착한 강아지로요

사라 스뭇

좋습니다. 빌드를 시작하세요.

여기 있는 링크는 실제로 체크포인트로 연결되는 링크입니다.

체크포인트를 직접 살펴보고 모델 코드를 확인하고 싶다면 모두 가능합니다.

ML을 사용할 수 있습니다. Gemma, Gemini Nano 4, ML Kit 링크가 있습니다.

체크포인트는 Hugging Face에 있고 코드는 Transformers 코드베이스에 있습니다.

지금까지의 작업 내용을 확인할 수 있습니다.

Kaggle에서 체크포인트를 가져올 수도 있습니다.

다시 한번 말씀드리지만 ML Kit에 대해 자세히 알아보려면 데이비드의 ML Kit 프레젠테이션을 확인하세요.

그리고 나중에 친탄과 퍼거스의 LiteRT 프레젠테이션도 있습니다.

LiteRT를 통해 앱에서 모델에 액세스하고 사용하는 방법을 확인하려는 경우

감사합니다.

여러분 모두가 어떤 것을 빌드할지 정말 기대됩니다.