프레임 속도

프레임 속도 API는 앱이 의도한 프레임 속도를 Android 플랫폼에 알릴 수 있도록 지원하며 Android 11 (API 수준 30) 이상을 타겟팅하는 앱에서 사용할 수 있습니다. 일반적으로 대부분의 기기는 보통 60Hz의 단일 디스플레이 새로고침 빈도만 지원했는데 이러한 상황이 바뀌고 있습니다. 이제 많은 기기가 90Hz 또는 120Hz와 같은 추가 새로고침 빈도를 지원합니다. 일부 기기는 원활한 새로고침 빈도 전환을 지원하는 반면, 다른 기기는 일반적으로 1초 동안 검은색 화면을 잠시 표시합니다.

API의 기본 목적은 앱이 지원되는 모든 디스플레이 새로고침 빈도를 더 잘 활용할 수 있도록 하는 것입니다. 예를 들어 setFrameRate()를 호출하는 24Hz 동영상을 재생하는 앱으로 인해 기기에서 디스플레이 새로고침 빈도가 60Hz에서 120Hz로 변경될 수 있습니다. 이 새로운 새로고침 빈도를 사용하면 60Hz 디스플레이에서 동일한 동영상을 재생할 때 필요한 3:2 풀다운 없이 24Hz 동영상을 끊김 없이 원활하게 재생할 수 있습니다. 따라서 사용자 환경이 개선됩니다.

기본 사용법

Android는 노출 영역에 액세스하고 노출 영역을 제어하는 여러 방법을 제공합니다. 따라서 setFrameRate() API에는 여러 버전이 있습니다. API의 각 버전은 동일한 매개변수를 사용하며 다른 버전과 동일하게 작동합니다.

• Surface.setFrameRate()
• SurfaceControl.Transaction.setFrameRate()
• ANativeWindow_setFrameRate()
• ASurfaceTransaction_setFrameRate()

앱은 setFrameRate()를 안전하게 호출하기 위해 Display.getSupportedModes()를 호출하여 가져올 수 있는 실제 지원되는 디스플레이 재생 빈도를 고려할 필요가 없습니다. 예를 들어 기기가 60Hz만 지원하더라도 앱에서 선호하는 프레임 속도로 setFrameRate()를 호출합니다. 앱의 프레임 속도와 더 잘 일치하는 기기가 없는 경우 현재 디스플레이 새로고침 빈도가 유지됩니다.

setFrameRate() 호출로 디스플레이 새로고침 빈도가 변경되는지 확인하려면 DisplayManager.registerDisplayListener() 또는 AChoreographer_registerRefreshRateCallback()를 호출하여 디스플레이 변경 알림을 등록합니다.

setFrameRate()를 호출할 때는 정수로 반올림하는 대신 정확한 프레임 속도를 전달하는 것이 가장 좋습니다. 예를 들어 29.97Hz로 녹화된 동영상을 렌더링할 때는 30으로 반올림하지 말고 29.97을 전달합니다.

동영상 앱의 경우 setFrameRate()에 전달된 호환성 매개변수를 Surface.FRAME_RATE_COMPATIBILITY_FIXED_SOURCE로 설정하여 앱이 풀다운을 사용하여 일치하지 않는 디스플레이 새로고침 빈도에 적응할 것이라는 추가 힌트를 Android 플랫폼에 제공해야 합니다 (이로 인해 흔들림이 발생함).

경우에 따라 동영상 노출 영역이 프레임 제출을 중지하지만 일정 시간 동안 화면에 계속 표시됩니다. 일반적인 시나리오로는 재생이 동영상 끝에 도달했을 때 또는 사용자가 재생을 일시중지했을 때가 있습니다. 이 경우 프레임 속도 매개변수를 0으로 설정하여 setFrameRate()를 호출하여 노출 영역의 프레임 속도 설정을 기본값으로 다시 지웁니다. 노출 영역을 소멸할 때나 사용자가 다른 앱으로 전환하여 노출 영역이 숨겨진 경우에는 프레임 속도 설정을 이렇게 지울 필요가 없습니다. 노출 영역이 사용되지 않고 계속 표시되는 경우에만 프레임 속도 설정을 지웁니다.

비연속 프레임 속도 전환

일부 기기에서는 새로고침 빈도 전환 시 1~2초 동안 검은색 화면이 표시되는 것과 같은 시각적 방해가 발생할 수 있습니다. 이는 일반적으로 셋톱 박스, TV 패널, 유사한 기기에서 발생합니다. 기본적으로 Android 프레임워크는 이러한 시각적 중단을 방지하기 위해 Surface.setFrameRate() API가 호출될 때 모드를 전환하지 않습니다.

일부 사용자는 긴 동영상의 시작과 끝에 시각적 중단을 선호합니다. 이렇게 하면 디스플레이의 화면 재생 빈도가 동영상 프레임 속도와 일치하고 영화 재생 시 3:2 풀다운 흔들림과 같은 프레임 속도 변환 아티팩트를 방지할 수 있습니다.

따라서 사용자와 앱 모두 선택하는 경우 비연속적인 새로고침 빈도 전환을 사용 설정할 수 있습니다.

• 사용자: 사용자가 콘텐츠 프레임 속도 일치 사용자 설정을 사용 설정하여 이 기능을 선택할 수 있습니다.
• 앱: 선택하려면 앱에서 CHANGE_FRAME_RATE_ALWAYS를 setFrameRate()에 전달하면 됩니다.

영화와 같이 길게 재생되는 동영상에는 항상 CHANGE_FRAME_RATE_ALWAYS을 사용하는 것이 좋습니다. 이는 동영상 프레임 속도를 일치시키는 이점이 새로고침 빈도를 변경할 때 발생하는 중단보다 크기 때문입니다.

추가 권장사항

일반적인 시나리오에 대해서는 다음 권장사항을 따르세요.

여러 노출 영역

Android 플랫폼은 프레임 속도 설정이 다른 노출 영역이 여러 개 있는 시나리오를 올바르게 처리하도록 설계되었습니다. 앱에 프레임 속도가 다른 여러 노출 영역이 있는 경우 각 노출 영역의 올바른 프레임 속도로 setFrameRate()를 호출합니다. 기기에서 분할 화면 또는 PIP 모드를 사용하여 여러 앱을 동시에 실행하는 경우에도 각 앱은 자체 노출 영역의 setFrameRate()를 안전하게 호출할 수 있습니다.

플랫폼이 앱의 프레임 속도로 변경되지 않음

기기가 앱이 setFrameRate() 호출에서 지정한 프레임 속도를 지원하더라도 기기가 디스플레이를 해당 새로고침 속도로 전환하지 않는 경우가 있습니다. 예를 들어 우선순위가 더 높은 노출 영역의 프레임 속도 설정이 다를 수 있거나 기기가 배터리 절약 모드 (배터리를 보존하기 위해 디스플레이 새로고침 빈도에 제한을 설정)일 수 있습니다. 기기가 디스플레이 재생 빈도를 앱의 프레임 속도 설정으로 전환하지 않더라도 앱은 정상적인 상황에서 기기가 전환하더라도 올바르게 작동해야 합니다.

디스플레이 새로고침 빈도가 앱 프레임 속도와 일치하지 않을 때 어떻게 응답할지는 앱에서 결정합니다. 동영상의 경우 프레임 속도가 소스 동영상의 프레임 속도로 고정되며 동영상 콘텐츠를 표시하려면 풀다운이 필요합니다. 게임은 선호하는 프레임 속도를 유지하지 않고 디스플레이 새로고침 빈도로 실행하려고 할 수 있습니다. 앱은 플랫폼의 작업에 따라 setFrameRate()에 전달하는 값을 변경해서는 안 됩니다. 앱이 플랫폼이 앱의 요청에 맞게 조정되지 않는 경우를 처리하는 방식과 관계없이 앱의 기본 프레임 속도로 설정된 상태로 유지되어야 합니다. 이렇게 하면 디스플레이 재생 빈도를 추가로 사용할 수 있도록 기기 상태가 변경되면 플랫폼에 앱의 기본 프레임 속도로 전환할 수 있는 올바른 정보가 있습니다.

앱이 디스플레이 새로고침 빈도로 실행되지 않거나 실행할 수 없는 경우 앱은 프레젠테이션 타임스탬프를 설정하기 위한 플랫폼의 메커니즘 중 하나를 사용하여 각 프레임의 프레젠테이션 타임스탬프를 지정해야 합니다.

• ASurfaceTransaction_setDesiredPresentTime()
• EGL_ANDROID_presentation_time
• VK_GOOGLE_display_timing

이러한 타임스탬프를 사용하면 플랫폼이 앱 프레임을 너무 일찍 표시하지 않아 불필요한 흔들림이 발생합니다. 프레임 프레젠테이션 타임스탬프를 올바르게 사용하는 것은 약간 까다롭습니다. 게임의 경우 프레임 속도 가이드에서 흔들림을 방지하는 방법을 자세히 알아보고 Android 프레임 속도 라이브러리를 사용하는 것이 좋습니다.

경우에 따라 플랫폼이 앱이 setFrameRate()에 지정한 프레임 속도의 배수로 전환할 수 있습니다. 예를 들어 앱이 60Hz로 setFrameRate()를 호출할 수 있고 기기가 디스플레이를 120Hz로 전환할 수 있습니다. 이러한 현상이 발생하는 한 가지 이유는 다른 앱에 프레임 속도 설정이 24Hz인 노출 영역이 있는 경우입니다. 이 경우 디스플레이를 120Hz로 실행하면 풀다운 없이 60Hz 노출 영역과 24Hz 노출 영역을 모두 실행할 수 있습니다.

디스플레이가 앱의 프레임 속도의 배수로 실행되는 경우 앱은 불필요한 흔들림을 방지하기 위해 각 프레임의 프레젠테이션 타임스탬프를 지정해야 합니다. 게임의 경우 Android Frame Pacing 라이브러리는 프레임 프레젠테이션 타임스탬프를 올바르게 설정하는 데 도움이 됩니다.

setFrameRate()와 preferredDisplayModeId 비교

WindowManager.LayoutParams.preferredDisplayModeId는 앱이 플랫폼에 프레임 속도를 표시할 수 있는 또 다른 방법입니다. 일부 앱은 디스플레이 해상도와 같은 다른 디스플레이 모드 설정을 변경하는 대신 디스플레이 재생 빈도만 변경하려고 합니다. 일반적으로 preferredDisplayModeId 대신 setFrameRate()를 사용하세요. setFrameRate() 함수는 앱이 디스플레이 모드 목록을 검색하여 특정 프레임 속도의 모드를 찾을 필요가 없으므로 더 쉽게 사용할 수 있습니다.

setFrameRate()를 사용하면 플랫폼이 서로 다른 프레임 속도로 실행되는 여러 노출 영역이 있는 시나리오에서 호환되는 프레임 속도를 더 많이 선택할 수 있습니다. 예를 들어 Pixel 4에서 두 앱이 화면 분할 모드로 실행되고 있는데, 한 앱은 24Hz 동영상을 재생하고 다른 앱은 스크롤 가능한 목록을 사용자에게 표시하는 시나리오를 생각해 보세요. Pixel 4는 60Hz와 90Hz의 두 가지 디스플레이 새로고침 빈도를 지원합니다. preferredDisplayModeId API를 사용하면 동영상 노출 영역이 60Hz 또는 90Hz 중 하나를 선택해야 합니다. 24Hz로 setFrameRate()를 호출하면 동영상 노출 영역에서 플랫폼에 소스 동영상의 프레임 속도에 관한 더 많은 정보를 제공하여 플랫폼이 이 시나리오에서 60Hz보다 나은 90Hz를 디스플레이 새로고침 빈도로 선택할 수 있습니다.

그러나 다음과 같이 setFrameRate() 대신 preferredDisplayModeId를 사용해야 하는 시나리오가 있습니다.

• 앱에서 해상도 또는 기타 디스플레이 모드 설정을 변경하려면 preferredDisplayModeId를 사용하세요.
• 모드 전환이 가볍고 사용자에게 눈에 띄지 않을 가능성이 있는 경우에만 플랫폼은 setFrameRate() 호출에 응답하여 디스플레이 모드를 전환합니다. 앱이 과도한 모드 전환이 필요하더라도 디스플레이 새로고침 레이트를 전환하는 것을 선호하는 경우 (예: Android TV 기기) preferredDisplayModeId를 사용합니다.
• 각 프레임에 프레젠테이션 타임스탬프를 설정해야 하는 앱의 프레임 속도의 배수로 실행되는 디스플레이를 처리할 수 없는 앱은 preferredDisplayModeId를 사용해야 합니다.

setFrameRate()와 preferredRefreshRate

WindowManager.LayoutParams#preferredRefreshRate는 앱의 창에 기본 프레임 속도를 설정하며 이 속도는 창 내의 모든 노출 영역에 적용됩니다. 앱은 setFrameRate()와 마찬가지로 기기의 지원되는 새로고침 빈도와 관계없이 선호하는 프레임 속도를 지정하여 스케줄러에 앱의 의도된 프레임 속도를 더 잘 알릴 수 있어야 합니다.

setFrameRate()를 사용하는 노출 영역에서는 preferredRefreshRate이 무시됩니다. 일반적으로 가능하면 setFrameRate()를 사용하세요.

preferredRefreshRate와 preferredDisplayModeId 비교

앱에서 선호하는 새로고침 빈도만 변경하려는 경우 preferredDisplayModeId 대신 preferredRefreshRate를 사용하는 것이 좋습니다.

setFrameRate()를 너무 자주 호출하지 않음

setFrameRate() 호출은 성능 측면에서 비용이 많이 들지 않지만 앱은 프레임마다 또는 초당 여러 번 setFrameRate()를 호출하지 않아야 합니다. setFrameRate()를 호출하면 디스플레이 새로고침 빈도가 변경될 수 있으며, 이로 인해 전환 중에 프레임이 누락될 수 있습니다. 올바른 프레임 속도를 미리 파악하고 setFrameRate()를 한 번 호출해야 합니다.

게임 또는 기타 동영상 외 앱의 사용량

동영상이 setFrameRate() API의 기본 사용 사례이지만 다른 앱에도 사용할 수 있습니다. 예를 들어 전원 사용량을 줄이고 플레이 세션을 더 길게 유지하기 위해 60Hz보다 높게 실행하지 않으려는 게임은 Surface.setFrameRate(60, Surface.FRAME_RATE_COMPATIBILITY_DEFAULT)를 호출할 수 있습니다. 이렇게 하면 기본적으로 90Hz로 실행되는 기기가 게임이 활성화되어 있는 동안 60Hz로 실행되므로 디스플레이가 90Hz로 실행되는 동안 게임이 60Hz로 실행되어 발생할 수 있는 흔들림을 방지할 수 있습니다.

FRAME_RATE_COMPATIBILITY_FIXED_SOURCE 사용

FRAME_RATE_COMPATIBILITY_FIXED_SOURCE는 동영상 앱에만 사용됩니다. 동영상이 아닌 용도의 경우 FRAME_RATE_COMPATIBILITY_DEFAULT를 사용하세요.

프레임 속도 변경 전략 선택

• 앱이 영화와 같이 장시간 재생되는 동영상을 표시할 때는 setFrameRate(fps, FRAME_RATE_COMPATIBILITY_FIXED_SOURCE, CHANGE_FRAME_RATE_ALWAYS)를 호출하는 것이 좋습니다. 여기서 fps는 동영상의 프레임 속도입니다.
• 동영상 재생 시간이 몇 분 이하일 것으로 예상되는 경우 앱에서 CHANGE_FRAME_RATE_ALWAYS를 사용하여 setFrameRate()를 호출하지 않는 것이 좋습니다.

동영상 재생 앱 통합 예

동영상 재생 앱에 새로고침 빈도 스위치를 통합하려면 다음 단계를 따르는 것이 좋습니다.

1. changeFrameRateStrategy를 결정합니다.
   1. 영화와 같이 긴 동영상을 재생하는 경우 MATCH_CONTENT_FRAMERATE_ALWAYS을 사용합니다.
   2. 영화 트레일러와 같은 짧은 동영상을 재생하는 경우 CHANGE_FRAME_RATE_ONLY_IF_SEAMLESS을 사용합니다.
2. changeFrameRateStrategy가 CHANGE_FRAME_RATE_ONLY_IF_SEAMLESS인 경우 4단계로 이동합니다.
3. 다음 두 가지 사실이 모두 true인지 확인하여 비연속적인 새로고침 빈도 전환이 발생하려고 하는지 감지합니다.
   1. 현재 새로고침 빈도 (C라고 함)에서 동영상의 프레임 속도 (V라고 함)로 원활한 모드 전환을 수행할 수 없습니다. 이는 C와 V가 다르고 Display.getMode().getAlternativeRefreshRates에 V의 배수가 포함되지 않은 경우에 해당합니다.
   2. 사용자가 원활하지 않은 새로고침 빈도 변경을 선택했습니다. DisplayManager.getMatchContentFrameRateUserPreference이 MATCH_CONTENT_FRAMERATE_ALWAYS를 반환하는지 확인하여 이를 감지할 수 있습니다.
4. 원활하게 전환하려면 다음 단계를 따르세요.
   1. setFrameRate를 호출하고 fps, FRAME_RATE_COMPATIBILITY_FIXED_SOURCE, changeFrameRateStrategy를 전달합니다. 여기서 fps는 동영상의 프레임 속도입니다.
   2. 동영상 재생 시작
5. 원활하지 않은 모드 변경이 발생하려는 경우 다음을 실행합니다.
   1. 사용자에게 알리는 UX를 표시합니다. 사용자가 이 UX를 닫고 5.d 단계에서 추가 지연을 건너뛸 수 있는 방법을 구현하는 것이 좋습니다. 이는 전환 시간이 더 빠른 디스플레이에서 권장 지연 시간이 필요 이상으로 길기 때문입니다.
   2. setFrameRate를 호출하고 fps, FRAME_RATE_COMPATIBILITY_FIXED_SOURCE, CHANGE_FRAME_RATE_ALWAYS을 전달합니다. 여기서 fps은 동영상의 프레임 속도입니다.
   3. onDisplayChanged 콜백을 기다립니다.
   4. 모드 전환이 완료될 때까지 2초 정도 기다립니다.
   5. 동영상 재생 시작

원활한 전환을 만 지원하는 의사코드는 다음과 같습니다.

SurfaceControl.Transaction transaction = new SurfaceControl.Transaction();
transaction.setFrameRate(surfaceControl,
    contentFrameRate,
    FRAME_RATE_COMPATIBILITY_FIXED_SOURCE,
    CHANGE_FRAME_RATE_ONLY_IF_SEAMLESS);
transaction.apply();
beginPlayback();

위에 설명된 대로 원활한 전환과 원활하지 않은 전환을 지원하는 의사 코드는 다음과 같습니다.

SurfaceControl.Transaction transaction = new SurfaceControl.Transaction();
if (isSeamlessSwitch(contentFrameRate)) {
  transaction.setFrameRate(surfaceControl,
      contentFrameRate,
      FRAME_RATE_COMPATIBILITY_FIXED_SOURCE,
      CHANGE_FRAME_RATE_ONLY_IF_SEAMLESS);
  transaction.apply();
  beginPlayback();
} else if (displayManager.getMatchContentFrameRateUserPreference()
      == MATCH_CONTENT_FRAMERATE_ALWAYS) {
  showRefreshRateSwitchUI();
  sleep(shortDelaySoUserSeesUi);
  displayManager.registerDisplayListener(…);
  transaction.setFrameRate(surfaceControl,
      contentFrameRate,
      FRAME_RATE_COMPATIBILITY_FIXED_SOURCE,
      CHANGE_FRAME_RATE_ALWAYS);
  transaction.apply();
  waitForOnDisplayChanged();
  sleep(twoSeconds);
  hideRefreshRateSwitchUI();
  beginPlayback();
}