Điểm chuẩn chính là một tập hợp các điểm chuẩn bao gồm hành trình của người dùng ứng dụng cấp cao, chẳng hạn như khởi động ứng dụng hoặc cuộn trong ứng dụng Pokedex nguồn mở.
- Điểm chuẩn khởi động chính: Theo dõi thời gian từ khi mở ứng dụng đến khi nội dung xuất hiện.
- Điểm chuẩn cuộn chính: Đo lường hiệu suất cuộn của lưới tải từng phần có hình ảnh.
Thiết lập thử nghiệm
- Lựa chọn ứng dụng: Chúng tôi đã tiến hành các thử nghiệm này bằng ứng dụng Pokedex nguồn mở, so sánh phiên bản dựa trên Khung hiển thị và phiên bản dựa trên Compose. Ứng dụng này được chọn để đại diện cho các tình huống thực tế và không phải do nhóm Compose phát triển.
- Thiết lập phần cứng: Điểm chuẩn được chạy trên Pixel 6 chạy Android 17 (cấp độ API 37) có CPU và GPU bị khoá. Trước Compose 1.12, điểm chuẩn được thực hiện trên Pixel 3a. Kể từ Compose 1.12, Pixel 6 được dùng làm đường cơ sở hiệu suất tiêu chuẩn cho các điểm chuẩn chính và Compose 1.11 cũng được đo lường trên Pixel 6 để so sánh.
- Thiết lập bản dựng: Điểm chuẩn sử dụng ứng dụng được tạo ở chế độ phát hành có bật R8. Ứng dụng được biên dịch trước hoàn toàn để giảm tình trạng không ổn định do biên dịch đúng thời điểm (JIT).
- Lựa chọn kết quả: Để đảm bảo phân tích trường hợp xấu nhất, các điểm ngoại lai cực đoan và nhiễu không mang tính đại diện đã bị loại trừ khỏi kết quả đo điểm chuẩn. Sau đó, một đường cơ sở được thiết lập bằng cách chọn các giá trị trung vị của dữ liệu hiệu suất giới hạn trên.
Điểm chuẩn của anh hùng khởi động
Để đo lường thời gian khởi động, chúng tôi đã sử dụng PokedexStartupBenchmark. PokedexStartupBenchmark đo lường thời gian cần thiết để người dùng nhìn thấy ứng dụng Pokedex.
Hoạt động khởi chạy ứng dụng có thể diễn ra ở một trong 3 trạng thái: khởi động nguội, khởi động ấm hoặc khởi động nóng. Mỗi trạng thái ảnh hưởng đến khoảng thời gian mà ứng dụng hiển thị cho người dùng. Khi khởi động nguội, ứng dụng sẽ khởi động lại từ đầu. Trong điểm chuẩn này, chúng ta đo lường hiệu suất khởi chạy ứng dụng ở trạng thái khởi động nguội. Bạn nên tối ưu hoá ứng dụng dựa trên giả định khởi động nguội. Việc này cũng có thể cải thiện hiệu suất của chế độ khởi động ấm và nóng.
Các chỉ số chúng tôi sử dụng để đo lường thời gian khởi động ứng dụng là thời gian hiển thị khung hình đầu tiên và thời gian hiển thị đầy đủ.
Thời gian để hiển thị khung hình đầu tiên
Thời gian xuất hiện khung hình đầu tiên (TTID) đo lường thời gian cần thiết để một ứng dụng tạo ra khung hình đầu tiên, bao gồm cả khởi chạy quy trình khi khởi động nguội, tạo hoạt động khi khởi động nguội hoặc khởi động ấm và hiển thị khung hình đầu tiên.
Trong PokedexStartupBenchmark, Compose 1.13 đạt đến màn hình ban đầu trong
147,65 mili giây khi khởi động nguội. Kết quả này nằm trong khoảng nhiễu thông thường giữa các lần chạy của Compose 1.12.1 (145,51 mili giây) và Compose 1.11.4 (147,78 mili giây), đồng thời nhanh hơn 3,4% so với Khung hiển thị (152,87 mili giây).
| Phiên bản | Thời gian xuất hiện khung hình đầu tiên (mili giây) |
|---|---|
| Compose 1.11 | 147,78 |
| Compose 1.12 | 145,51 |
| Compose 1.13 | 147,65 |
| Số lượt xem | 152,87 |
Thời gian để hiển thị đầy đủ
Thời gian xuất hiện đầy đủ (TTFD) đo lường thời gian cho đến khi ứng dụng có thể tương tác. Điều này có nghĩa là tất cả dữ liệu đã được tải và vẽ. Để biết thêm thông tin về thời gian hiển thị đầy đủ, hãy xem bài viết Thời gian khởi động ứng dụng.
Trong PokedexStartupBenchmark, Compose 1.13 đạt đến chế độ hiển thị đầy đủ trong 202,79 mili giây khi khởi động nguội. Kết quả này nằm trong khoảng nhiễu bình thường giữa các lần chạy của
Compose 1.12.1 (201,96 mili giây) và Compose 1.11.4 (203,33 mili giây). Khung hiển thị đạt đến mức hiển thị đầy đủ trong 180,32 mili giây, vì vậy, Compose 1.13 chậm hơn 12,5% so với Khung hiển thị cho TTFD.
| Phiên bản | Thời gian hiển thị đầy đủ (mili giây) |
|---|---|
| Compose 1.11 | 203,33 |
| Compose 1.12 | 201,96 |
| Compose 1.13 | 202,79 |
| Số lượt xem | 180,32 |
Điểm chuẩn về thành phần chính cuộn
Để đo lường hiệu suất cuộn, chúng tôi đã sử dụng PokedexScrollBenchmark. Thao tác này đo lường hiệu suất cuộn của màn hình ứng dụng Pokedex cho một lưới tải từng phần có hình ảnh. Trong phép đo điểm chuẩn này, toàn bộ màn hình được cuộn và vuốt nhiều lần, đồng thời các mục mới được tải. Hiệu suất cuộn được đo lường bằng tỷ lệ giật.
Tỷ lệ giật
Thiết bị Android kết xuất ở tốc độ lên đến 60 hoặc 120 khung hình/giây (fps). Điều này có nghĩa là hệ thống có thời hạn nghiêm ngặt (ví dụ: 16, 6 mili giây cho 60 khung hình/giây) để tạo một khung hình. Nếu ứng dụng mất quá nhiều thời gian để thực hiện công việc, thì điều này có thể gây ra hiện tượng giật hình mà chúng ta gọi là giật.
Trong PokedexScrollBenchmark, Compose đạt hiệu suất tương đương với Khung hiển thị, với tỷ lệ khung hình bị giật là 0% kể từ Compose 1.9.0. Trên Pixel 6, Chế độ xem và Compose đều có tỷ lệ giật là 0% trên Compose 1.11.4, 1.12.1 và 1.13.
| Phiên bản Compose | Thiết bị | Tỷ lệ khung hình bị giật vượt mức so với số lượt xem (pp) |
|---|---|---|
| 1.3.3 | Pixel 3a | +0,35 |
| 1.4.3 | Pixel 3a | +0,41 |
| 1.5.4 | Pixel 3a | +0,42 |
| 1.6.8 | Pixel 3a | +0,21 |
| 1.7.8 | Pixel 3a | +0,36 |
| 1.8.0 | Pixel 3a | +0,38 |
| 1.9.0 | Pixel 3a | 0 |
| 1.10.0 | Pixel 3a | 0 |
| 1.11 | Pixel 6 | 0 |
| 1.12 | Pixel 6 | 0 |
| 1,13 | Pixel 6 | 0 |
Chạy điểm chuẩn chính
Cách xác thực kết quả hiệu suất và chạy điểm chuẩn trên máy:
- Làm theo hướng dẫn về AndroidX để xem mã nguồn.
- Làm theo hướng dẫn trong README mã nguồn của Điểm chuẩn chính để tạo điểm chuẩn và nhắm mục tiêu APK (
pokedex-macrobenchmarkvàpokedex-macrobenchmark-target), cài đặt các tệp đó trên thiết bị kiểm thử và chạy bộPokedexStartupBenchmarkvàPokedexScrollBenchmarkbằngadbhoặc Android Studio.
Bạn có thể chạy các điểm chuẩn này trên mọi thiết bị được hỗ trợ, chẳng hạn như một thiết bị cụ thể mà bạn đang tối ưu hoá ứng dụng. Tuy nhiên, để xác thực kết quả chính thức, hãy sử dụng cùng một quy trình thiết lập phần cứng.