สวัสดี ยินดีต้อนรับกลับเข้าสู่ซีรีส์เกี่ยวกับ CameraX และ Jetpack Compose ในโพสต์ก่อนหน้านี้ เราได้พูดถึงพื้นฐานของการตั้งค่าตัวอย่างภาพจากกล้องและเพิ่มฟังก์ชันการแตะเพื่อโฟกัส
🧱 ตอนที่ 1: การสร้างตัวอย่างภาพจากกล้องพื้นฐานโดยใช้อาร์ติแฟกต์ camera-compose ใหม่ เราได้พูดถึงการจัดการสิทธิ์และการผสานรวมขั้นพื้นฐานไปแล้ว
👆 ส่วนที่ 2: การใช้ระบบท่าทางสัมผัส กราฟิก และโครูทีนของ Compose เพื่อใช้การแตะเพื่อโฟกัสแบบภาพ
🔦 ตอนที่ 3 (โพสต์นี้): สำรวจวิธีวางซ้อนองค์ประกอบ UI ของ Compose ไว้ด้านบนตัวอย่างภาพจากกล้องเพื่อประสบการณ์ของผู้ใช้ที่สมบูรณ์ยิ่งขึ้น
📂 ส่วนที่ 4: การใช้ API แบบปรับเปลี่ยนได้และเฟรมเวิร์กภาพเคลื่อนไหว Compose เพื่อสร้างภาพเคลื่อนไหวที่ราบรื่นเข้าและออกจากโหมดตั้งโต๊ะในโทรศัพท์แบบพับได้
ในโพสต์นี้ เราจะเจาะลึกสิ่งที่ดึงดูดสายตามากขึ้น นั่นคือการใช้เอฟเฟกต์สปอตไลท์ที่ด้านบนของตัวอย่างภาพจากกล้อง โดยใช้การตรวจจับใบหน้าเป็นพื้นฐานสำหรับเอฟเฟกต์ ทำไมจึงเป็นเช่นนั้น ฉันไม่แน่ใจ แต่ก็ดูเจ๋งดี 🙂 และที่สำคัญกว่านั้นคือแสดงให้เห็นว่าเราสามารถแปลงพิกัดเซ็นเซอร์เป็นพิกัด UI ได้อย่างง่ายดาย ซึ่งช่วยให้เราใช้พิกัดเหล่านั้นใน Compose ได้
เปิดใช้การตรวจจับใบหน้า
ก่อนอื่น มาแก้ไข CameraPreviewViewModel เพื่อเปิดใช้การตรวจจับใบหน้ากัน เราจะใช้ Camera2Interop API ซึ่งช่วยให้เราโต้ตอบกับ Camera2 API ที่สำคัญจาก CameraX ได้ ซึ่งช่วยให้เรามีโอกาสใช้ฟีเจอร์กล้องที่ CameraX ไม่ได้แสดงโดยตรง เราจำเป็นต้องทำการเปลี่ยนแปลงต่อไปนี้
- สร้าง StateFlow ที่มีขอบเขตใบหน้าเป็นรายการ
Rect - ตั้งค่าตัวเลือกคำขอการจับภาพ
STATISTICS_FACE_DETECT_MODEเป็น FULL ซึ่งจะเปิดใช้การตรวจจับใบหน้า - ตั้งค่า
CaptureCallbackเพื่อรับข้อมูลใบหน้าจากผลการจับภาพ
class CameraPreviewViewModel : ViewModel() { ... private val _sensorFaceRects = MutableStateFlow(listOf<Rect>()) val sensorFaceRects: StateFlow<List<Rect>> = _sensorFaceRects.asStateFlow() private val cameraPreviewUseCase = Preview.Builder() .apply { Camera2Interop.Extender(this) .setCaptureRequestOption( CaptureRequest.STATISTICS_FACE_DETECT_MODE, CaptureRequest.STATISTICS_FACE_DETECT_MODE_FULL ) .setSessionCaptureCallback(object : CameraCaptureSession.CaptureCallback() { override fun onCaptureCompleted( session: CameraCaptureSession, request: CaptureRequest, result: TotalCaptureResult ) { super.onCaptureCompleted(session, request, result) result.get(CaptureResult.STATISTICS_FACES) ?.map { face -> face.bounds.toComposeRect() } ?.toList() ?.let { faces -> _sensorFaceRects.update { faces } } } }) } .build().apply { ... }
เมื่อทำการเปลี่ยนแปลงเหล่านี้แล้ว ตอนนี้โมเดลมุมมองของเราจะแสดงรายการออบเจ็กต์ Rect ที่แสดงถึงกรอบล้อมรอบของใบหน้าที่ตรวจพบในพิกัดเซ็นเซอร์
แปลพิกัดเซ็นเซอร์เป็นพิกัด UI
กรอบล้อมรอบของใบหน้าที่ตรวจพบซึ่งเราจัดเก็บไว้ในส่วนที่แล้วจะใช้พิกัดในระบบพิกัดเซ็นเซอร์ หากต้องการวาดกรอบล้อมรอบใน UI เราจำเป็นต้องแปลงพิกัดเหล่านี้เพื่อให้ถูกต้องในระบบพิกัดของ Compose สิ่งที่ต้องทำมีดังนี้
- เปลี่ยนพิกัดเซ็นเซอร์เป็นพิกัดบัฟเฟอร์ตัวอย่าง
- เปลี่ยนรูปแบบพิกัดบัฟเฟอร์ตัวอย่างเป็นพิกัด UI ของ Compose
การเปลี่ยนรูปแบบเหล่านี้ทำได้โดยใช้เมทริกซ์การเปลี่ยนรูปแบบ การเปลี่ยนรูปแบบแต่ละรายการมีเมทริกซ์ของตัวเอง ดังนี้
SurfaceRequestของเราจะเก็บอินสแตนซ์TransformationInfoไว้ ซึ่งมีเมทริกซ์sensorToBufferTranformCameraXViewfinderของเรามีCoordinateTransformerที่เชื่อมโยงอยู่ คุณอาจจำได้ว่าเราเคยใช้ Transformer นี้ในบล็อกโพสต์ก่อนหน้าเพื่อเปลี่ยนรูปแบบพิกัดการแตะเพื่อโฟกัส
เราสามารถสร้างเมธอดตัวช่วยที่ทำการเปลี่ยนรูปแบบให้เราได้ ดังนี้
private fun List<Rect>.transformToUiCoords( transformationInfo: SurfaceRequest.TransformationInfo?, uiToBufferCoordinateTransformer: MutableCoordinateTransformer ): List<Rect> = this.map { sensorRect -> val bufferToUiTransformMatrix = Matrix().apply { setFrom(uiToBufferCoordinateTransformer.transformMatrix) invert() } val sensorToBufferTransformMatrix = Matrix().apply { transformationInfo?.let { setFrom(it.sensorToBufferTransform) } } val bufferRect = sensorToBufferTransformMatrix.map(sensorRect) val uiRect = bufferToUiTransformMatrix.map(bufferRect) uiRect }
- เราจะวนซ้ำรายการใบหน้าที่ตรวจพบ และดำเนินการเปลี่ยนรูปแบบสำหรับแต่ละใบหน้า
CoordinateTransformer.transformMatrixที่เราได้รับจากCameraXViewfinderจะเปลี่ยนพิกัดจาก UI เป็นพิกัดบัฟเฟอร์โดยค่าเริ่มต้น ในกรณีของเรา เราต้องการให้เมทริกซ์ทำงานในทางกลับกัน โดยเปลี่ยนพิกัดบัฟเฟอร์เป็นพิกัด UI ดังนั้น เราจึงใช้เมธอดinvert()เพื่อกลับเมทริกซ์- ก่อนอื่นเราจะเปลี่ยนรูปแบบใบหน้าจากพิกัดเซ็นเซอร์เป็นพิกัดบัฟเฟอร์โดยใช้
sensorToBufferTransformMatrixจากนั้นเปลี่ยนพิกัดบัฟเฟอร์เหล่านั้นเป็นพิกัด UI โดยใช้bufferToUiTransformMatrix
ใช้เอฟเฟกต์สปอตไลท์
ตอนนี้เรามาอัปเดต Composable CameraPreviewContent เพื่อวาดเอฟเฟกต์สปอตไลท์กัน เราจะใช้ Composable Canvas เพื่อวาดมาสก์การไล่ระดับสีเหนือตัวอย่าง ซึ่งจะทำให้มองเห็นใบหน้าที่ตรวจพบได้
@Composable fun CameraPreviewContent( viewModel: CameraPreviewViewModel, modifier: Modifier = Modifier, lifecycleOwner: LifecycleOwner = LocalLifecycleOwner.current ) { val surfaceRequest by viewModel.surfaceRequest.collectAsStateWithLifecycle() val sensorFaceRects by viewModel.sensorFaceRects.collectAsStateWithLifecycle() val transformationInfo by produceState<SurfaceRequest.TransformationInfo?>(null, surfaceRequest) { try { surfaceRequest?.setTransformationInfoListener(Runnable::run) { transformationInfo -> value = transformationInfo } awaitCancellation() } finally { surfaceRequest?.clearTransformationInfoListener() } } val shouldSpotlightFaces by remember { derivedStateOf { sensorFaceRects.isNotEmpty() && transformationInfo != null} } val spotlightColor = Color(0xDDE60991) .. surfaceRequest?.let { request -> val coordinateTransformer = remember { MutableCoordinateTransformer() } CameraXViewfinder( surfaceRequest = request, coordinateTransformer = coordinateTransformer, modifier = .. ) AnimatedVisibility(shouldSpotlightFaces, enter = fadeIn(), exit = fadeOut()) { Canvas(Modifier.fillMaxSize()) { val uiFaceRects = sensorFaceRects.transformToUiCoords( transformationInfo = transformationInfo, uiToBufferCoordinateTransformer = coordinateTransformer ) // Fill the whole space with the color drawRect(spotlightColor) // Then extract each face and make it transparent uiFaceRects.forEach { faceRect -> drawRect( Brush.radialGradient( 0.4f to Color.Black, 1f to Color.Transparent, center = faceRect.center, radius = faceRect.minDimension * 2f, ), blendMode = BlendMode.DstOut ) } } } } }
โดยมีวิธีการทำงานดังนี้
- เรารวบรวมรายการใบหน้าจากโมเดลมุมมอง
- เราใช้
derivedStateOfเพื่อติดตามว่ามีการตรวจพบใบหน้าหรือไม่ เพื่อให้แน่ใจว่าเราไม่ได้จัดองค์ประกอบทั้งหน้าจอใหม่ทุกครั้งที่รายการใบหน้าที่ตรวจพบมีการเปลี่ยนแปลง จากนั้นจะใช้ร่วมกับAnimatedVisibilityเพื่อทำให้ภาพซ้อนทับสีเคลื่อนไหวเข้าและออกได้ surfaceRequestมีข้อมูลที่เราต้องใช้ในการแปลงพิกัดเซ็นเซอร์เป็นพิกัดบัฟเฟอร์ในSurfaceRequest.TransformationInfoเราใช้ฟังก์ชันproduceStateเพื่อตั้งค่า Listener ในคำขอแพลตฟอร์ม และล้าง Listener นี้เมื่อ Composable ออกจากแผนผัง Composition- เราใช้
Canvasเพื่อวาดสี่เหลี่ยมผืนผ้าสีชมพูโปร่งแสงที่ครอบคลุมทั้งหน้าจอ - เราจะเลื่อนการอ่านตัวแปร
sensorFaceRectsออกไปจนกว่าจะเข้าไปในบล็อกการวาดCanvasจากนั้นเราจะแปลงพิกัดเป็นพิกัด UI - เราจะวนซ้ำใบหน้าที่ตรวจพบ และวาดการไล่ระดับสีแบบรัศมีสำหรับใบหน้าแต่ละใบหน้า ซึ่งจะทำให้ด้านในของสี่เหลี่ยมผืนผ้าใบหน้าโปร่งใส
- เราใช้
BlendMode.DstOutเพื่อให้แน่ใจว่าเรากำลังตัดการไล่ระดับสีออกจากสี่เหลี่ยมผืนผ้าสีชมพู ซึ่งจะสร้างเอฟเฟกต์สปอตไลท์
หมายเหตุ: เมื่อเปลี่ยนกล้องเป็น DEFAULT_FRONT_CAMERA คุณจะเห็นว่าสปอตไลท์จะกลับด้านเหมือนกระจกเงา ซึ่งเป็นปัญหาที่ทราบอยู่แล้วและมีการติดตามใน Issue Tracker ของ Google
ผลลัพธ์
โค้ดนี้จะช่วยให้เราได้เอฟเฟกต์สปอตไลท์ที่ทำงานได้อย่างสมบูรณ์ ซึ่งจะไฮไลต์ใบหน้าที่ตรวจพบ ดูข้อมูลโค้ดแบบเต็มได้ที่นี่
เอฟเฟกต์นี้เป็นเพียงจุดเริ่มต้นเท่านั้น ด้วยการใช้พลังของ Compose คุณสามารถสร้างประสบการณ์การใช้งานกล้องที่สวยงามตระการตาได้มากมาย การแปลงพิกัดเซ็นเซอร์และบัฟเฟอร์เป็นพิกัด Compose UI และแปลงกลับได้หมายความว่าเราสามารถใช้ฟีเจอร์ Compose UI ทั้งหมดและผสานรวมกับระบบกล้องที่อยู่เบื้องหลังได้อย่างราบรื่น ด้วยภาพเคลื่อนไหว กราฟิก UI ขั้นสูง การจัดการสถานะ UI ที่เรียบง่าย และการควบคุมด้วยท่าทางสัมผัสอย่างเต็มรูปแบบ คุณจะสร้างสรรค์ได้เท่าที่จินตนาการจะพาไปถึง
ในโพสต์สุดท้ายของชุดนี้ เราจะเจาะลึกวิธีใช้ API แบบปรับเปลี่ยนได้และเฟรมเวิร์กภาพเคลื่อนไหวของ Compose เพื่อเปลี่ยนผ่านระหว่าง UI ของกล้องต่างๆ บนอุปกรณ์แบบพับได้ได้อย่างราบรื่น โปรดอดใจรอ
ข้อมูลโค้ดในบล็อกนี้มีใบอนุญาตต่อไปนี้
// Copyright 2024 Google LLC. SPDX-License-Identifier: Apache-2.0
ขอขอบคุณ Nick Butcher, Alex Vanyo, Trevor McGuire, Don Turner และ Lauren Ward ที่ช่วยตรวจสอบและให้ความคิดเห็น เกิดขึ้นได้จากความทุ่มเทของ Yasith Vidanaarachch
-
วิธีการในบทความนี้ คุณจะได้ทราบวิธีใช้ API การทดสอบ waitUntil ใน Compose เพื่อรอให้ตรงตามเงื่อนไขบางอย่าง
Jose Alcérreca • ใช้เวลาอ่าน 3 นาที -
วิธีการยินดีต้อนรับกลับสู่ชุดบล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งคุณจะได้นำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ ชาญฉลาด และทำงานแบบ Agent ในโพสต์ก่อนหน้านี้ คุณได้เรียนรู้วิธีเชื่อมต่อกับระบบอัจฉริยะโดยใช้ AppFunctions
Jolanda Verhoef • ใช้เวลาอ่าน 9 นาที -
วิธีการยินดีต้อนรับกลับสู่ซีรีส์บล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งเราจะนำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ ชาญฉลาด และทำงานแบบ Agent
Thomas Ezan, Jolanda Verhoef, Caren Chang • ใช้เวลาอ่าน 8 นาที
รับข้อมูลเชิงลึกล่าสุดเกี่ยวกับการพัฒนา Android ที่ส่งไปยังกล่องจดหมายของคุณทุกสัปดาห์