วิธีการ

สร้างเอฟเฟกต์สปอตไลท์ด้วย CameraX และ Jetpack Compose

ใช้เวลาอ่าน 8 นาที
ดูโปรไฟล์ของ Jolanda Verhoef
Jolanda Verhoef วิศวกรนักพัฒนาซอฟต์แวร์สัมพันธ์

สวัสดี ยินดีต้อนรับกลับเข้าสู่ซีรีส์เกี่ยวกับ CameraX และ Jetpack Compose ในโพสต์ก่อนหน้านี้ เราได้พูดถึงพื้นฐานของการตั้งค่าตัวอย่างภาพจากกล้องและเพิ่มฟังก์ชันการแตะเพื่อโฟกัส

🧱 ตอนที่ 1: การสร้างตัวอย่างภาพจากกล้องพื้นฐานโดยใช้อาร์ติแฟกต์ camera-compose ใหม่ เราได้พูดถึงการจัดการสิทธิ์และการผสานรวมขั้นพื้นฐานไปแล้ว

👆 ส่วนที่ 2: การใช้ระบบท่าทางสัมผัส กราฟิก และโครูทีนของ Compose เพื่อใช้การแตะเพื่อโฟกัสแบบภาพ

🔦 ตอนที่ 3 (โพสต์นี้): สำรวจวิธีวางซ้อนองค์ประกอบ UI ของ Compose ไว้ด้านบนตัวอย่างภาพจากกล้องเพื่อประสบการณ์ของผู้ใช้ที่สมบูรณ์ยิ่งขึ้น

📂 ส่วนที่ 4: การใช้ API แบบปรับเปลี่ยนได้และเฟรมเวิร์กภาพเคลื่อนไหว Compose เพื่อสร้างภาพเคลื่อนไหวที่ราบรื่นเข้าและออกจากโหมดตั้งโต๊ะในโทรศัพท์แบบพับได้

ในโพสต์นี้ เราจะเจาะลึกสิ่งที่ดึงดูดสายตามากขึ้น นั่นคือการใช้เอฟเฟกต์สปอตไลท์ที่ด้านบนของตัวอย่างภาพจากกล้อง โดยใช้การตรวจจับใบหน้าเป็นพื้นฐานสำหรับเอฟเฟกต์ ทำไมจึงเป็นเช่นนั้น ฉันไม่แน่ใจ แต่ก็ดูเจ๋งดี 🙂 และที่สำคัญกว่านั้นคือแสดงให้เห็นว่าเราสามารถแปลงพิกัดเซ็นเซอร์เป็นพิกัด UI ได้อย่างง่ายดาย ซึ่งช่วยให้เราใช้พิกัดเหล่านั้นใน Compose ได้

face-detection.gif

เปิดใช้การตรวจจับใบหน้า

ก่อนอื่น มาแก้ไข CameraPreviewViewModel เพื่อเปิดใช้การตรวจจับใบหน้ากัน เราจะใช้ Camera2Interop API ซึ่งช่วยให้เราโต้ตอบกับ Camera2 API ที่สำคัญจาก CameraX ได้ ซึ่งช่วยให้เรามีโอกาสใช้ฟีเจอร์กล้องที่ CameraX ไม่ได้แสดงโดยตรง เราจำเป็นต้องทำการเปลี่ยนแปลงต่อไปนี้

  • สร้าง StateFlow ที่มีขอบเขตใบหน้าเป็นรายการ Rect
  • ตั้งค่าตัวเลือกคำขอการจับภาพ STATISTICS_FACE_DETECT_MODE เป็น FULL ซึ่งจะเปิดใช้การตรวจจับใบหน้า
  • ตั้งค่า CaptureCallback เพื่อรับข้อมูลใบหน้าจากผลการจับภาพ
class CameraPreviewViewModel : ViewModel() {
    ...
    private val _sensorFaceRects = MutableStateFlow(listOf<Rect>())
    val sensorFaceRects: StateFlow<List<Rect>> = _sensorFaceRects.asStateFlow()

    private val cameraPreviewUseCase = Preview.Builder()
        .apply {
            Camera2Interop.Extender(this)
                .setCaptureRequestOption(
                    CaptureRequest.STATISTICS_FACE_DETECT_MODE,
                    CaptureRequest.STATISTICS_FACE_DETECT_MODE_FULL
                )
                .setSessionCaptureCallback(object : CameraCaptureSession.CaptureCallback() {
                    override fun onCaptureCompleted(
                        session: CameraCaptureSession,
                        request: CaptureRequest,
                        result: TotalCaptureResult
                    ) {
                        super.onCaptureCompleted(session, request, result)
                        result.get(CaptureResult.STATISTICS_FACES)
                            ?.map { face -> face.bounds.toComposeRect() }
                            ?.toList()
                            ?.let { faces -> _sensorFaceRects.update { faces } }
                    }
                })
        }
        .build().apply {
    ...
}

เมื่อทำการเปลี่ยนแปลงเหล่านี้แล้ว ตอนนี้โมเดลมุมมองของเราจะแสดงรายการออบเจ็กต์ Rect ที่แสดงถึงกรอบล้อมรอบของใบหน้าที่ตรวจพบในพิกัดเซ็นเซอร์

แปลพิกัดเซ็นเซอร์เป็นพิกัด UI

กรอบล้อมรอบของใบหน้าที่ตรวจพบซึ่งเราจัดเก็บไว้ในส่วนที่แล้วจะใช้พิกัดในระบบพิกัดเซ็นเซอร์ หากต้องการวาดกรอบล้อมรอบใน UI เราจำเป็นต้องแปลงพิกัดเหล่านี้เพื่อให้ถูกต้องในระบบพิกัดของ Compose สิ่งที่ต้องทำมีดังนี้

  • เปลี่ยนพิกัดเซ็นเซอร์เป็นพิกัดบัฟเฟอร์ตัวอย่าง
  • เปลี่ยนรูปแบบพิกัดบัฟเฟอร์ตัวอย่างเป็นพิกัด UI ของ Compose

การเปลี่ยนรูปแบบเหล่านี้ทำได้โดยใช้เมทริกซ์การเปลี่ยนรูปแบบ การเปลี่ยนรูปแบบแต่ละรายการมีเมทริกซ์ของตัวเอง ดังนี้

  • SurfaceRequest ของเราจะเก็บอินสแตนซ์ TransformationInfo ไว้ ซึ่งมีเมทริกซ์ sensorToBufferTranform
  • CameraXViewfinder ของเรามี CoordinateTransformer ที่เชื่อมโยงอยู่ คุณอาจจำได้ว่าเราเคยใช้ Transformer นี้ในบล็อกโพสต์ก่อนหน้าเพื่อเปลี่ยนรูปแบบพิกัดการแตะเพื่อโฟกัส

เราสามารถสร้างเมธอดตัวช่วยที่ทำการเปลี่ยนรูปแบบให้เราได้ ดังนี้

private fun List<Rect>.transformToUiCoords(
    transformationInfo: SurfaceRequest.TransformationInfo?,
    uiToBufferCoordinateTransformer: MutableCoordinateTransformer
): List<Rect> = this.map { sensorRect ->
    val bufferToUiTransformMatrix = Matrix().apply {
        setFrom(uiToBufferCoordinateTransformer.transformMatrix)
        invert()
    }

    val sensorToBufferTransformMatrix = Matrix().apply {
        transformationInfo?.let {
            setFrom(it.sensorToBufferTransform)
        }
    }

    val bufferRect = sensorToBufferTransformMatrix.map(sensorRect)
    val uiRect = bufferToUiTransformMatrix.map(bufferRect)

    uiRect
}
  • เราจะวนซ้ำรายการใบหน้าที่ตรวจพบ และดำเนินการเปลี่ยนรูปแบบสำหรับแต่ละใบหน้า
  • CoordinateTransformer.transformMatrix ที่เราได้รับจาก CameraXViewfinder จะเปลี่ยนพิกัดจาก UI เป็นพิกัดบัฟเฟอร์โดยค่าเริ่มต้น ในกรณีของเรา เราต้องการให้เมทริกซ์ทำงานในทางกลับกัน โดยเปลี่ยนพิกัดบัฟเฟอร์เป็นพิกัด UI ดังนั้น เราจึงใช้เมธอด invert() เพื่อกลับเมทริกซ์
  • ก่อนอื่นเราจะเปลี่ยนรูปแบบใบหน้าจากพิกัดเซ็นเซอร์เป็นพิกัดบัฟเฟอร์โดยใช้ sensorToBufferTransformMatrix จากนั้นเปลี่ยนพิกัดบัฟเฟอร์เหล่านั้นเป็นพิกัด UI โดยใช้ bufferToUiTransformMatrix

ใช้เอฟเฟกต์สปอตไลท์

ตอนนี้เรามาอัปเดต Composable CameraPreviewContent เพื่อวาดเอฟเฟกต์สปอตไลท์กัน เราจะใช้ Composable Canvas เพื่อวาดมาสก์การไล่ระดับสีเหนือตัวอย่าง ซึ่งจะทำให้มองเห็นใบหน้าที่ตรวจพบได้

@Composable
fun CameraPreviewContent(
    viewModel: CameraPreviewViewModel,
    modifier: Modifier = Modifier,
    lifecycleOwner: LifecycleOwner = LocalLifecycleOwner.current
) {
    val surfaceRequest by viewModel.surfaceRequest.collectAsStateWithLifecycle()
    val sensorFaceRects by viewModel.sensorFaceRects.collectAsStateWithLifecycle()
    val transformationInfo by
        produceState<SurfaceRequest.TransformationInfo?>(null, surfaceRequest) {
            try {
                surfaceRequest?.setTransformationInfoListener(Runnable::run) { transformationInfo ->
                    value = transformationInfo
                }
                awaitCancellation()
            } finally {
                surfaceRequest?.clearTransformationInfoListener()
            }
        }
    val shouldSpotlightFaces by remember {
        derivedStateOf { sensorFaceRects.isNotEmpty() && transformationInfo != null} 
    }
    val spotlightColor = Color(0xDDE60991)
    ..

    surfaceRequest?.let { request ->
        val coordinateTransformer = remember { MutableCoordinateTransformer() }
        CameraXViewfinder(
            surfaceRequest = request,
            coordinateTransformer = coordinateTransformer,
            modifier = ..
        )

        AnimatedVisibility(shouldSpotlightFaces, enter = fadeIn(), exit = fadeOut()) {
            Canvas(Modifier.fillMaxSize()) {
                val uiFaceRects = sensorFaceRects.transformToUiCoords(
                    transformationInfo = transformationInfo,
                    uiToBufferCoordinateTransformer = coordinateTransformer
                )

                // Fill the whole space with the color
                drawRect(spotlightColor)
                // Then extract each face and make it transparent

                uiFaceRects.forEach { faceRect ->
                    drawRect(
                        Brush.radialGradient(
                            0.4f to Color.Black, 1f to Color.Transparent,
                            center = faceRect.center,
                            radius = faceRect.minDimension * 2f,
                        ),
                        blendMode = BlendMode.DstOut
                    )
                }
            }
        }
    }
}

โดยมีวิธีการทำงานดังนี้

  • เรารวบรวมรายการใบหน้าจากโมเดลมุมมอง
  • เราใช้ derivedStateOf เพื่อติดตามว่ามีการตรวจพบใบหน้าหรือไม่ เพื่อให้แน่ใจว่าเราไม่ได้จัดองค์ประกอบทั้งหน้าจอใหม่ทุกครั้งที่รายการใบหน้าที่ตรวจพบมีการเปลี่ยนแปลง จากนั้นจะใช้ร่วมกับ AnimatedVisibility เพื่อทำให้ภาพซ้อนทับสีเคลื่อนไหวเข้าและออกได้
  • surfaceRequest มีข้อมูลที่เราต้องใช้ในการแปลงพิกัดเซ็นเซอร์เป็นพิกัดบัฟเฟอร์ใน SurfaceRequest.TransformationInfo เราใช้ฟังก์ชัน produceState เพื่อตั้งค่า Listener ในคำขอแพลตฟอร์ม และล้าง Listener นี้เมื่อ Composable ออกจากแผนผัง Composition
  • เราใช้ Canvas เพื่อวาดสี่เหลี่ยมผืนผ้าสีชมพูโปร่งแสงที่ครอบคลุมทั้งหน้าจอ
  • เราจะเลื่อนการอ่านตัวแปร sensorFaceRects ออกไปจนกว่าจะเข้าไปในบล็อกการวาด Canvas จากนั้นเราจะแปลงพิกัดเป็นพิกัด UI
  • เราจะวนซ้ำใบหน้าที่ตรวจพบ และวาดการไล่ระดับสีแบบรัศมีสำหรับใบหน้าแต่ละใบหน้า ซึ่งจะทำให้ด้านในของสี่เหลี่ยมผืนผ้าใบหน้าโปร่งใส
  • เราใช้ BlendMode.DstOut เพื่อให้แน่ใจว่าเรากำลังตัดการไล่ระดับสีออกจากสี่เหลี่ยมผืนผ้าสีชมพู ซึ่งจะสร้างเอฟเฟกต์สปอตไลท์

หมายเหตุ: เมื่อเปลี่ยนกล้องเป็น DEFAULT_FRONT_CAMERA คุณจะเห็นว่าสปอตไลท์จะกลับด้านเหมือนกระจกเงา ซึ่งเป็นปัญหาที่ทราบอยู่แล้วและมีการติดตามใน Issue Tracker ของ Google

ผลลัพธ์

โค้ดนี้จะช่วยให้เราได้เอฟเฟกต์สปอตไลท์ที่ทำงานได้อย่างสมบูรณ์ ซึ่งจะไฮไลต์ใบหน้าที่ตรวจพบ ดูข้อมูลโค้ดแบบเต็มได้ที่นี่

เอฟเฟกต์นี้เป็นเพียงจุดเริ่มต้นเท่านั้น ด้วยการใช้พลังของ Compose คุณสามารถสร้างประสบการณ์การใช้งานกล้องที่สวยงามตระการตาได้มากมาย การแปลงพิกัดเซ็นเซอร์และบัฟเฟอร์เป็นพิกัด Compose UI และแปลงกลับได้หมายความว่าเราสามารถใช้ฟีเจอร์ Compose UI ทั้งหมดและผสานรวมกับระบบกล้องที่อยู่เบื้องหลังได้อย่างราบรื่น ด้วยภาพเคลื่อนไหว กราฟิก UI ขั้นสูง การจัดการสถานะ UI ที่เรียบง่าย และการควบคุมด้วยท่าทางสัมผัสอย่างเต็มรูปแบบ คุณจะสร้างสรรค์ได้เท่าที่จินตนาการจะพาไปถึง

ในโพสต์สุดท้ายของชุดนี้ เราจะเจาะลึกวิธีใช้ API แบบปรับเปลี่ยนได้และเฟรมเวิร์กภาพเคลื่อนไหวของ Compose เพื่อเปลี่ยนผ่านระหว่าง UI ของกล้องต่างๆ บนอุปกรณ์แบบพับได้ได้อย่างราบรื่น โปรดอดใจรอ


ข้อมูลโค้ดในบล็อกนี้มีใบอนุญาตต่อไปนี้

// Copyright 2024 Google LLC. SPDX-License-Identifier: Apache-2.0

ขอขอบคุณ Nick Butcher, Alex Vanyo, Trevor McGuire, Don Turner และ Lauren Ward ที่ช่วยตรวจสอบและให้ความคิดเห็น เกิดขึ้นได้จากความทุ่มเทของ Yasith Vidanaarachch

 

เขียนโดย
อ่านต่อ