เส้นทางสำหรับ Android Studio

Journeys for Android Studio ใช้ประโยชน์จากความสามารถด้านการมองเห็นและการให้เหตุผลของ AI เพื่อนำทางและทดสอบแอปตามวิธีการที่อธิบายด้วยภาษาธรรมชาติ ชุดวิธีการที่เรียกว่า Journey จะได้รับการแปลงเป็นการดำเนินการที่ AI ทำในแอป นอกจากนี้ คุณยังเขียนและอธิบายการยืนยันที่ซับซ้อนมากขึ้นได้ ซึ่ง AI จะประเมินตามสิ่งที่เห็นในอุปกรณ์

เส้นทางสำหรับ Android Studio
Journeys for Android Studio.

และเนื่องจาก Gemini ให้เหตุผลเกี่ยวกับการดำเนินการที่จะทำเพื่อให้บรรลุเป้าหมาย Journeys จึงมีความยืดหยุ่นมากขึ้นต่อการเปลี่ยนแปลงเล็กน้อยในเลย์เอาต์หรือลักษณะการทำงานของแอป ซึ่งจะส่งผลให้การทดสอบที่อาจล้มเหลวเป็นครั้งคราวมีจำนวนลดลงเมื่อทดสอบกับแอปเวอร์ชันต่างๆ และการกำหนดค่าอุปกรณ์ที่แตกต่างกัน

คุณสามารถเขียนและเรียกใช้ Journeys ได้โดยตรงจาก Android Studio หรือจากบรรทัดคำสั่งกับอุปกรณ์ที่ใช้ Android ในเครื่องหรือระยะไกล IDE มีประสบการณ์การใช้งานเอดิเตอร์ใหม่สำหรับการสร้างเส้นทาง รวมถึงผลลัพธ์ที่สมบูรณ์ซึ่งช่วยให้คุณเข้าใจการให้เหตุผลและการดำเนินการของ Gemini ในเส้นทางได้ดียิ่งขึ้น

เขียน Journey

Android Studio มีเทมเพลตไฟล์และประสบการณ์การใช้งานเครื่องมือแก้ไขใหม่ที่ช่วยให้การสร้างและแก้ไข Journeys ง่ายขึ้น Journeys เขียนขึ้นโดยใช้ไวยากรณ์ XML เพื่อจัดระเบียบคำอธิบายและขั้นตอนของ Journey

เครื่องมือแก้ไขเส้นทางใน Android Studio แสดงไฟล์ XML ที่มี ขั้นตอนการเดินทาง

หากต้องการสร้างและเริ่มแก้ไข Journey ให้ทำดังนี้

  1. จากแผงโปรเจ็กต์ ใน Android Studio ให้คลิกขวาที่โมดูลแอปที่ต้องการเขียน Journey
  2. เลือกใหม่ > การทดสอบ Journey

  3. ป้อนชื่อและคำอธิบายของ Journey ในกล่องโต้ตอบที่ปรากฏขึ้น

    กล่องโต้ตอบใน Android Studio ที่คุณใช้เพื่อสร้างไฟล์เส้นทาง
    กล่องโต้ตอบใน Android Studio ที่ใช้สร้างไฟล์ Journey ไฟล์

  4. คลิกเสร็จสิ้น Android Studio จะสร้างไฟล์ XML สำหรับ Journey ที่มีชื่อที่คุณเลือก คุณสามารถใช้มุมมองโค้ด เพื่อแก้ไข XML โดยตรง หรือใช้มุมมองการออกแบบ เพื่อประสบการณ์การใช้งานการแก้ไขที่ง่ายขึ้น

  5. เมื่อดู Journey ในมุมมองการออกแบบ ให้ใช้ช่องข้อความเพื่ออธิบายแต่ละขั้นตอนของ Journey แต่ละขั้นตอนสามารถรวมการดำเนินการเชิงอธิบายที่คุณต้องการให้ Gemini ทำหรือการยืนยันที่คุณต้องการให้ Gemini ประเมิน

  6. กด Enter บนแป้นพิมพ์เพื่อเริ่มขั้นตอนใหม่ใน Journey เดียวกัน คุณสามารถทำซ้ำได้ตามต้องการสำหรับแต่ละขั้นตอนของ Journey ที่ต้องการกำหนด

กำหนดค่าตัวแปรของบิวด์

Journeys ทำงานกับตัวแปรบิลด์ที่เฉพาะเจาะจงของแอป เมื่อคุณสร้าง Journey เป็นครั้งแรกโดยใช้ตัวช่วยสร้าง ระบบจะกำหนดค่าชุดโปรแกรมทดสอบที่สร้างขึ้นให้ทำงานกับตัวแปรบิลด์ที่ใช้งานอยู่ใน Android Studio

อย่างไรก็ตาม หากคุณเปลี่ยนตัวแปรบิลด์ที่ใช้งานอยู่ใน Android Studio ในภายหลัง (เช่น เป็นเวอร์ชันผลิตภัณฑ์อื่นอย่าง demoDebug) โดยไม่ได้อัปเดตการกำหนดค่า การเรียกใช้ Journey จะล้มเหลว หากต้องการแก้ไขปัญหานี้ คุณต้องเพิ่มตัวแปรใหม่ ลงในพร็อพเพอร์ตี้ targetVariants ในบล็อก testSuites ของไฟล์ build.gradle.kts (หรือ build.gradle) ระดับโมดูล

ตัวอย่างเช่น หากต้องการกำหนดค่าชุด journeysTest สำหรับตัวแปร demoDebug ให้ทำดังนี้

android {
    // ...
    testSuites {
        create("journeysTest") {
            // ...
            targetVariants += listOf("demoDebug")
        }
    }
}

เคล็ดลับในการเขียน Journeys

แม้ว่า AI จะเข้าใจขั้นตอนส่วนใหญ่ที่เขียนด้วยภาษาที่รองรับ แต่การทำตามเคล็ดลับต่อไปนี้ในการเขียน Journeys อาจทำให้ได้ผลลัพธ์ที่ถูกต้องและเป็นไปตามที่คาดไว้มากขึ้น

  • สมมติว่าแอปของคุณอยู่ในเบื้องหน้าแล้ว: การเรียกใช้ Journey จะเปิดแอปของคุณโดยอัตโนมัติ ขั้นตอนของ Journey ควรเริ่มต้น หลังจาก ที่แอปเปิดขึ้นอย่างสมบูรณ์แล้ว นั่นคือ คุณไม่จำเป็นต้องรวม "เปิดแอป" เป็นขั้นตอน
  • ใช้ภาษาที่ชัดเจน: การใช้ภาษาที่ชัดเจนจะช่วยลดการตีความผิดและปรับปรุงความน่าเชื่อถือ
แทนที่จะใช้ ให้ใช้คำต่อไปนี้
"เลือกปุ่มปิด" "แตะ 'ปิด'" หรือเพียง "ปิด"
"พิมพ์ 'celery'" "พิมพ์ 'celery' ในแถบค้นหาที่ด้านบนของหน้าจอหลัก"
ปัดเพื่อปิด ปัดไปทางซ้ายเพื่อปิด การ์ดไม่ควรปรากฏให้เห็นอีกต่อไป
  • รวมเกณฑ์ความสำเร็จเป็นส่วนหนึ่งของขั้นตอน: วิธีนี้จะช่วยให้ Gemini เข้าใจเจตนาของคุณได้ดียิ่งขึ้น และทำให้ทราบชัดเจนว่าการดำเนินการเสร็จสมบูรณ์แล้วเมื่อใดและสามารถเริ่มการดำเนินการถัดไปได้
แทนที่จะใช้ ให้ใช้คำต่อไปนี้
"เลือกปุ่มส่ง" "ส่งอีเมลโดยแตะปุ่มส่ง ซึ่งจะเป็นการปิดอีเมลและนำคุณกลับไปยังกล่องจดหมาย"
"ไปที่รถเข็นช็อปปิ้ง" "แตะไอคอนรถเข็นช็อปปิ้ง ซึ่งจะนำคุณไปยังหน้ารถเข็นช็อปปิ้ง ตรวจสอบว่าไม่มีสินค้า"
"คลิกวิดีโอแรก" "คลิกวิดีโอแรกแล้วรอให้โหลดจนเสร็จสมบูรณ์"
  • ปรับแต่ง Journey: หาก Journey ไม่ทำงานตามที่คาดไว้ คุณสามารถ ดูผลลัพธ์ และตรวจสอบ "การดำเนินการที่ทำ" และ "เหตุผล" ที่เกี่ยวข้องเพื่อทำความเข้าใจว่าเหตุใด Gemini จึงอาจไม่ได้ดำเนินการตามขั้นตอนที่คุณ คาดไว้ ใช้ข้อมูลนี้เพื่อเพิ่มความชัดเจนให้กับวิธีการ
  • แบ่ง Journey ออกเป็นขั้นตอนที่เฉพาะเจาะจงมากขึ้น: แม้ว่า AI จะตีความขั้นตอนที่มีการดำเนินการหลายอย่างได้ แต่บางครั้งขั้นตอนที่แยกกันและละเอียดมากขึ้นอาจช่วยปรับปรุงความถูกต้องและความสามารถในการทำซ้ำของ Journey
    • "Error: Could not successfully complete the action in max allowed attempt": หากพบข้อผิดพลาดนี้ ให้ลองแบ่งขั้นตอนที่ล้มเหลวออกเป็น 2 ขั้นตอนหรือ มากกว่า เนื่องจากข้อผิดพลาดนี้เกิดขึ้นหาก AI ไม่สามารถดำเนินการให้เสร็จสมบูรณ์หลังจากพยายามโต้ตอบกับแอปของคุณตามจำนวนครั้งสูงสุดที่อนุญาต

ความสามารถที่รองรับและไม่รองรับ

ภาพรวมของความสามารถที่รองรับและยังไม่รองรับอย่างเต็มรูปแบบเมื่อเขียน Journeys รายการต่อไปนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น

ระบบรองรับ การดำเนินการต่อไปนี้ภายใน Journeys

  • แตะ องค์ประกอบ UI
  • พิมพ์ เพื่อป้อนข้อความลงในช่องข้อความ
  • ปัด/เลื่อน ไปในทิศทางที่ต้องการเพื่อไปยังส่วนต่างๆ ของ UI

ปัจจุบันระบบยังไม่รองรับ ความสามารถต่อไปนี้อย่างเต็มรูปแบบ หรืออาจทำงานไม่สอดคล้องกัน

  • ท่าทางสัมผัสแบบหลายนิ้ว (เช่น บีบเพื่อซูม) - การโต้ตอบที่ต้องใช้จุดสัมผัสอย่างน้อย 2 จุดบนหน้าจอพร้อมกัน เช่น การบีบเพื่อซูมเข้าหรือออก หรือการปัดด้วย 2 นิ้ว
  • แตะค้างไว้ - กดนิ้วค้างไว้เป็นระยะเวลานานกว่า การแตะมาตรฐาน
  • แตะสองครั้ง - แตะตำแหน่งเดียวกันบนหน้าจออย่างรวดเร็ว 2 ครั้งติดต่อกัน
  • การหมุน/พับหน้าจอ - การจัดการการเปลี่ยนแปลงการวางแนวอุปกรณ์ (เช่น ระหว่างแนวตั้งและแนวนอน) หรือสถานะทางกายภาพของอุปกรณ์แบบพับได้ (เช่น การเปิดหรือปิด)
  • หน่วยความจำ - การเก็บรักษาและเรียกคืนข้อมูลเฉพาะเจาะจง บริบท หรือข้อมูลที่ผู้ใช้ป้อนในการโต้ตอบหรือขั้นตอนก่อนหน้า
  • การนับ - การติดตามปริมาณ ความถี่ หรือความคืบหน้าอย่างถูกต้อง
  • คำสั่งแบบมีเงื่อนไข - การดำเนินการตามเงื่อนไขที่ระบุอื่นๆ ว่าเป็นไปตามเงื่อนไขหรือไม่

ฟีเจอร์และความสามารถมีการปรับปรุงอย่างต่อเนื่อง เราขอแนะนำให้คุณกลับมาดูหน้านี้อีกครั้งในภายหลังเพื่อดูข้อมูลเกี่ยวกับฟีเจอร์และความสามารถเพิ่มเติม โปรดแชร์ความคิดเห็นเพื่อช่วยเราปรับปรุง Journeys

เรียกใช้ Journey

คุณสามารถเรียกใช้เส้นทางของคุณในอุปกรณ์ในเครื่องหรืออุปกรณ์ระยะไกลที่พร้อมใช้งานได้เช่นเดียวกับการทดสอบการวัดคุมอื่นๆ และ Android Studio จะสร้างผลการค้นหาที่เป็นริชมีเดียที่สมบูรณ์ซึ่งช่วยให้คุณเข้าใจการดำเนินการของเส้นทางของคุณ

หากต้องการทดสอบ Journey ให้ทำดังนี้

  1. เลือกอุปกรณ์เป้าหมายจากแถบเครื่องมือหลัก เช่นเดียวกับเมื่อเรียกใช้การทดสอบที่ใช้เครื่องมือ
  2. ไปที่ไฟล์ XML ของ Journey ที่ต้องการทดสอบแล้วเปิดในเครื่องมือแก้ไข
  3. ในเครื่องมือแก้ไข ให้ทำอย่างใดอย่างหนึ่งต่อไปนี้
    1. หากอยู่ในมุมมองการออกแบบ ให้คลิก เรียกใช้ Journey
    2. หากอยู่ในมุมมองโค้ด ให้คลิก เรียกใช้ 'test' ใน Gutter ข้างตำแหน่งที่กำหนดชื่อของ Journey ใน XML

Android Studio จะสร้างการกำหนดค่าการทดสอบ Journeys ให้คุณและเรียกใช้ในอุปกรณ์เป้าหมาย ระหว่างการดำเนินการ Android Studio จะสร้างและติดตั้งใช้งานแอป รวมถึงเชื่อมต่อกับ Gemini เพื่อกำหนดการดำเนินการที่จะทำในแต่ละขั้นตอนของ Journey

แผงผลการทดสอบเส้นทางใน Android Studio ซึ่งแสดงรายละเอียดขั้นตอนและเหตุผลของ Gemini
แผงผลการทดสอบ Journey ใน Android Studio ซึ่งแสดง รายละเอียดขั้นตอนและเหตุผลของ Gemini

เรียกใช้ Journeys กับแอปที่ติดตั้งไว้ล่วงหน้า

คุณสามารถเรียกใช้ Journey ในแอปที่ติดตั้งไว้ล่วงหน้าในอุปกรณ์ทดสอบได้ วิธีนี้มีประโยชน์หากคุณต้องการทดสอบแอปเวอร์ชันที่ใช้งานจริง หรือหากคุณยังไม่ได้อัปเดตแอปเป็นปลั๊กอิน Android Gradle 9.0.0 ขึ้นไป

  1. เปิดหรือสร้างโปรเจ็กต์ใหม่ที่ อัปเดตเป็นปลั๊กอิน Android Gradle 9.0.0 ขึ้นไป
  2. เขียน Journey
  3. แก้ไขการกำหนดค่าการเรียกใช้สำหรับ Journey และเพิ่มตัวแปรสภาพแวดล้อมต่อไปนี้ ระบบจะสร้างการกำหนดค่าการเรียกใช้โดยอัตโนมัติเมื่อคุณพยายามเรียกใช้ Journey จาก Android Studio
    • ตั้งค่า JOURNEYS_CUSTOM_APP_ID เป็นรหัสแพ็กเกจของแอปเป้าหมาย
  4. เรียกใช้ Journey ที่คุณแก้ไข Android Studio ควรดำเนินการตามขั้นตอนของ Journey ในแอปเป้าหมายที่คุณระบุ

เรียกใช้ Journey จากบรรทัดคำสั่ง

หากต้องการเรียกใช้ Journeys จากบรรทัดคำสั่ง ให้ใช้ Android CLI

ดูผลลัพธ์

เมื่อ Android Studio ทดสอบ Journey เสร็จสมบูรณ์ แผงผลการทดสอบจะปรากฏขึ้นโดยอัตโนมัติเพื่อแสดงผลลัพธ์

แผงผลการทดสอบเส้นทางใน Android Studio ซึ่งแสดงรายละเอียดขั้นตอนและเหตุผลของ Gemini
แผงผลการทดสอบ Journey ใน Android Studio ซึ่งแสดง รายละเอียดขั้นตอนและเหตุผลของ Gemini

ผลลัพธ์ของ Journeys จะแสดงแตกต่างจากการทดสอบที่ใช้เครื่องมืออื่นๆ ที่คุณอาจเรียกใช้ใน Android Studio

  • แผงการทดสอบ จะแบ่ง Journey ออกเป็นขั้นตอนที่แยกกัน คุณสามารถคลิกแต่ละขั้นตอนเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ Gemini ดำเนินการ
  • แผงผลลัพธ์ จะแสดงข้อมูลที่สมบูรณ์เพื่อช่วยให้คุณเข้าใจวิธีที่ Gemini เข้าใจและให้เหตุผลเกี่ยวกับ Journey รวมถึงวิธีที่ดำเนินการ
    • ระบบจะแสดงภาพหน้าจอที่ส่งไปยัง Gemini เพื่อช่วยในการมองเห็นในแต่ละการดำเนินการในขั้นตอน
    • การดำเนินการแต่ละรายการที่ทำและเหตุผลของ Gemini ที่ทำเช่นนั้นจะอธิบายไว้ข้างภาพหน้าจอแต่ละภาพ
    • การดำเนินการแต่ละรายการในขั้นตอนจะมีหมายเลขกำกับ

ปัญหาที่ทราบแล้ว