เส้นทางสำหรับ Android Studio

Journeys for Android Studio ใช้ประโยชน์จากความสามารถด้านวิสัยทัศน์และการให้เหตุผลของ AI เพื่อไปยังส่วนต่างๆ และทดสอบแอปตามวิธีการที่คุณอธิบายด้วยภาษาธรรมชาติ ชุดวิธีการของคุณที่เรียกว่า Journey จะถูกแปลงเป็นการดำเนินการที่ AI ทำในแอป นอกจากนี้ คุณยังเขียนและอธิบายการยืนยันที่ซับซ้อนมากขึ้นได้ ซึ่ง AI จะประเมินตามสิ่งที่เห็นในอุปกรณ์

และเนื่องจาก Gemini ให้เหตุผลเกี่ยวกับการดำเนินการที่จะทำเพื่อให้บรรลุเป้าหมาย Journeys จึงมีความยืดหยุ่นมากขึ้นต่อการเปลี่ยนแปลงเล็กน้อยในเลย์เอาต์หรือลักษณะการทำงานของแอป ซึ่งจะทำให้การทดสอบที่อาจไม่เสถียรมีจำนวนลดลงเมื่อเรียกใช้กับแอปเวอร์ชันต่างๆ และการกำหนดค่าอุปกรณ์ที่แตกต่างกัน

คุณสามารถเขียนและเรียกใช้ Journeys ได้จาก Android Studio หรือจากบรรทัดคำสั่งกับอุปกรณ์ที่ใช้ Android ในเครื่องหรือระยะไกล IDE มีประสบการณ์การใช้งานเครื่องมือแก้ไขใหม่สำหรับการสร้างเส้นทาง รวมถึงผลลัพธ์ที่สมบูรณ์ซึ่งช่วยให้คุณเข้าใจการให้เหตุผลและการดำเนินการของ Gemini ในเส้นทางได้ดียิ่งขึ้น

เขียน Journey

Android Studio มีเทมเพลตไฟล์และประสบการณ์การใช้งานเครื่องมือแก้ไขใหม่ที่ช่วยให้การสร้างและแก้ไข Journeys ง่ายขึ้น Journeys เขียนขึ้นโดยใช้ไวยากรณ์ XML เพื่อจัดระเบียบคำอธิบายและขั้นตอนของ Journey

หากต้องการสร้างและเริ่มแก้ไข Journey ให้ทำดังนี้

1. จากแผงโปรเจ็กต์ ใน Android Studio ให้คลิกขวาที่โมดูลแอปที่ต้องการเขียน Journey
2. เลือกใหม่ > การทดสอบ Journey

3. ป้อนชื่อและคำอธิบายของ Journey ในกล่องโต้ตอบที่ปรากฏขึ้น

   

4. คลิกเสร็จสิ้น Android Studio จะสร้างไฟล์ XML สำหรับ Journey ที่มีชื่อที่คุณเลือก คุณสามารถใช้มุมมองโค้ด เพื่อแก้ไข XML โดยตรง หรือใช้มุมมองการออกแบบ เพื่อประสบการณ์การแก้ไขที่ง่ายขึ้น

5. เมื่อดู Journey ในมุมมองการออกแบบ ให้ใช้ช่องข้อความเพื่ออธิบายแต่ละขั้นตอนของ Journey แต่ละขั้นตอนสามารถรวมการดำเนินการเชิงอธิบายที่คุณต้องการให้ Gemini ทำหรือการยืนยันที่คุณต้องการให้ Gemini ประเมิน

6. กด Enter บนแป้นพิมพ์เพื่อเริ่มขั้นตอนใหม่ใน Journey เดียวกัน คุณสามารถทำซ้ำได้ตามต้องการสำหรับแต่ละขั้นตอนของ Journey ที่ต้องการกำหนด

กำหนดค่าตัวแปรของบิวด์

Journeys ทำงานกับตัวแปรของบิวด์ที่เฉพาะเจาะจงของแอป เมื่อคุณสร้าง Journey เป็นครั้งแรกโดยใช้ตัวช่วยสร้าง ระบบจะกำหนดค่าชุดการทดสอบที่สร้างขึ้นให้ทำงานกับตัวแปรของบิวด์ที่ใช้งานอยู่ใน Android Studio

อย่างไรก็ตาม หากคุณเปลี่ยนตัวแปรของบิวด์ที่ใช้งานอยู่ใน Android Studio ในภายหลัง (เช่น เปลี่ยนเป็น Product Flavor อื่นอย่าง demoDebug) โดยไม่ได้อัปเดตการกำหนดค่า การเรียกใช้ Journey จะล้มเหลว หากต้องการแก้ไขปัญหานี้ คุณต้องเพิ่มตัวแปรใหม่ ลงในพร็อพเพอร์ตี้ targetVariants ในบล็อก testSuites ของไฟล์ build.gradle.kts (หรือ build.gradle) ระดับโมดูล

ตัวอย่างเช่น หากต้องการกำหนดค่าชุด journeysTest สำหรับตัวแปร demoDebug ให้ทำดังนี้

android {
    // ...
    testSuites {
        create("journeysTest") {
            // ...
            targetVariants += listOf("demoDebug")
        }
    }
}

เคล็ดลับในการเขียน Journeys

แม้ว่า AI จะเข้าใจขั้นตอนส่วนใหญ่ที่เขียนด้วยภาษาที่รองรับ แต่การทำตามเคล็ดลับต่อไปนี้ในการเขียน Journeys อาจทำให้ได้ผลลัพธ์ที่แม่นยำและเป็นไปตามที่คาดไว้มากขึ้น

• สมมติว่าแอปของคุณอยู่ในเบื้องหน้าแล้ว: การเรียกใช้ Journey จะเปิดแอปของคุณโดยอัตโนมัติ ขั้นตอนของ Journey ควรเริ่มต้น หลังจาก ที่แอปเปิดขึ้นอย่างสมบูรณ์แล้ว นั่นคือ คุณไม่จำเป็นต้องรวม "เปิดแอป" เป็นขั้นตอน
• ใช้ภาษาที่ชัดเจน: การใช้ภาษาที่ชัดเจนจะช่วยลดการตีความผิดและเพิ่มความน่าเชื่อถือ

• รวมเกณฑ์ความสำเร็จเป็นส่วนหนึ่งของขั้นตอน: วิธีนี้จะช่วยให้ Gemini เข้าใจความตั้งใจของคุณได้ดียิ่งขึ้นและระบุได้ชัดเจนว่าการดำเนินการเสร็จสมบูรณ์แล้วเมื่อใดและสามารถเริ่มการดำเนินการถัดไปได้

• ปรับแต่ง Journey: หาก Journey ไม่ทำงานตามที่คาดไว้ คุณสามารถ ดูผลลัพธ์ และตรวจสอบ "การดำเนินการที่ทำ" และ "เหตุผล" ที่เกี่ยวข้องเพื่อทำความเข้าใจว่าเหตุใด Gemini จึงอาจไม่ได้ดำเนินการตามขั้นตอนที่คุณ คาดไว้ ใช้ข้อมูลนี้เพื่อเพิ่มความชัดเจนให้กับวิธีการ
• แบ่ง Journey ออกเป็นขั้นตอนที่เฉพาะเจาะจงมากขึ้น: แม้ว่า AI จะตีความขั้นตอนที่มีการดำเนินการหลายอย่างได้ แต่บางครั้งขั้นตอนที่แยกกันและละเอียดมากขึ้นอาจช่วยปรับปรุงความแม่นยำและความสามารถในการทำซ้ำของ Journey
  • "Error: Could not successfully complete the action in max allowed attempt": หากพบข้อผิดพลาดนี้ ให้ลองแบ่งขั้นตอนที่ล้มเหลวออกเป็น 2 ขั้นตอนหรือ มากกว่า เนื่องจากข้อผิดพลาดนี้เกิดขึ้นหาก AI ไม่สามารถดำเนินการให้เสร็จสมบูรณ์หลังจากพยายามโต้ตอบกับแอปของคุณเป็นจำนวนครั้งสูงสุด

ความสามารถที่รองรับและไม่รองรับ

ภาพรวมของความสามารถที่รองรับและยังไม่รองรับอย่างเต็มรูปแบบเมื่อเขียน Journeys รายการต่อไปนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น

ระบบรองรับ การดำเนินการต่อไปนี้ภายใน Journeys

• แตะ องค์ประกอบ UI
• พิมพ์ เพื่อป้อนข้อความลงในช่องข้อความ
• ปัด/เลื่อน ไปในทิศทางหนึ่งเพื่อไปยังส่วนต่างๆ ของ UI

ปัจจุบันระบบยังไม่รองรับอย่างเต็มรูปแบบ หรืออาจทำงานไม่สอดคล้องในความสามารถต่อไปนี้

• ท่าทางสัมผัสแบบหลายนิ้ว (เช่น บีบเพื่อซูม) - การโต้ตอบที่ต้องใช้จุดสัมผัสอย่างน้อย 2 จุดบนหน้าจอพร้อมกัน เช่น การบีบเพื่อซูมเข้าหรือออก หรือการปัดด้วย 2 นิ้ว
• แตะค้างไว้ - กดนิ้วค้างไว้เป็นระยะเวลานานกว่า การแตะมาตรฐาน
• แตะสองครั้ง - แตะตำแหน่งเดียวกันบนหน้าจอ 2 ครั้งอย่างรวดเร็วใน การสืบทอดอย่างรวดเร็ว
• การหมุน/พับหน้าจอ - การจัดการการเปลี่ยนแปลงการวางแนวอุปกรณ์ (เช่น ระหว่างแนวตั้งและแนวนอน) หรือสถานะทางกายภาพของอุปกรณ์แบบพับได้ (เช่น การเปิดหรือปิด)
• หน่วยความจำ - การเก็บรักษาและเรียกคืนข้อมูลเฉพาะเจาะจง บริบท หรือข้อมูลที่ผู้ใช้ ป้อนในการโต้ตอบหรือขั้นตอนก่อนหน้า
• การนับ - การติดตามปริมาณ ความถี่ หรือความคืบหน้าอย่างแม่นยำ
• คำสั่งแบบมีเงื่อนไข - การดำเนินการตามเงื่อนไขที่ระบุอื่นๆ ว่าเป็นไปตามเงื่อนไขหรือไม่

ฟีเจอร์และความสามารถมีการปรับปรุงอย่างต่อเนื่อง เราขอแนะนำให้คุณกลับมาดูหน้านี้ในภายหลังเพื่อดูข้อมูลเกี่ยวกับฟีเจอร์และความสามารถเพิ่มเติม โปรดแชร์ความคิดเห็นเพื่อช่วยเราปรับปรุง Journeys

เรียกใช้ Journey

คุณสามารถเรียกใช้ Journey ในอุปกรณ์ในเครื่องหรืออุปกรณ์ระยะไกลที่พร้อมใช้งานได้เช่นเดียวกับการทดสอบที่มีการวัดประสิทธิภาพอื่นๆ และ Android Studio จะสร้างผลลัพธ์ที่สมบูรณ์ซึ่งช่วยให้คุณเข้าใจการดำเนินการของ Journey

หากต้องการทดสอบ Journey ให้ทำดังนี้

1. เลือกอุปกรณ์เป้าหมายจากแถบเครื่องมือหลัก เช่นเดียวกับเมื่อเรียกใช้การทดสอบที่มีการวัดประสิทธิภาพ
2. ไปที่ไฟล์ XML ของ Journey ที่ต้องการทดสอบแล้วเปิดในเครื่องมือแก้ไข
3. ในเครื่องมือแก้ไข ให้ทำอย่างใดอย่างหนึ่งต่อไปนี้
   1. หากอยู่ในมุมมองการออกแบบ ให้คลิก เรียกใช้ Journey
   2. หากอยู่ในมุมมองโค้ด ให้คลิก เรียกใช้ 'test' ในราง ข้างตำแหน่งที่กำหนดชื่อของ Journey ใน XML

Android Studio จะสร้างการกำหนดค่าการทดสอบ Journeys ให้คุณและเรียกใช้ในอุปกรณ์เป้าหมาย ในระหว่างการดำเนินการ Android Studio จะสร้างและติดตั้งใช้งานแอป รวมถึงเชื่อมต่อกับ Gemini เพื่อกำหนดการดำเนินการที่จะทำในแต่ละขั้นตอนของ Journey

เรียกใช้ Journeys กับแอปที่ติดตั้งไว้ล่วงหน้า

คุณสามารถเรียกใช้ Journey ในแอปที่ติดตั้งไว้ล่วงหน้าในอุปกรณ์ทดสอบได้ ซึ่งจะเป็นประโยชน์หากคุณต้องการทดสอบแอปเวอร์ชันที่ใช้งานจริง หรือหากคุณยังไม่ได้อัปเดตแอปเป็นปลั๊กอิน Android Gradle เวอร์ชัน 9.0.0 ขึ้นไป

1. เปิดหรือสร้างโปรเจ็กต์ใหม่ที่ อัปเดตเป็นปลั๊กอิน Android Gradle เวอร์ชัน 9.0.0 ขึ้นไป
2. เขียน Journey
3. แก้ไขการกำหนดค่าการเรียกใช้สำหรับ Journey และเพิ่มตัวแปรสภาพแวดล้อมต่อไปนี้ ระบบจะสร้างการกำหนดค่าการเรียกใช้โดยอัตโนมัติเมื่อคุณพยายามเรียกใช้ Journey จาก Android Studio
   • ตั้งค่า JOURNEYS_CUSTOM_APP_ID เป็นรหัสแพ็กเกจของแอปเป้าหมาย
4. เรียกใช้ Journey ที่คุณแก้ไข Android Studio ควรดำเนินการตามขั้นตอนของ Journey ในแอปเป้าหมายที่คุณระบุ

เรียกใช้ Journey จากบรรทัดคำสั่ง

หากต้องการเรียกใช้ Journeys จากบรรทัดคำสั่ง ให้ใช้ Android CLI

ดูผลลัพธ์

เมื่อ Android Studio ทดสอบ Journey เสร็จสมบูรณ์ แผงผลการทดสอบจะปรากฏขึ้นโดยอัตโนมัติเพื่อแสดงผลลัพธ์

เมื่อเทียบกับการทดสอบที่มีการวัดประสิทธิภาพอื่นๆ ที่คุณอาจเรียกใช้ใน Android Studio การแสดงผลลัพธ์สำหรับ Journeys จะแตกต่างกันเล็กน้อย

• แผงการทดสอบ จะแบ่ง Journey ออกเป็นขั้นตอนที่แยกกัน คุณสามารถคลิกแต่ละขั้นตอนเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ Gemini ดำเนินการ
• แผงผลลัพธ์ จะแสดงข้อมูลที่สมบูรณ์เพื่อช่วยให้คุณเข้าใจวิธีที่ Gemini เข้าใจและให้เหตุผลเกี่ยวกับ Journey รวมถึงวิธีที่ดำเนินการ
  • ระบบจะแสดงภาพหน้าจอที่ส่งไปยัง Gemini เพื่อช่วยในการมองเห็นในการดำเนินการแต่ละอย่างในขั้นตอน
  • การดำเนินการแต่ละอย่างที่ทำและเหตุผลของ Gemini ที่ทำเช่นนั้นจะอธิบายไว้ข้างภาพหน้าจอแต่ละภาพ
  • การดำเนินการแต่ละอย่างในขั้นตอนจะมีหมายเลขกำกับ

ปัญหาที่ทราบแล้ว

• ปัญหาแคชการกำหนดค่า Gradle: Journeys อาจทำงานไม่เป็นไปตามที่คาดไว้เมื่อเปิดใช้แคชการกำหนดค่า Gradle ตัวอย่างเช่น ปัญหานี้อาจทำให้ระบบเรียกใช้ไฟล์ Journey ที่ไม่ถูกต้องเมื่อมีไฟล์ Journey หลายไฟล์ นอกจากนี้ยังอาจทำให้เกิดปัญหาในการตรวจสอบสิทธิ์ด้วย

  หากต้องการหลีกเลี่ยงปัญหานี้ คุณสามารถปิดใช้แคชการกำหนดค่าได้โดยตั้งค่า org.gradle.configuration-cache=false ในไฟล์ gradle.properties ของโปรเจ็กต์

• เมื่อทดสอบ Journey ระบบจะให้สิทธิ์ทั้งหมดสำหรับแอปของคุณโดยค่าเริ่มต้น

• เมื่อทดสอบ Journey ในอุปกรณ์ที่ใช้ Android 15 (API ระดับ 35) คุณ อาจเห็นคำเตือนในอุปกรณ์ที่ระบุว่า "Unsafe App Blocked" สำหรับ "AndroidX Crawler" คุณสามารถคลิกติดตั้งต่อไป เพื่อข้ามการตรวจสอบนี้ หรือจะ กำหนดค่าตัวเลือกสำหรับนักพัฒนาแอปในอุปกรณ์และปิดใช้ตัวเลือก เพื่อตรวจสอบแอปผ่าน USBก็ได้