Description
Việc sinh hướng dẫn thao tác từ ảnh màn hình và mục tiêu người dùng là một bài toán sinh biểu thức quy chiếu, nhưng 22,0% phần tử cần chạm lại không có tên. Chúng tôi dựng bộ ngữ liệu GUIRefCorpus gồm 41.099 dòng được tạo tự động. Mỗi bước chạm của AndroidControl được gán một dòng mô tả gồm vai trò, tên, toạ độ và một dấu hiệu tách phần tử ấy khỏi phần tử giống nó. Ở 75,3% số bước, dấu hiệu ấy nêu được cách phân biệt cụ thể, còn ở nhóm phần tử chỉ mang một ký hiệu, chẳng hạn một chữ cái đứng lẻ, thì tỉ lệ này còn 37,5%. Quy trình dựng nhãn không hề đọc câu chỉ dẫn của người chú thích, nhưng ở 53,5% số bước, tên mà nó đặt cho phần tử vẫn trùng đúng với chữ người chú thích dùng.
Thông tin các tác giả
Tác giả 1. Lê Đoàn Phương Uyên. Học viên cao học ngành Khoa học Máy tính, Khoa Công nghệ Thông tin, Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Thành phố Hồ Chí Minh.
Địa chỉ: 227 Nguyễn Văn Cừ, Phường 4, Quận 5, Thành phố Hồ Chí Minh.
Điện thoại: 0764 484 984 (+84 764 484 984) Email: 24C15039@student.hcmus.edu.vn
Tác giả 2. Nguyễn Hồng Bửu Long. Tiến sĩ, giảng viên Khoa Công nghệ Thông tin, Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Thành phố Hồ Chí Minh.
Địa chỉ: 227 Nguyễn Văn Cừ, Phường 4, Quận 5, Thành phố Hồ Chí Minh.
Email: nhblong@fit.hcmus.edu.vn
Từ khóa
sinh biểu thức quy chiếu, dấu hiệu phân biệt, giao diện đồ hoạ, xây dựng ngữ liệu tự động, AndroidControl
