Description
Sinh hướng dẫn sử dụng phần mềm từ ảnh chụp màn hình và câu hỏi người dùng là bài toán đa phương thức còn ít được khai thác. Các mô hình đa phương thức làm được việc này nhưng thường bị ảo giác, nhắc đến các phần tử không có trên màn hình khiến hướng dẫn sai lệch. Việc đánh giá cũng khó khăn vì hầu hết ứng dụng không có hướng dẫn mẫu để đối chiếu. Chúng tôi dùng cây phân cấp giao diện (View Hierarchy) làm nguồn đối chiếu đo độ trung thực, chỉ dùng khi đánh giá để tránh rò rỉ thông tin sang quá trình sinh. Dựa trên cùng nguồn đối chiếu, chúng tôi thêm một lớp hậu kiểm: những bước nhắc đến nút không tồn tại được viết lại thành mô tả thao tác bằng lời. Để kiểm chứng độ tin cậy của thước đo, chúng tôi chủ động đưa các lỗi đã biết vào hướng dẫn rồi đo tỉ lệ phát hiện. Thực nghiệm trên màn hình Android thực cho thấy phương pháp giảm rõ số bước nhắc đến nút không tồn tại, đổi lại một số bước phải mô tả khái quát hơn.
Thông tin các tác giả
1/ Lê Đoàn Phương Uyên: Học viên Cao học, đang học tại Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia TP. Hồ Chí Minh, 227 Nguyễn Văn Cừ, Chợ Quán, Hồ Chí Minh, email: ledoanphuonguyen0712@gmail.com / 24C15039@student.hcmus.edu.vn
2/ Nguyễn Hồng Bửu Long, TS., đang công tác tại Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia TP. Hồ Chí Minh, 227 Nguyễn Văn Cừ, Chợ Quán, Hồ Chí Minh, email: nhblong@fit.hcmus.edu.vn
Từ khóa
mô hình ngôn ngữ đa phương thức, ảo giác (hallucination), tự động tạo sinh hướng dẫn, độ trung thực, đánh giá mô hình
