Description
Phục hồi văn bản trong các tài liệu lịch sử bị suy giảm chất lượng là bài toán khó do hiện tượng mất nét, nhiễu và biến dạng ký tự trong ảnh tài liệu. Các phương pháp phục hồi tài liệu lịch sử hiện có thường dùng pipeline OCR kết hợp mô hình ngôn ngữ, hoặc khai thác học sâu cho nhận dạng văn bản trong điều kiện ảnh phức tạp, nhưng chủ yếu phát triển cho hệ chữ có tài nguyên phong phú, chưa tối ưu cho hệ chữ ít tài nguyên như Hán Nôm. Trong nghiên cứu này, chúng tôi đề xuất khung mô hình học liên kết (cross-modal alignment) giữa biểu diễn thị giác ký tự và mô hình ngôn ngữ tiền huấn luyện, xây dựng cơ chế trao đổi thông tin giữa vùng ảnh và biểu diễn ngôn ngữ trong một mô hình thống nhất, thay vì xử lý tuần tự như pipeline truyền thống. Phương pháp được thực nghiệm trên bộ dữ liệu NomNaOCR, với ảnh gốc chất lượng cao được áp dụng suy giảm tổng hợp tham khảo từ AutoHDR. Kết quả thực nghiệm sẽ được trình bày trong báo cáo đầy đủ.
Từ khóa
phục hồi văn bản, chữ Hán Nôm, xử lý ngôn ngữ tự nhiên, mô hình đa phương thức, trí tuệ nhân tạo
Thông tin các tác giả
1/Trần Văn Dân. Học viên cao học tại Trường Đại học Khoa học Tự nhiên - Đại học Quốc gia TP.HCM, 227 Nguyễn Văn Cừ, Chợ Quán, Hồ Chí Minh, email: 24c11048@student.hcmus.edu.vn
