Description
Nội dung tóm tắt báo cáo: Việc số hóa tài liệu di sản Hán Nôm gặp nhiều thách thức lớn do hệ
thống nhận dạng ký tự quang học (OCR) dễ mắc lỗi với chữ phức tạp,
tài liệu xuống cấp và thiếu ngữ cảnh. Trong bài báo này, chúng tôi đề
xuất phương pháp hậu xử lý sử dụng các mô hình ngôn ngữ BERT gồm
SikuBERT, ModernBERT, NeoBERT và Chinese ModernBERT để phát
hiện và sửa lỗi OCR dựa trên ngữ cảnh câu văn. Kết hợp với việc tái
cấu trúc bộ mã hóa từ vựng (Tokenizer) nhằm loại bỏ lỗi phân mảnh ký
tự chưa biết (Unknown), SikuBERT tăng độ chính xác cấp câu từ 14,53%
lên 19,64% so với OCR cơ sở. Phương pháp này góp phần nâng cao chất
lượng số hóa và bảo tồn tài liệu di sản Hán Nôm tại Việt Nam.
Từ khóa
Nhận dạng ký tự quang học (OCR), Chữ Hán Nôm, Mô hình ngôn ngữ BERT, Hậu xử lý lỗi, Bảo tồn di sản số
Thông tin các tác giả
1/ Nguyễn Duy Đạt: Học viên Cao học Trường Đại học Khoa học Tự nhiên, ĐHQG HCM, 227 đường Nguyễn Văn Cừ, Phường Chợ Quán, TP. HCM, email: duydattqta13@gmail.com
2/ Nguyễn Tư Thành Nhân: Học viên Cao học Trường Đại học Khoa học Tự nhiên, ĐHQG HCM, 227 đường Nguyễn Văn Cừ, Phường Chợ Quán, TP. HCM, email: ngtuthanhan@gmail.com
3/ Nguyễn Hồng Bửu Long: TS., đang công tác tại Trường Đại học Khoa học Tự nhiên, ĐHQG HCM, 227 đường Nguyễn Văn Cừ, Phường Chợ Quán, TP. HCM, email: nhblong@fit.hcmus.edu.vn
4/ Đinh Điền: PGS. TS., đang công tác tại Trường Đại học Khoa học Tự nhiên, ĐHQG HCM, 227 đường Nguyễn Văn Cừ, Phường Chợ Quán, TP. HCM, email: ddien@fit.hcmus.edu.vn
