Thạc Sĩ Các kỹ thuật xử lý ngôn ngữ trong số hóa văn bản tiếng Việt của hệ thống FSCANNER

MỤC LỤC
DANH MỤC CÁC TỪ VIẾT TẮT . 1
DANH MỤC BẢNG BIỂU 2
DANH MỤC HÌNH VẼ . 4
MỞ ĐẦU 6
CHƯƠNG 1. TỔNG QUAN VỀ BÀI TOÁN XỬ LÝ NGÔN NGỮ TRONG SỐ
HÓA VĂN BẢN TIẾNG VIỆT . 9
1.1 Giới thiệu về xử lý ngôn ngữ tự nhiên . 9
1.2 Giới thiệu một số công nghệ trong số hóa tài liệu 10
1.2.1 Công nghệ nhận dạng tiếng Việt . 10
1.2.2 Công nghệ soát lỗi chính tả tiếng Việt . 11
1.2.3 Công nghệ tách bộ và lập chỉ mục . 12
1.3 Bài toán xử lý ngôn ngữ trong số hóa văn bản tiếng Việt . 13
Tổng kết chương 1 15
CHƯƠNG 2. CÁC KỸ THUẬT XỬ LÝ NGÔN NGỮ TRONG SỐ HÓA VĂN
BẢN 16
2.1. Một số kỹ thuật nhận dạng OCR 16
2.1.1. Giới thiệu 16
2.1.2. Kỹ thuật nhận dạng dựa trên mô hình máy vectơ hỗ trợ (SVM) 18
2.1.3. Kỹ thuật nhận dạng dựa trên mô hình Markov ẩn (HMM) 20
2.1.4. Kỹ thuật nhận dạng dựa trên mô hình mạng nơ ron (ANN) . 22
2.1.5. Cách tiếp cận nhận dạng OCR của FSCANNER . 24
2.2. Kỹ thuật soát lỗi chính tả tiếng Việt dựa trên mô hình n-gram . 25
2.2.1. Giới thiệu bài toán soát lỗi chính tả tiếng Việt 25
2.2.2. Mô hình ngôn ngữ N-gram . 27
2.2.3. Kỹ thuật soát lỗi dựa trên mô hình n-gram của hệ thống FSCANNER 29
2.3. Trích rút metadata . 30
2.3.1. Giới thiệu về metadata và chuẩn Dublin Core . 30
2.3.2. Bài toán trích rút metadata 32
2.3.3. Đề xuất metadata cho văn bản được số hóa . 34

Tổng kết chương 2 45
CHƯƠNG 3. THỰC NGHIỆM, ĐÁNH GIÁ . 46
3.1. Các bước thực hiện chương trình của hệ thống 46
3.2. Xây dựng bộ dữ liệu thực nghiệm cho ảnh quét . 48
3.3. Tiến hành thực nghiệm 49
3.3.1. Mục tiêu . 49
3.3.2. Cách thực hiện 49
3.4. Kết quả thực nghiệm . 50
3.5. Đánh giá kết quả 52
Tổng kết chương 3 52
KẾT LUẬN 53
TÀI LIỆU THAM KHẢO . 54