Thạc Sĩ Sử dụng mô hình xác suất cho bài toán chuyển đổi trật tự từ trong dịch máy thống kê anh - việt dựa t

MỤC LỤC i
DANH SÁCH CÁC BẢNG . iii
DANH SÁCH CÁC HÌNH iv
DANH SÁCH CÁC TỪ VIẾT TẮT v
CHưƠNG 1 : GIỚI THIỆU 1
1.1 Đặt vấn đề . 1
1.2 Hướng tiếp cận của đề tài 1
1.3 Nội dung của luận văn . 3
CHưƠNG 2 : TỔNG QUAN . 5
2.1 Dịch máy thống kê (Statistical Machine Translation - SMT) . 5
2.1.1 Dịch máy thống kê dựa trên từ (Word-based SMT) . 5
2.1.2 Dịch máy thống kê dựa trên ngữ (Phrase-based SMT) 7
2.1.3 Dịch máy thống kê dựa trên cú pháp (Syntax-based SMT) . 11
2.2 Các hướng tiếp cận trong chuyển đổi trật tự từ . 15
2.2.1 Chuyển đổi trật tự câu ngôn ngữ đích 16
2.2.2 Chuyển đổi trật tự câu ngôn ngữ nguồn . 18
CHưƠNG 3 : MÔ HÌNH CỦA ĐỀ TÀI . 29
3.1 Mô hình chung của đề tài 29
3.2 Xây dựng tập luật chuyển đổi thủ công 30
3.2.1 Luật chuyển đổi trong danh ngữ 30
3.2.2 Luật chuyển đổi trong động ngữ 32
3.2.3 Luật chuyển đổi trong tính ngữ 33
3.3 Luật chuyển đổi dựa trên cú pháp . 34
3.4 Rút trích tự động luật chuyển đổi từ ngữ liệu song ngữ 36
3.4.1 Tri thức chuyển đổi 36
3.4.2 Áp dụng tri thức chuyển đổi . 38
3.4.3 Tổng quát hóa tri thức chuyển đổi . 39
CHưƠNG 4 : THỰC NGHIỆM VÀ ĐÁNH GIÁ . 40
4.1 Các đặc trưng của ngữ liệu 40
4.2 Các tiêu chuẩn đánh giá 41
ii
4.2.1 BLUE (Bilingual Evaluation Understudy) . 41
4.2.2 NIST . 42
4.2.3 TER (Translation Error Rate) . 42
4.3 Huấn luyện cho mô hình SMT 42
4.4 Các thí nghiệm 44
4.4.1 Phân lớp bằng mô hình ME 44
4.4.2 Chuyển đổi trật tự từ theo các luật cú pháp rút trích thủ công . 46
4.4.3 Chuyển đổi trật tự từ theo luật cú pháp rút trích tự động . 52
4.4.4 Giảm gióng hàng từ chéo? . 57
4.5 Đánh giá chung . 59
CHưƠNG 5 : KẾT LUẬN . 60
TÀI LIỆU TRÍCH DẪN . 63
CÔNG TRÌNH ĐÃ CÔNG BỐ 66
PHỤ LỤC . 67
A. Danh sách các luật chuyển đổi được rút bằng tay . 67
B. Một số luật chuyển đổi được rút tự động từ ngữ liệu I . 68
C. Kết quả phân lớp trên ngữ liệu I 69
D. Kết quả dịch ngữ liệu I sau khi dùng mô hình xác suất để chuyển đổi trật tự từ 69