Thạc Sĩ Xây dựng chương trình chuyển đổi cây cú pháp trong hệ dịch Anh-Việt

Cho đến nay, sau hơn 50 năm phát triển, dịch máy chứng tỏ là một ứng dụng
vô cùng thiết thực, đồng thời cũng là một bài toán khá hóc búa đặt ra cho các nhà
khoa học trên toàn thế giới. Từ đầu thập niên 1960, các nhà khoa học đã đúc kết lại
ba chiến lược dịch máy cơ bản, đó là dịch trực tiếp, dịch thông qua Ngôn ngữ trung
gian và dịch dựa trên chuyển đổi. Và qua thực tế, chiến lược dịch dựa trên chuyển
đổi đã khẳng định được tính hiệu quả và tiềm năng của nó, và đây cũng là cách tiếp
cận mà chúng em đã và đang theo đuổi để Xây dựng một hệ dịch tự động từ tiếng
Anh sang tiếng Việt.
Trong hệ dịch dựa trên sự chuyển đổi, khối chuyển đổi cây cú pháp (cấu trúc)
giữ một vai trò quan trọng, quyết định chất lượng hệ dịch. Vì lý do đó, chúng em đã
quyết định chọn “Xây dựng chương trình chuyển đổi cây cú pháp trong hệ dịch
Anh-Việt” làm đề tài luận văn tốt nghiệp cử nhân của mình. Khối chuyển đổi cây cú
pháp đảm nhiệm việc thay đổi trật tự, chèn, xoá các thành phần trong cây cú pháp
của câu Tiếng anh sao cho sau khi hoàn tất việc gắn nghĩa, ta sẽ thu được câu tiếng
Việt có trật tự từ hợp lý.
Luận văn được tổ chức thành các phần chính sau:
™ Chương 1: Giới thiệu tầm quan trọng, mục tiêu, phạm vi của đề tài, cơ sở
lý thuyết Ngôn ngữ học, tin học và hướng tiếp cận vấn đề.
™ Chương 2: Điểm qua các cách tiếp cận chuyển đổi cấu trúc.
™ Chương 3: Thuật toán nền tảng, mô hình học và mô hình áp dụng chuyển
đổi cây cú pháp.
™ Chương 4: Thiết kế – Cài đặt
™ Chương 5: Thử nghiệm – đánh giá
™ Chương 6: Kết quả – Kết luận – Hướng Phát triển
™ Phần phụ lục. Tài liệu tham khảo. Luận văn tốt nghiệp


Danh sách các hình .11
Danh sách các bảng .13
1 TỔNG QUAN VỀ CHUYỂN ĐỔI CÂY CÚ PHÁP 14
1.1 Đặt vấn đề .14
1.2 Các chiến lược dịch máy 16
1.1.1 Chiến lược dịch trực tiếp .16
1.1.2 Chiến lược dịch dựa trên Ngôn ngữ trung gian .17
1.1.3 Chiến lược dịch dựa trên sự chuyển đổi .18
1.2 Vai trò của chuyển đổi cây cú pháp trong cách tiếp cận dựa trên
chuyển đổi .20
1.3 Cơ sở lý thuyết 22
1.3.1 Cơ sở lý thuyết Ngôn ngữ học của việc chuyển đổi 23
1.3.2 Cơ sở lý thuyết tin học - Hướng tiếp cận vấn đề 33
2 . .35 2
CÁC HƯỚNG TIẾP CẬN CHUYỂN ĐỔI CẤU TRÚC TRONG DỊCH
MÁY . . 35
2.1 Hướng tiếp cận dựa trên luật cố định 35
2.1.1 Cơ chế chuyển đổi của cách tiếp cận dựa trên luật cố định 35
2.1.2 Nhận xét 38
2.2 Hướng tiếp cận sử dụng case-frame . 39
2.2.1 Chuyển đổi các thông tin cấp độ câu 40
2.2.2 Chuyển đổi ngữ động từ 41
2.2.3 Sự chuyển đổi của định ngữ, bổ ngữ . 42
2.2.4 Tự điển chuyển đổi 43
2.2.5 Nhận xét 44
2.3 Hướng tiếp cận sử dụng TAG đồng bộ (STAG) 44
2.3.1 Văn phạm TAG . 45
2.3.2 TAG đồng bộ (STAG) 49
2.3.3 Nhận xét 52
2.4 Cách tiếp cận phân tích ngữ pháp song song 53
2.4.1 Ngữ pháp chuyển dịch đảo có thống kê (SITG) .53
2.4.2 Thuật toán phân tích cú pháp song song với SITG .55
2.4.3 Đánh nhãn cấu trúc . .58
2.4.4 Chuyển đổi cây cú pháp song song cho cả hai Ngôn ngữ .58
2.4.5 Nhận xét 59
2.5 Cách tiếp cận dựa trên cấu trúc vị từ - đối số .60
2.5.1 Rút trích các cấu trúc vị từ - đối số .60
2.5.2 Khối chuyển đổi cấu trúc 62
2.5.3 Nhận xét 64
2.6 Tổng kết chương 65
3MÔ HÌNH CHUYỂN ĐỔI CÂY CÚ PHÁP .6 6
3.1 Phương pháp học hướng lỗi dựa trên sự chuyển trạng thái 66
3.1.1 Ý tưởng .66
3.1.2 Thuật Toán học TBL của Eric Brill . .68
3.1.3 Nhận xét .70
3.2 Thuật Toán học nhanh FnTBL . .71
3.2.1 Hình thức hóa TBL .72
3.2.2 Thuật toán FnTBL . 73
3.3 Mô hình chuyển đổi cây cú pháp sử dụng thuật toán FnTBL .78
3.3.1 Mô hình áp dụng chuyển đổi cây cú pháp 80
3.3.2 Mô hình học luật chuyển đổi bằng phương pháp học FnTBL 82
3.4 Nâng cao khả năng mở rộng cho mô hình học 95
4.CÀI ĐẶT CHƯƠNG TRÌNH 97
4.1 Thiết kế .97
4.1.1 Mô hình tổng thể .97
4.2 Thuật toán gán nhãn cơ sở cho ngữ liệu 99
4.2.1 Thuật toán . .9 9
4.2.2 Xây dựng cây cú pháp . 99
4.2.3 Xây dựng cây quan hệ .103
4.2.4 Thuật toán chuyển đổi theo nguyên tắc 105
4.3 Học chuyển đổi cùng cấp . 106
4.3.1 Xây dựng ngữ liệu học . .106
4.3.2 Xây dựng khung luật cho bộ học chuyển đổi cùng cấp 108
4.3.3 Sơ đồ lớp của chương trình học 114
4.3.4 Xây dựng bộ luật (giai đoạn học cùng cấp) 114
4.3.5 Áp dụng bộ luật chuyển đổi cùng cấp . 116
4.4 Học chuyển đổi khác cấp . 117
4.4.1 Xây dựng ngữ liệu học . .117
4.4.2 Xây dựng khung luật cho quá trình học chuyển đổi khác cấp 120
4.4.3 Sơ đồ lớp của chương trình học 125
4.4.4 Xây dựng bộ luật (giai đoạn học khác cấp) 125
4.4.5 Áp dụng bộ luật chuyển đổi khác cấp .1 27
THỬ NGHIỆM – ĐÁNH GIÁ 128
5.1 Thử nghiệm .128
5.1.1 Độ đo sử dụng .128
5.1.2 Kết quả học rút luật chuyển đổi 129
5.1.3 Một số kết quả chuyển đổi 131
5.2 Đánh giá 134
5.2.1 Ngữ liệu thử nghiệm .134
5.2.2 Nhận xét 135
6 .TỔNG KẾT 13 7
6.1 Kết quả . .137
6.2 Hướng phát triển . .137
6.3 Kết luận .138
PHỤ LỤC 1 . .1 39
KHUNG LUẬT VÀ MỘT SỐ LUẬT CÙNG CẤP 139
PHỤ LỤC 2 . .1 41
KHUNG LUẬT VÀ MỘT SỐ LUẬT KHÁC CẤP 141
PHỤ LỤC 3 . .1 42
MỘT SỐ KẾT QUẢ DỊCH SỬ DỤNG KHỐI CHUYỂN ĐỔI CÂY CÚ
PHÁP VCLTRANSFER . 142
PHỤ LỤC 4 . .1 47
MỘT SỐ CÂU DỊCH CỦA HAI HỆ DỊCH .147
PHỤ LỤC 5 . .1 53
HỆ THỐNG NHÃN NGỮ PHÁP .153