Luận Văn Nghiên cứu bài toán xác định collocation trong tiếng việt

Mục lục
Lời mở đầu . 1
Chương 1. TỔNG QUAN VỀ BÀI TOÁN XÁC ĐỊNH COLLOCATION . 3
1.1. Khái niệm collocation 3
1.1.1. Định nghĩa collocation . 3
1.1.2. Đặc trưng của collocation 4
1.2. Collocation trong các ứng dụng Xử lý ngôn ngữ tự nhiên 4
Chương 2. CÁC PHƯƠNG PHÁP XÁC ĐỊNH COLLOCATION . 6
2.1. Phương pháp Tần suất (Frequency) 7
2.2. Phương pháp Kỳ vọng và Phương sai (Mean & Variance) . 11
2.3. Kiểm thử Giả thuyết (Hypothesis testing) 16
2.3.1. Kiểm thử t (t test) . 17
2.3.2. Kiểm thử Giả thuyết để đo sự khác biệt giữa hai tập hợp (Hypothesis
testing of differences) . 19
2.4. Kiểm thử khi-bình phương (Pearson’s chi-square test) 21
2.5. Các tỉ lệ likelihood (Likelihood ratios) . 26
2.5.1. Tỉ lệ likelihood (Likelihood ratio) 26
2.5.2. Các tỉ lệ tần suất tương đối (Relative Frequency Ratios) 29
2.6. Thông tin tương hỗ MI (Mutual information) . 30
Chương 3. COLLOCATION TRONG TIẾNG VIỆT . 36
3.1. Đặc điểm từ vựng Tiếng Việt . 36
3.1.1. Đơn vị cấu tạo từ 36
3.1.2. Phương thức cấu tạo từ . 36
3.1.3. Biến thể của từ 37
3.1.4. Những quá trình diễn ra trong sự phát triển từ vựng Tiếng Việt 38
3.2. Khái niệm collocation trong Tiếng Việt . 40
3.3. Bài toán xác định collocation trong Tiếng Việt 41
Chương 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ 44
4.1. Dữ liệu thực nghiệm 44
4.1.1. Chuẩn bị dữ liệu . 44
4.1.2. Tiền xử lý dữ liệu . 44
4.2. Thiết kế thực nghiệm . 45
4.2.1. Phương pháp thực nghiệm 45
4.3. Kết quả thực nghiệm và đánh giá kết quả . 46
Kết luận 49
Tài liệu tham khảo 50
Tài liệu Tiếng Việt . 50
Tài liệu Tiếng Anh . 50
Phụ lục . 53
1. Bảng phân phối t 53
2. Bảng phân phối 54