Luận Văn Phân tích cú pháp tiếng Việt trong tin học

LỜI GIỚI THIỆU


Xử lý ngôn ngữ tự nhiên nói chung và phân tích cú pháp ngôn ngữ tự nhiên nói riêng là những vấn đề quan trọng của trí tuệ nhân tạo, được nhiều nhà khoa học trên thế giới quan tâm nghiên cứu trong suốt 50 năm qua. Các ứng dụng trong lĩnh vực này rất phong phú. Ta có thể điểm qua một số ứng dụng chính như dịch máy, kiểm tra và chữa lỗi văn bản, chuyển giao diện người – máy sang ngôn ngữ tự nhiên, nhận dạng chữ viết, thiết kế người máy có khả năng hiểu và nói được tiếng của con người


Bài toán phân tích cú pháp ngôn ngữ tự nhiên bằng máy tính là bài toán lớn và phức tạp. Với tiếng Việt - một ngôn ngữ rất phức tạp thì dường như bài toán này lại càng khó khăn hơn. Chúng ta đã có một số công trình nghiên cứu về xử lý tiếng Việt và đã đạt được một số thành công nhất định. Tuy nhiên, cho đến nay bài toán phân tích cú pháp tiếng Việt vẫn chưa được giải quyết triệt để. Một trong những lý do chính là vì chúng ta chưa nghiên cứu một cách có hệ thống ngữ pháp tiếng Việt và cơ sở lý thuyết về xây dựng những trình phân tích cú pháp cho tiếng Việt còn tương đối ít và chưa hoàn chỉnh.

Các mô hình văn phạm phi ngữ cảnh và mạng chuyển được sử dụng rộng rãi trong mô tả cú pháp không chỉ của các ngôn ngữ lập trình mà cả các ngôn ngữ tự nhiên. Trong khoá luận này, em sẽ tập trung nghiên cứu việc vận dụng các mô hình này cho bài toán cụ thể là phân tích cú pháp tiếng Việt. Ngôn ngữ Việt có nhiều điểm khác so với các ngôn ngữ phổ biến, đã được nghiên cứu nhiều như tiếng Anh hay tiếng Pháp. Do đó, chúng ta không thể áp dụng hoàn toàn những kết quả đã đạt được đối với các ngôn ngữ này vào tiếng Việt. Khoá luận trình bày các vấn đề sau:

ã Khái quát vấn đề phân tích văn bản

ã Vận dụng các mô hình văn phạm phi ngữ cảnh và mạng chuyển đệ quy để mô tả ngôn ngữ tự nhiên

ã Nghiên cứu các thuật toán phân tích đối với các văn phạm phi ngữ cảnh và các mạng chuyển

ã Nghiên cứu một cách hệ thống các đặc điểm của ngữ pháp tiếng Việt

ã Xây dựng một trình phân tích câu tiếng Anh đơn giản

ã Xây dựng một trình phân tích câu tiếng Việt đơn giản

ã Đánh giá kết quả đã đạt được và hướng phát triển


MỤC LỤC


LỜI NÓI ĐẦU 1

Danh mục hình .5

Danh mục bảng .5

Chương 1. Mở đầu .7

1.1. Tổng quan về vấn đề phân tích văn bản . 7

1.2. Bài toán phân tích cú pháp . 7

1.3. Nội dung khoá luận 8

Chương 2. Văn phạm phi ngữ cảnh .9

2.1. Văn phạm và ngôn ngữ sinh bởi văn phạm 9

2.2. Văn phạm phi ngữ cảnh . 10

2.3. Biểu diễn cấu trúc câu 11

2.4. Phân tích từ trên xuống 14

2.5. Phân tích từ dưới lên 15

2.6. Đánh giá hai phương pháp phân tích trên 20

2.7. Phương pháp phân tích tổng hợp . 21

Chương 3. Các mạng chuyển .27

3.1. Văn phạm và ôtômát 27

3.2. Các yếu tố cơ sở của mạng chuyển đệ quy 29

3.3. Tính thủ tục của các RTN 33

3.4. Phân tích từ trên xuống cho mạng chuyển đệ quy . 34

Chương 4. Xây dựng văn phạm tiếng Việt .37

4.1. Xây dựng tập từ loại tiếng Việt 37

4.2. Xây dựng văn phạm tiếng Việt 38

4.2.1. Danh ngữ 39

4.2.2. Động ngữ 41

4.2.3. Tính ngữ 44

4.2.4. Câu đơn hai thành phần .45

4.2.5. Văn phạm tiếng Việt .47

Chương 5. Cài đặt chương trình 49

5.1. Cấu trúc dữ liệu 49

5.2. Cài đặt thuật toán . 51

5.3. Thể hiện kết quả phân tích . 52

5.4. Đánh giá kết quả . 57

Phụ lục .58

Bài toán tách từ vựng tiếng Việt . 58

1. Đặt bài toán 58

2. Các bước giải quyết 58

3. Đánh giá kết quả 60

Tài liệu tham khảo 63


Tài liệu này gồm 63 trang