Đồ Án Tìm hiểu về xử lý ngôn ngữ tự nhiên và viết chương trình mô phỏng kiểm tra lỗi từ vựng trong việc sử

MỤC LỤC
Lời cảm ơn
LỜI MỞ ĐẦU . . 1
Chương 1 : GIỚI THIỆU VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN . 2
I. Tổng quan . . 2
II. Cơ sở khoa học . 3
II.1 Một số khái niệm cơ bản . . 3
II.2 Lý thuyết thông tin . . 4
II.3 Quy trình xử lý ngôn ngữ tự nhiên . 5
II.4 Một số thuật toán phân tích cú pháp . 9
III. Các ứng dụng của xử lý ngôn ngữ tự nhiên . 12
Chương 2: NGỮ PHÁP TIẾNG ANH . 15
I. Các thì trong tiếng anh: . 15
II: Cách sử dụng một số thì: . 15
1. Thì hiện tại đơn(The Simple Present Tense): . 15
2. Thì hiện tại tiếp diễn(The present continuous/progressive tense) . 16
3. Thì hiện tại hoàn thành(The Present Prefect Tense) . 17
4. Thì hiện tại hoàn thành tiếp diễn(The Present Prefect continuousTense) . 17
5. Thì quá khứ đơn(The Simple Past Tense) . 18
6. Thì quá khứ tiếp diễn (The Past continuous Tense) . 19
7. Thì tương lai đơn(The Simple Future Tense) . 20
Chương 3: GIỚI THIỆU NGÔN NGỮ VB 6.0 . 21
1. Giới thiệu . 21
2. Các thao tác cơ bản trong VB . 21
3. Lập trình VB căn bản . 24
3.1. Kiểu dữ liệu - biến và hằng . 24
3.2. Các cấu trúc lệnh VB . 28
3.3. Các hàm xử lý chuỗi trong Vb6 . 29
Chương 4: CHƯƠNG TRÌNH THỰC NGHIỆM . 32
I. Giới thiệu chương trình . 32
II. Phát biểu bài toán . 34
III. Tư tưởng, chiến lược . 34
IV. Bộ dữ liệu từ điển . 35
V. Chương trình. 36
VI. Hạn chế và hướng phát triển của đề tài. 63
KẾT LUẬN . 64
TÀI LIỆU THAM KHẢO . 65




Đồ án tốt nghiệp
LỜI MỞ ĐẦU
Xử lý ngôn ngữ tự nhiên (natural language processing - NLP) là một nhánh
của trí tuệ nhân tạo tập trung vào các ứng dụng trên ngôn ngữ của con người. Trong
trí tuệ nhân tạo thì xử lý ngôn ngữ tự nhiên là một trong những phần khó nhất vì nó
liên quan đến việc phải hiểu ý nghĩa ngôn ngữ-công cụ hoàn hảo nhất của tư duy và
giao tiếp.
Cùng vói sự phát triển của khoa học máy tính, việc nghiên cứu xử lý ngôn
ngữ tự nhiên hay cụ thể hơn là việc đưa xử lý tiếng nói và chữ viết vào máy tính đã
và đang được đầu tư mạnh mẽ trên khắp thế giới trong đó có Việt Nam. Tuy đã đạt
được nhiều thành tựu to lớn nhưng công việc này vẫn là ngành khoa học trắc trở và
tiêu tốn nhiều công sức.




Đồ án tốt nghiệp
Chương 1 : GIỚI THIỆU VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN
I. Tổng quan
Xử lý ngôn ngữ chính là xử lý thông tin khi đầu vào là “dữ liệu ngôn ngữ”
(dữ liệu cần biến đổi), tức dữ liệu “văn bản” hay “tiếng nói”. Các dữ liệu liên quan
đến ngôn ngữ viết (văn bản) và nói (tiếng nói) đang dần trở nên kiểu dữ liệu chính
con người có và lưu trữ dưới dạng điện tử. Đặc điểm chính của các kiểu dữ liệu này
là không có cấu trúc hoặc nửa cấu trúc và chúng không thể lưu trữ trong các khuôn
dạng cố định như các bảng biểu. Theo đánh giá của công ty Oracle, hiện có đến
80% dữ liệu không cấu trúc trong lượng dữ liệu của loài người đang có [Oracle
Text]. Với sự ra đời và phổ biến của Internet, của sách báo điện tử, của máy tính cá
nhân, của viễn thông, của thiết bị âm thanh, người người ai cũng có thể tạo ra dữ
liệu văn bản hay tiếng nói. Vấn đề là làm sao ta có thể xử lý chúng, tức chuyển
chúng từ các dạng ta chưa hiểu được thành các dạng ta có thể hiểu và giải thích
được, tức là ta có thể tìm ra thông tin, tri thức hữu ích cho mình.
Giả sử chúng ta có các câu sau trong các tiếng nước ngoài:
- “We meet here today to talk about Vietnamese language and speech processing.”
- “Aujourd'hui nous nous réunissons ici pour discuter le traitement de langue et de
parole vietnamienne.”
- “Mы встрачаемся здесь сегодня, чтобы говорить о вьетнамском языке и
обработке речи.”
Nếu có ai đó dịch, hoặc có một chương trình máy tính dịch (biến đổi) chúng
ra tiếng Việt, ta sẽ hiểu nghĩa các câu trên đều là: “Hôm nay chúng ta gặp nhau ở
đây để bàn về xử lý ngôn ngữ và tiếng nói tiếng Việt.”Nếu các câu này được lưu trữ
như các tệp tiếng Anh, Pháp, Nga và Việt như ta nhìn thấy ở trên, ta có các dữ liệu
“văn bản”. Nếu ai đó đọc các câu này, ghi âm lại, ta có thể chuyển chúng vào máy
tính dưới dạng các tệp các tín hiệu (signal) “tiếng nói”. Tín hiệu sóng âm của hai âm
tiết tiếng Việt có thể nhìn thấy như sau