Luận Văn Nghiên cứu xây dựng tiêu chuẩn bản rõ tiếng anh của ngôn ngữ tự nhiên

TÓM TẮT NỘI DUNG

Nhận dạng ngôn ngữ là một trong những nghiên cứu quan trọng được ứng dụng trong Internet và trong nhiều lĩnh vực xử lý ngôn ngữ tự nhiên khác như nhận dạng tiếng nói, nhận dạng chữ viết. Đặc biệt, xây dựng tiêu chuẩn bản rõ ứng dụng trong phân tích mật mã các bản mã khối ( cổ điển và hiện đại như: Des, 3-Des, AES ). Luận văn này mô tả một giải pháp hiệu quả nhận dạng ngôn ngữ Tiếng Anh và dễ dàng phát triển để nhận dạng các ngôn ngữ la tinh và phi la tinh . Khóa luận này đưa ra cái nhìn tổng quan về nhận dạng: các hướng tiếp cận nghiên cứu hiện nay. Trình bày về tổng quan bài toán nhận dạng ngôn ngữ tự nhiên và phát biểu dưới dạng của lý thuyết kiểm định giả thiết thống kê. Từ tổng quát bài toán, ta đưa ra bài toán thực tế đó là nhận dạng tiêu chuẩn bản rõ Tiếng Anh của ngôn ngữ tự nhiên (Nhận dạng bản rõ Tiếng Anh và dãy ngẫu nhiên trong tập mẫu). Đề giải quyết được vấn đề này chúng ta cần tìm hiểu một số nội dung: Cách biểu diễn của ngôn ngữ trong mô hình xích Markov và các tiêu chuẩn dùng trong phép kiểm định giả thiết thống kê. Cuối cùng là ứng dụng lý thuyết vào việc xây dựng kỹ thuật nhận dạng bản rõ Tiếng Anh của ngôn ngữ tự nhiên.



MỤC LỤC

Trang

LỜI CẢM ƠN i

TÓM TẮT NỘI DUNG ii

MỤC LỤC iii

MỞ ĐẦU 1

CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG 2

1.1. Tổng quan về nhận dạng 2

1.1.1. Không gian biểu diễn đối tượng, không gian diễn dịch 2

1.1.2. Mô hình và bản chất của quá trình nhận dạng 3

1.2. Nhận dạng dựa trên phân hoạch không gian. 7

1.2.1. Phân hoạch không gian 7

1.2.2. Hàm phân lớp hay hàm ra quyết định 7

1.2.3. Nhận dạng thống kê 9

1.2.4. Một số thuật toán nhận dạng tiêu biểu trong tự học 10

1.3. Nhận dạng theo cấu trúc 13

1.3.1. Biểu diễn định tính 13

1.3.2. Phương pháp ra quyết định dựa vào cấu trúc 13

1.4. Mạng nơron nhân tạo và nhận dạng theo mạng nơron 15

1.4.1. Bộ não và Nơron sinh học 15

1.4.2. Mô hình mạng nơron 19

1.5. Kết luận 21

CHƯƠNG 2: ỨNG DỤNG LÝ THUYẾT THỐNG KÊ TOÁN HỌC ĐỀ GIẢI BÀI TOÁN NHẬN DẠNG NGÔN NGỮ TỰ NHIÊN 22

2.1. Dạng tổng quát của bài toán 22

2.2. Một số khái niệm và thuật toán 23

2.2.1. Khoảng cách giữa hai đối tượng, hai tập hợp 23

2.2.2. Giải bài toán trường hợp cho trước số k 24

2.2.3. Giải bài toán trường hợp số k chưa cho biết trước 27

2.3. Mô hình xích Markov và phép kiểm định thống kê cho bài toán nhận dạng ngôn ngữ 31

2.3.1 Mô hình xích Markov 31

2.3.2 Phép kiểm định thống kê cho bài toán nhận dạng ngôn ngữ đã biết 33

CHƯƠNG 3. KỸ THUẬT NHẬN DẠNG BẢN RÕ TIẾNG ANH CỦA NGÔN NGỮ TỰ NHIÊN 35

3.1. Bài toán 35

3.2. Thuật toán 35

3.3.1. Phần off-line. 35

3.3.2. Phần on-line 41

3.3.3. Một số ví dụ 42

3.3.3. Một số ví dụ 43

CHƯƠNG 4. KẾT QỦA ĐẠT ĐƯỢC 47

4.1. Kết quả đạt được 47

4.2. Đánh giá thuật toán 47

4.3. Mã nguồn của chương trình 48

KẾT LUẬN 50

TÀI LIỆU THAM KHẢO 51



MỞ ĐẦU

Nhận dạng (pattern of Recognition) là một lý thuyết toán học có nhiều ứng dụng trong thực tiễn, như nhận dạng tiếng nói, nhận dạng hình ảnh, nhận dạng chữ ký, phân loại ngôn ngữ v.v.v. Thông qua Internet, Em được biết trên thế giới cũng như trong nước đã có nhiều nhà nghiên cứu vấn đề này và đã có những phần mềm áp dụng cho nhiều lĩnh vực khác nhau: phần mềm nhận dạng tiếng việt, phần mềm nhận dạng vân tay, phần mềm kiểm soát E-mail trên hệ thống Internets

Trong khuôn khổ bản luận văn, tôi tập trung nghiên cứu, giải quyết bài toán nhận dạng ngôn ngữ (Recognition of language) tự nhiên dựa vào phân hoạch không gian (hay nhận dạng theo thống kê toán học), trong đó một lớp ngôn ngữ tiêu biểu được nghiên cứu đó là Tiếng Anh. Việc nghiên cứu này là quan trọng và cần thiết; trong thực tiễn, kết quả của nghiên cứu có khả năng mở rộng và ứng dụng trong việc xây dựng các chương trình như kiểm soát E-mail hay các chương trình về phân tích bản mã Cả hai chương trình này đang rất cần và thiếu trong vấn đề an ninh quốc gia; trong khoa học, giúp ta nắm được kiến thức tốt và dễ dàng hơn trong việc chuyển sang nghiên cứu các vấn đề khác trong lĩnh vực nhận dạng.

ã Phương pháp nghiên cứu:

o Nghiên cứu tài liệu (Tài liệu kỹ thuật thống kê toán học các quá trình Markov).

o Các quy luật ngôn ngữ như là một quá trình ngẫu nhiên dừng, không hậu quả.

ã Nội dung nghiên cứu:

o Tính tần số bộ đôi móc xích của ngôn ngữ Tiếng Anh

o Nghiên cứu cơ sở của lý thuyết sác xuất – thống kê toán học

o Nghiên cứu, xây dựng tiêu chuẩn nhận dạng và lập trình thể hiện thuật toán trên ngôn ngữ C.