Tiến Sĩ Cải tiến quá trình học của một số mạng nơ-ron ghi nhớ

MỞ ĐẦU

Mạng nơ-ron nhân tạo (ANN - Artificial Neural Network) là tập hợp các đơn vị xử lý thông tin mô phỏng dựa trên hoạt động của hệ thống nơ-ron sinh học. Mỗi ANN có hai quá trình chính gồm quá trình học và quá trình xử lý. Trong quá trình học, ANN thực hiện học và lưu trữ thông tin các dữ liệu mẫu. Trong quá trình xử lý, ANN dùng thông tin học được từ quá trình học để đưa ra tín hiệu ra từ các tín hiệu vào mới. Do đó, chất lượng của quá trình học ảnh hưởng lớn đến chất lượng của quá trình xử lý. Nói cách khác, kết quả ra của quá trình học ảnh hưởng đến hiệu quả xử lý thông tin của mạng. Vì vậy, việc nâng cao chất lượng của quá trình học là hết sức cần thiết để đáp ứng được các yêu cầu xử lý ngày càng phức tạp của các ứng dụng thực. ANN thường lưu trữ các thông tin học được trong các trọng số kết nối giữa các nơ-ron. Do đó, quá trình học thực hiện cập nhật trọng số kết nối theo một quy tắc được gọi là luật học. Một số luật học điển hình gồm luật lỗi-sửa lỗi, luật Boltzmann, luật Hebb, và luật cạnh tranh. Do kết quả của quá trình học đóng vai trò quyết định đến chất lượng xử lý của ANN nên việc nâng cao chất lượng của quá trình học sẽ làm tăng khả năng xử lý của ANN. Các ANN có thể chia thành hai nhóm dựa vào mục đích: các ANN phục hồi các mẫu hoàn chỉnh từ các mẫu bị hỏng hóc, và các ANN thực hiện phân loại. Lớp con các ANN thực hiện ghi nhớ các mẫu hoàn chỉnh để có thể nhớ lại các mẫu này từ các mẫu vào hỏng hóc được gọi là ANN ghi nhớ. Với mong muốn nâng cao hiệu quả xử lý của các ANN ghi nhớ, tác giả đã chọn đề tài luận án với tiêu đề: ―Cải tiến quá trình học của một số mạng nơ-ron ghi nhớ ‖. Tác giả đã nghiên cứu ba mô hình lý thuyết điển hình và mới nhất trong số các ANN ghi nhớ gồm (i) Bộ nhớ liên kết hai chiều (BAM – Bidirectional Associative Memory), (ii) Bộ nhớ liên kết mờ (FAM – Fuzzy Associative Memory), và (iii) Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART – Fuzzy Adaptive Resonance Theory). Mục tiêu nghiên cứu của luận án là thực hiện cải tiến quá trình học để nâng cao chất lượng xử lý của ba mô hình trên.
Các nghiên cứu về BAM, FAM, Fuzzy ART đã được tác giả nghiên cứu sâu đặc biệt là quá trình học của mỗi mô hình. Tác giả nhận thấy ba mô hình này đã được phát triển với một số ưu điểm và được áp dụng cho hàng nghìn ứng dụng thực. Tuy nhiên, nếu thực hiện cải tiến thêm quá trình học thì sẽ nâng cao chất lượng xử lý của mỗi mô hình. Lý do đề xuất các cải tiến cho các mô hình gồm:
 Việc gắn trọng số cho các mẫu trong tập huấn luyện còn chưa hiệu quả. Với BAM học nhiều lần, có hai cách thể hiện gồm gắn trọng số cho các cặp mẫu hoặc học lặp đi lặp lại các cặp mẫu. Tuy nhiên, việc xác định trọng số cho mỗi cặp mẫu còn chưa cụ thể hoặc phải tốn nhiều thời gian điều chỉnh trọng số kết nối [54, 66, 67, 68, 69, 70, 76]. Đối với Fuzzy ART, véc tơ trọng số của các cụm được học để gần giống với các mẫu vào. Tuy nhiên, một số mẫu huấn luyện có thể không được lưu lại trong khi các mẫu này có thể chứa các thông tin quan trọng [8, 9, 38, 41, 61, 73].
 Luật học chưa học hiệu quả các mẫu huấn luyện. Do một số FAM dùng tỷ lệ giá trị tương ứng của mẫu vào và mẫu ra để lưu trữ nên nội dung của các mẫu chưa được quan tâm [58, 65, 71]. Ngược lại, một số FAM chỉ lưu mẫu vào hay mẫu ra nên việc lưu sự liên kết của cặp mẫu lại giảm [14, 40, 58]. Kết quả là mỗi mô hình chỉ thích hợp với một số tập mẫu nhất định nên khó thích hợp với một ứng dụng phải xử lý với các mẫu phức tạp.
Với mong muốn đóng góp một phần vào nâng cao chất lượng xử lý của ba mô hình trên, luận án của tác giả tập trung vào ba hướng sau:
1. Đề xuất cách xác định giá trị thích hợp cho trọng số của các cặp mẫu huấn luyện của BAM
2. Cải tiến luật học và tìm giá trị thích hợp cho tham số học của Fuzzy ART.
3. Cải tiến luật học để FAM học và lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết giữa các cặp mẫu.
Các kết quả của luận án gồm: 2 bài báo công bố ở Tạp chí quốc tế có chỉ số ISI [18, 27], 7 báo cáo được công bố trong kỷ yếu của các hội nghị quốc tế có phản biện (trong đó, 6 báo cáo được xuất bản bởi IEEE và Springer) [4, 5, 28, 29, 30, 31, 33], và 2 bài báo ở tạp chí trong nước [32, 34] .
Nội dung luận án được tổ chức thành 5 chương. Chương đầu giới thiệu các khái niệm cơ bản về ANN. Tiếp theo, cơ sở lý thuyết được trình bày trong Chương
2. Các đóng góp của luận án được trình bày trong ba chương tiếp theo. Ngoài ra, các phần mở đầu, mục lục, kết luận, tài liệu tham khảo cũng được viết ở phần đầu và cuối của luận án. Nội dung của từng chương được trình bày như sau:
Chương 1 trình bày các kiến thức quan trọng về ANN gồm nơ-ron sinh học, mô hình nơ-ron nhân tạo, mạng nơ-ron, các luật học, ưu-nhược điểm, và ứng dụng. Các kiến thức này giúp hiểu chủ đề nghiên cứu của luận án.
Chương 2 cung cấp các kiến thức cơ bản về các khái niệm, thao tác của logic mờ và toán học hình thái. Tiếp theo, mô hình và hoạt động của BAM, FAM, và Fuzzy ART được trình bày chi tiết hơn giúp phân biệt điểm mới trong các đề xuất cải tiến đối với từng mô hình.
Chương 3 đề xuất một thuật toán xác định trọng số thích hợp cho mỗi cặp mẫu huấn luyện của BAM học nhiều lần. BAM cải tiến được thử nghiệm với ứng dụng nhận dạng mẫu. Kết quả thực nghiệm cho thấy có khả năng nhớ lại được cải thiện hơn các BAM khác. Thuật toán học cải tiến giúp BAM học nhanh và linh động hơn nhưng vẫn đảm bảo về khả năng phục hồi mẫu.
Chương 4 thể hiện hai luật học và một thủ tục tìm giá trị thích hợp cho tham số tốc độ học của Fuzzy ART. Các thực nghiệm phân cụm trên 14 bộ dữ liệu chuẩn cho thấy Fuzzy ART với các luật học đề xuất nhớ lại các cụm tốt hơn. Trong chương, cả luật học và tham số mô hình đều được cải tiến để nâng cao chất lượng phân cụm Fuzzy ART.
Chương 5 trình bày luật học cho FAM. Các thử nghiệm với nhiệm vụ nhận dạng mẫu cho thấy FAM với luật học cải tiến nhớ lại tốt hơn các FAM khác. Luật học đề xuất đã giúp nâng cao khả năng phục hồi mẫu từ các mẫu vào có dạng nhiễu phức tạp.

MỤC LỤC
Lời cam đoan .2
Lời cảm ơn .3
MỤC LỤC .4
Danh mục các từ viết tắt 8
Danh mục các bảng 9
Danh mục các hình vẽ, đồ thị 11
Danh mục các thuật toán 13
Danh mục các định lý 13
MỞ ĐẦU .14
CHƯƠNG 1. MẠNG NƠ-RON NHÂN TẠO .17
1.1 Nơ-ron sinh học 17
1.2 Nơ-ron nhân tạo .18
1.3 Mạng nơ-ron nhân tạo 19
1.4 Các luật học của ANN 22
1.5 Ưu và nhược điểm của ANN 24
1.6 Ứng dụng của ANN .24
1.7 Kết luận chương .26
CHƯƠNG 2. MỘT SỐ MẠNG NƠ-RON GHI NHỚ .27
2.1 Logic mờ 27
2.1.1 Định nghĩa .27
2.1.2 Các phép toán với tập mờ 27
2.2 Toán học hình thái 28
2.2.1 Lưới đầy đủ 28
2.2.2 Các thao tác cơ bản với lưới đầy đủ 28
2.3 Mô hình AM .29
2.3.1 Khái niệm về AM 29
2.3.2 Hoạt động của AM 29
2.3.3 Một số đặc điểm của AM 30
2.4 Mô hình BAM 31
5
2.4.1 Mạng Hopfield .31
2.4 2 Khái niệm về BAM .33
2.4.3 Quá trình học của BAM 34
2.4.4 Quá trình nhớ lại của BAM .35
2.4.5 Hàm năng lượng của BAM 35
2.4.6 Chiến lược học nhiều lần dùng số lần lặp tối thiểu để học một cặp mẫu 36
2.5 Mô hình FAM 36
2.5.1 Khái niệm FAM .36
2.5.2 Các kiểu nơ-ron trong FAM 37
2.5.3 Các FAM của Kosko và sự tổng quát hóa .38
2.6 Mô hình ART .39
2.6.1 Cấu trúc của ART 39
2.6.2 Các bước hoạt động chính của ART 40
2.6.3 Họ các mô hình của ART 41
2.7 Mô hình Fuzzy ART 41
2.7.1 So sánh với ART .41
2.7.2 Thuật toán Fuzzy ART 42
2.7.3 Fuzzy ART với mã hóa đầy đủ 43
2.7.3 Thước đo chất lượng phân cụm .44
2.8 Kết luận chương .44
CHƯƠNG 3. THUẬT TOÁN HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT HAI CHIỀU
45
3.1 Giới thiệu chung .45
3.2 Các nghiên cứu liên quan .45
3.2.1 Các mô hình lý thuyết 45
3.2.2 Các cách thức học 47
3.2.3 Quá trình học nhiều lần của một số BAM .47
3.3 Lý do đề xuất thuật toán học mới .49
3.4 Thuật toán học mới cho BAM 50
3.4.1 Ý tưởng 50
3.4.2 Phân tích mối quan hệ giữa MNTP và hàm năng lượng .51
3.4.3 Nội dung thuật toán học mới .52
3.5 Kết quả thực nghiệm 55
6
3.5.1 Thử nghiệm với nhận dạng vân tay .55
3.5.2 Thử nghiệm với nhận dạng chữ viết tay 56
3.5.3 Thử nghiệm với các ứng dụng nhận dạng khác .57
2.6 Kết luận chương .58
CHƯƠNG 4. HAI LUẬT HỌC CẢI TIẾN CHO LÝ THUYẾT CỘNG HƯỞNG THÍCH
NGHI MỜ 60
4.1 Giới thiệu chung .60
4.2 Các nghiên cứu liên quan .60
4.2.1 Mô hình ART 60
4.2.2 Mô hình Fuzzy ART 61
4.2.3 Các luật học điển hình của ART và Fuzzy ART 64
4.3 Lý do đề xuất hai luật học 65
4.4 Hai luật học đề xuất cho Fuzzy ART .65
4.4.1 Ý tưởng 65
4.4.2 Nội dung của hai luật học 65
4.4.3 Ưu điểm của hai luật học .67
4.5 Kết quả thực nghiệm 68
4.5.1 Thử nghiệm 1: Dùng luật học thứ nhất 69
4.5.2 Thử nghiệm 2: Dùng luật học thứ hai 75
4.6 Kết luận chương .81
CHƯƠNG 5. LUẬT HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT MỜ 82
5.1 Giới thiệu chung .82
5.2 Các nghiên cứu liên quan .82
5.2.1 Các mô hình lý thuyết 82
5.2.2 Các biến thể của FAM .83
5.2.3 Một số mô hình FAM 84
5.3 Lý do đề xuất luật học cải tiến cho FAM .88
5.4 Luật học cải tiến .88
5.4.1 Ý tưởng 88
5.4.2 Mô hình FAM với luật học cải tiến .88
5.4.3 Định lý và hệ quả về khả năng nhớ lại hoàn hảo của FAM cải tiến 90
3.5 Kết quả thực nghiệm 91
3.5.1 Thử nghiệm với tập dữ liệu về các số 92
5.5.2 Thử nghiệm với tập dữ liệu của Corel .93
3.6 Kết luận chương .95
KẾT LUẬN 97
DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN
LUẬN ÁN 99
TÀI LIỆU THAM KHẢO .100