Tiến Sĩ Về một phương pháp cải tiến thuật toán học của mạng nơ ron cho bài toán có mặt lỗi đặc biệt trong nh

LUẬN ÁN TIẾN SĨ
NĂM 2013


MỤC LỤC
MỞ ĐẦU . 7
CHƯƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON . . 12
1.1. Giới thiệu về mạng nơron và quá trình học của mạng nơron . 12
1.1.1. Mạng nơron và các phương pháp học . 12
1.1.2. Đánh giá các nhân tố của quá trình học . 13
1.1.2.1. Khởi tạo các trọng số 13
1.1.2.2. Bước học α 13
1.1.2.3. Hằng số quán tính 14
1.2. Nhận dạng hệ thống sử dụng mạng nơron 14
1.2.1. Nhận dạng hệ thống 14
1.2.2. Nhận dạng hệ thống sử dụng mạng nơron . 16
1.3. Mặt lỗi đặc biệt khi luyện mạng nơron 19
1.3.1. Mặt lỗi đặc biệt khi luyện mạng nơron . 19
1.3.2. Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt . 20
1.4. Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab 22
1.4.1. Ví dụ với mạng nơron có mặt lỗi bình thường 22
1.4.2. Ví dụ với mạng nơron có mặt lỗi đặc biệt 25
1.5. Tổng quan về tình hình nghiên cứu trong và ngoài nước 26
1.5.1. Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng
26 1.5.2. Các công trình trong và ngoài nước nghiên cứu về thuật toán học của mạng nơron . 31
1.5.3. Bàn luận 37
1.6. Kết luận chương 1 . 38

CHƯƠNG 2: THUẬT TOÁN VƯỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON 40
2.1. Thuật toán vượt khe 40
2.1.1. Đặt vấn đề 40
2.1.2. Tính hội tụ và điều kiện tối ưu . 41
2.1.3. Thuật toán vượt khe 46
2.1.3.1. Giới thiệu . 47
2.1.3.2. Nguyên lý vượt khe 48

2.1.3.3. Xác định bước vượt khe . 51
2.1.3.4. Ví dụ 54
2.2 Ứng dụng thuật toán vượt khe trong quá trình luyện mạng nơron 56
2.3 Minh họa thuật toán 58
2.3.1. Công tác chuẩn bị 58
2.3.1.1. Điều chỉnh trọng số lớp ra 59
2.3.1.2. Điều chỉnh trọng số lớp ẩn . 60
2.3.2. Cấu trúc mạng . 62
2.3.3. Các thư viện và hàm mạng 64
2.3.3.1. Thư viện . 64
2.3.3.2. Hàm khởi tạo trọng số . 66
2.3.3.3. Thủ tục tính bước học vượt khe 67
2.3.3.4. Thủ tục huấn luyện mạng, HUANLUYENVUOTKHE() 69
2.3.4. Kết quả chạy chương trình và so sánh 69
2.3.4.1. Chạy chương trình . 69
2.3.4.2. So sánh các phương án 73
2.4. Kết luận chương 2 . 76

CHƯƠNG 3: ĐỀ XUẤT MÔ HÌNH KẾT HỢP THUẬT DI TRUYỀN VÀ THUẬT TOÁN VƯỢT KHE ĐỂ CẢI TIẾN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP CÓ MẶT LỖI ĐẶC BIỆT . . 77
3.1. Đặt vấn đề . 77
3.1.1. Khảo sát độ hội tụ của quá trình luyện mạng nơron bằng kỹ thuật lan truyền ngược nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau 77
3.1.2. Khảo sát độ hội tụ của quá trình luyện mạng nơron có mặt lỗi đặc biệt bằng kỹ thuật lan truyền ngược kết hợp thuật toán vượt khe với các bộ khởi tạo trọng số ban đầu khác nhau 80
3.2. Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vượt khe trong quá trình luyện mạng nơron 83
3.2.1. Đặt vấn đề . 83
3.2.2. Thuật toán . . 87
3.3. Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vượt khe trong quá trình luyện mạng nơron vào bài toán nhận dạng . 91
3.4. Kết luận chương 3 94
KẾT LUẬN CHUNG VÀ ĐỀ XUẤT HƯỚNG NGHIÊN CỨU 95

MỞ ĐẦU
Trong rất nhiều lĩnh vực như điều khiển, tự động hóa, công nghệ thông tin , nhận dạng được đối tượng là vấn đề mấu chốt quyết định sự thành công của bài toán. Phần lớn các đối tượng trong thực tế đều là phi tuyến với độ phi tuyến khác nhau. Mạng nơron có khả năng xấp xỉ các hàm phi tuyến một cách đầy đủ và chính xác, nó được sử dụng tốt cho các mô hình động học phi tuyến. Điều quan trọng là thuật lan truyền ngược tĩnh và động của mạng nơron được sử dụng để hiệu chỉnh các tham số trong quá trình nhận dạng. Cơ sở toán học của việc khẳng định rằng mạng nơron là công cụ xấp xỉ vạn năng các hàm số liên tục dựa trên các định lý Stone – Weierstrass và Kolmogorov[15]. Việc sử dụng định lý Stone – Weierstrass để chứng minh khả năng xấp xỉ của mạng noron đã được các tác giả Hornik et al., Funahashi, Cotter, Blum đưa ra từ năm 1989. Các mạng nơron thỏa mãn định lý Stone – Weierstrass có thể kể đến là mạng lượng giác, mạng hai lớp với hàm kích hoạt sigmoid, mạng hai lớp với hàm kích hoạt McCulloch – Pitts(MC - P) và mạng với hàm cơ sở xuyên tâm(RBF)[16], [17], [18], [19]. Việc sử dụng định lý Kolmogorov để biểu diễn chính xác hàm liên tục và đưa ra sơ đồ mạng nơron tương ứng đã được Hecht - Nielsen và Lorentz công bố[20], [21], [22]. Mạng nơron là một trong những công cụ nhận dạng tốt nhất vì các đặc trưng sau: Khả năng học từ kinh nghiệm (khả năng được huấn luyện), khả năng xử lý song song với tốc độ xử lý nhanh, khả năng học thích nghi, khả năng khái quát hoá cho các đầu vào không được huấn luyện, ví dụ dựa vào cách học mạng có thể sẽ tiên đoán đầu ra từ đầu vào không biết trước [23], [24].
Hiện nay, một công cụ phần mềm được ứng dụng rất hiệu quả trong các lĩnh vực về điều khiển, tự động hóa, công nghệ thông tin đó là Matlab. Khi sử dụng bộ công cụ Neural Network Toolbox, chúng ta có thể luyện mạng để nhận dạng được một số đối tượng tuyến tính và phi tuyến. Bộ công cụ cung cấp cho chúng ta một số phương pháp luyện mạng nơron, trong đó kỹ thuật lan truyền ngược được ứng dụng rộng rãi hơn cả. Ở đó chúng ta có thể lựa chọn các bước học khác nhau phục vụ cho quá trình luyện mạng như: Traingd (Basic gradient descent), Traingdm (Gradient descent with momentum), Traingdx (Adaptive learning rate), Trainbfg (BFGS quasi- Newton) . Một nhược điểm khi dùng mạng nơron là chưa có phương pháp luận chung khi thiết kế cấu trúc mạng cho các bài toán nhận dạng và điều khiển mà phải cần tới kiến thức của chuyên gia. Mặt khác khi xấp xỉ mạng nơron với một hệ phi tuyến sẽ khó khăn khi luyện mạng vì có thể không tìm được điểm tối ưu toàn cục . Vậy, tồn tại lớn nhất gặp phải là tìm nghiệm tối ưu toàn cục, đặc biệt áp dụng cho các bài toán lớn, các hệ thống điều khiển quá trình. Giải thuật di truyền (Genetic Algorithms-GA) được biết đến như một giải thuật tìm kiếm dựa trên học thuyết về chọn lọc tự nhiên và nó cho phép ta đạt được tới cực trị toàn cục. Thực ra, GA thuộc lớp các thuật toán xác suất, nhưng lại rất khác những thuật toán ngẫu nhiên vì chúng kết hợp các phần tử tìm kiếm trực tiếp và ngẫu nhiên. Khác biệt quan trọng giữa phương pháp tìm kiếm của GA và các phương pháp tìm kiếm khác là GA duy trì và xử lý một tập các lời giải (quần thể) - tất cả các phương pháp khác chỉ xử lý một điểm trong không gian tìm kiếm. Chính vì thế, GA mạnh hơn các phương pháp tìm kiếm hiện có rất nhiều. [25], [26]. Hiện nay, việc nghiên cứu các thuật toán tìm nghiệm tối ưu toàn cục khi luyện mạng nơron đã được một số tác giả nghiên cứu áp dụng [27], [28], [29]. Tuy nhiên khi sử dụng mạng nơron để xấp xỉ một số đối tượng phi tuyến mà mặt lỗi sinh ra có dạng lòng khe [28], việc huấn luyện mạng gặp rất nhiều khó khăn. Nội dung đề tài sẽ đi nghiên cứu một thuật toán tìm điểm tối ưu toàn cục trong quá trình luyện mạng nơron bằng thuật toán vượt khe có sự kết hợp với giải thuật di truyền. Mục tiêu - Đề xuất mô hình kết hợp thuật toán vượt khe và giải thuật di truyền để huấn luyện mạng nơron.

- Xây dựng bộ công cụ phần mềm để luyện mạng nơron cho một số bài toán có mặt lỗi đặc biệt, làm cơ sở bổ sung vào Neural Toolbox Matlab. Nội dung chính - Nghiên cứu lí thuyết về mạng nơron và quá trình học của mạng nơron. - Nghiên cứu lí thuyết về thuật toán vượt khe và xây dựng thuật toán tính bước học vượt khe. - Xây dựng thuật toán huấn luyện mạng nơron bằng kỹ thuật lan truyền ngược kết hợp với thuật toán vượt khe. - Đề xuất thuật toán huấn luyện mạng nơron bằng kỹ thuật lan truyền ngược có sử dụng giải thuật di truyền kết hợp với thuật toán vượt khe. - Viết và cài đặt chương trình huấn luyện mạng nơron trên C++. - Viết và cài đặt chương trình huấn luyện mạng nơron trên Matlab. Phương pháp nghiên cứu Sử dụng cả nghiên cứu lý thuyết, thực nghiệm mô phỏng trên máy tính.