Tiến Sĩ Về một phương pháp cải tiến thuật toán học của mạng nơ-ron cho bài toán có mặt lỗi đặc biệt trong nh

LUẬN ÁN TIẾN SỸ KỸ THUẬT
NĂM 2013

MỤC LỤC
MỞ ĐẦU . 7
CHƯƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON . . 12
1.1. Giới thiệu về mạng nơron và quá trình học của mạng nơron . 12
1.1.1. Mạng nơron và các phương pháp học . 12
1.1.2. Đánh giá các nhân tố của quá trình học . 13
1.1.2.1. Khởi tạo các trọng số 13
1.1.2.2. Bước học α 13
1.1.2.3. Hằng số quán tính 14
1.2. Nhận dạng hệ thống sử dụng mạng nơron 14
1.2.1. Nhận dạng hệ thống 14
1.2.2. Nhận dạng hệ thống sử dụng mạng nơron . 16
1.3. Mặt lỗi đặc biệt khi luyện mạng nơron 19
1.3.1. Mặt lỗi đặc biệt khi luyện mạng nơron . 19
1.3.2. Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt . 20
1.4. Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab 22
1.4.1. Ví dụ với mạng nơron có mặt lỗi bình thường 22
1.4.2. Ví dụ với mạng nơron có mặt lỗi đặc biệt 25
1.5. Tổng quan về tình hình nghiên cứu trong và ngoài nước 26
1.5.1. Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng 26
1.5.2. Các công trình trong và ngoài nước nghiên cứu về thuật toán học của mạng nơron . 31
1.5.3. Bàn luận 37
1.6. Kết luận chương 1 . 38
CHƯƠNG 2: THUẬT TOÁN VƯỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON . 40
2.1. Thuật toán vượt khe 40
2.1.1. Đặt vấn đề 40
2.1.2. Tính hội tụ và điều kiện tối ưu . 41
2.1.3. Thuật toán vượt khe 46
2.1.3.1. Giới thiệu . 47
2.1.3.2. Nguyên lý vượt khe 48

MỞ ĐẦU
Trong rất nhiều lĩnh vực như điều khiển, tự động hóa, công nghệ thông tin , nhận dạng được đối tượng là vấn đề mấu chốt quyết định sự thành công của bài toán. Phần lớn các đối tượng trong thực tế đều là phi tuyến với độ phi tuyến khác nhau. Mạng nơron có khả năng xấp xỉ các hàm phi tuyến một cách đầy đủ và chính xác, nó được sử dụng tốt cho các mô hình động học phi tuyến. Điều quan trọng là thuật lan truyền ngược tĩnh và động của mạng nơron được sử dụng để hiệu chỉnh các tham số trong quá trình nhận dạng. Cơ sở toán học của việc khẳng định rằng mạng nơron là công cụ xấp xỉ vạn năng các hàm số liên tục dựa trên các định lý Stone – Weierstrass và Kolmogorov[15]. Việc sử dụng định lý Stone – Weierstrass để chứng minh khả năng xấp xỉ của mạng noron đã được các tác giả Hornik et al., Funahashi, Cotter, Blum đưa ra từ năm 1989. Các mạng nơron thỏa mãn định lý Stone – Weierstrass có thể kể đến là mạng lượng giác, mạng hai lớp với hàm kích hoạt sigmoid, mạng hai lớp với hàm kích hoạt McCulloch – Pitts(MC - P) và mạng với hàm cơ sở xuyên tâm(RBF)[16], [17], [18], [19]. Việc sử dụng định lý Kolmogorov để biểu diễn chính xác hàm liên tục và đưa ra sơ đồ mạng nơron tương ứng đã được Hecht - Nielsen và Lorentz công bố[20], [21], [22]. Mạng nơron là một trong những công cụ nhận dạng tốt nhất vì các đặc trưng sau: Khả năng học từ kinh nghiệm (khả năng được huấn luyện), khả năng xử lý song song với tốc độ xử lý nhanh, khả năng học thích nghi, khả năng khái quát hoá cho các đầu vào không được huấn luyện, ví dụ dựa vào cách học mạng có thể sẽ tiên đoán đầu ra từ đầu vào không biết trước [23], [24].
Hiện nay, một công cụ phần mềm được ứng dụng rất hiệu quả trong các lĩnh vực về điều khiển, tự động hóa, công nghệ thông tin đó là Matlab. Khi sử dụng bộ công cụ Neural Network Toolbox, chúng ta có thể luyện mạng để nhận dạng được một số đối tượng tuyến tính và phi tuyến. Bộ công cụ cung cấp cho chúng ta một số phương pháp luyện mạng nơron, trong đó kỹ thuật lan truyền ngược được ứng dụng rộng rãi hơn cả. Ở đó chúng ta có thể lựa chọn các bước học khác nhau phục vụ cho quá trình luyện mạng như: Traingd (Basic gradient descent), Traingdm (Gradient descent with momentum), Traingdx (Adaptive learning rate), Trainbfg (BFGS quasi- Newton) . Một nhược điểm khi dùng mạng nơron là chưa có phương pháp luận chung khi thiết kế cấu trúc mạng cho các bài toán nhận dạng và điều khiển mà phải cần tới kiến thức của chuyên gia. Mặt khác khi xấp xỉ mạng nơron với một hệ phi tuyến sẽ khó khăn khi luyện mạng vì có thể không tìm được điểm tối ưu toàn cục . Vậy, tồn tại lớn nhất gặp phải là tìm nghiệm tối ưu toàn cục, đặc biệt áp dụng cho các bài toán lớn, các hệ thống điều khiển quá trình. Giải thuật di truyền (Genetic Algorithms-GA) được biết đến như một giải thuật tìm kiếm dựa trên học thuyết về chọn lọc tự nhiên và nó cho phép ta đạt được tới cực trị toàn cục. Thực ra, GA thuộc lớp các thuật toán xác suất, nhưng lại rất khác những thuật toán ngẫu nhiên vì chúng kết hợp các phần tử tìm kiếm trực tiếp và ngẫu nhiên. Khác biệt quan trọng giữa phương pháp tìm kiếm của GA và các phương pháp tìm kiếm khác là GA duy trì và xử lý một tập các lời giải (quần thể) - tất cả các phương pháp khác chỉ xử lý một điểm trong không gian tìm kiếm. Chính vì thế, GA mạnh hơn các phương pháp tìm kiếm hiện có rất nhiều. [25], [26]. Hiện nay, việc nghiên cứu các thuật toán tìm nghiệm tối ưu toàn cục khi luyện mạng nơron đã được một số tác giả nghiên cứu áp dụng [27], [28], [29]. Tuy nhiên khi sử dụng mạng nơron để xấp xỉ một số đối tượng phi tuyến mà mặt lỗi sinh ra có dạng lòng khe [28], việc huấn luyện mạng gặp rất nhiều khó khăn. Nội dung đề tài sẽ đi nghiên cứu một thuật toán tìm điểm tối ưu toàn cục trong quá trình luyện mạng nơron bằng thuật toán vượt khe có sự kết hợp với giải thuật di truyền. Mục tiêu - Đề xuất mô hình kết hợp thuật toán vượt khe và giải thuật di truyền để huấn luyện mạng nơron.
- Xây dựng bộ công cụ phần mềm để luyện mạng nơron cho một số bài toán có mặt lỗi đặc biệt, làm cơ sở bổ sung vào Neural Toolbox Matlab.
Nội dung chính
- Nghiên cứu lí thuyết về mạng nơron và quá trình học của mạng nơron.
- Nghiên cứu lí thuyết về thuật toán vượt khe và xây dựng thuật toán tính bước học vượt khe.
- Xây dựng thuật toán huấn luyện mạng nơron bằng kỹ thuật lan truyền ngược kết hợp với thuật toán vượt khe.
- Đề xuất thuật toán huấn luyện mạng nơron bằng kỹ thuật lan truyền ngược có sử dụng giải thuật di truyền kết hợp với thuật toán vượt khe.
- Viết và cài đặt chương trình huấn luyện mạng nơron trên C++.
- Viết và cài đặt chương trình huấn luyện mạng nơron trên Matlab.
Phương pháp nghiên cứu
Sử dụng cả nghiên cứu lý thuyết, thực nghiệm mô phỏng trên máy tính.
*. Nghiên cứu lý thuyết:
- Tập trung nghiên cứu vấn đề mạng nơron là gì và ứng dụng của mạng nơron trong nhận dạng. Nghiên cứu những khó khăn tồn tại khi luyện mạng nơron với mặt lỗi đặc biệt có dạng lòng khe.
- Nghiên cứu giải bài toán tối ưu tĩnh mà hàm mục tiêu có dạng đặc biệt
– dạng lòng khe. Với hàm mục tiêu này bằng các phương pháp thông thường, ví dụ như phương pháp gradient không tìm được cực tiểu, còn thuật toán vượt khe có thể vượt qua được lòng khe để đến điểm tối ưu.
- Nghiên cứu sự ảnh hưởng giá trị ban đầu khi giải bài toán tối ưu tĩnh bằng phương pháp số, đặc biệt khi hàm mục tiêu có dạng lòng khe. Giá trị ban đầu ảnh hưởng lớn tới tính hội tụ và thời gian tính nghiệm tối ưu.
- Nghiên cứu giải thuật di truyền, và ứng dụng của nó trong quá trình tìm nghiệm tối ưu toàn cục.
- Đề xuất mô hình kết hợp thuật toán vượt khe và giải thuật di truyền để luyện mạng nơron có mặt lỗi đặc biệt. Cơ sở toán học chính gồm lý thuyết về khả năng xấp xỉ vạn năng của mạng nơron với đối tượng phi tuyến có hàm số liên tục là dựa trên các định lý Stone – Weierstrass và Kolmogorov; khả năng tìm ra được vùng chứa cực trị toàn cục của giải thuật di truyền nhờ cơ chế tìm kiếm trải rộng, ngẫu nghiên và mang tính chọn lọc tự nhiên; khả năng tìm đến được cực trị toàn cục của thuật toán tối ưu vượt khe