Thạc Sĩ Nghiên cứu thuật toán tìm nghiệm tối ưu toàn cục trong quá trình luyện mạng nơ - ron - ứng dụng để n

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

MỤC LỤC

NHỮNG NGƯỜI THAM GIA THỰC HIỆN ĐỀ TÀI 1
ĐƠN VỊ PHỐI HỢP CHÍNH 1
MỤC LỤC 3
DANH MỤC BẢNG BIỂU 4
DANH MỤC CÁC CHỮ VIẾT TẮT . 6
THÔNG TIN KẾT QUẢ NGHIÊN CỨU 7
MỞ ĐẦU 11
CHƯƠNG 1 : GIỚI THIỆU VỀ VIỆC ỨNG DỤNG MẠNG NƠ-RON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN ĐỐI TƯỢNG ĐỘNG HỌC PHI TUYẾN . 13
1.1. Giới thiệu tóm tắt về mạng nơ-ron . 13
1.1.1. Mạng nơ-ron sinh học . 13
1.1.2. Mạng nơ-ron nhân tạo (Artificial Neural network - ANN) . 14
1.1.3. Cấu trúc mạng nơ-ron . 15
1.1.4. Huấn luyện mạng nơ-ron 17
1.2. Nhận dạng đối tượng động học phi tuyến sử dụng mạng nơ-ron . 19
1.2.1. Giới thiệu hệ động học phi tuyến 19
1.2.2. Nhận dạng hệ động học phi tuyến 20
1.2.3. Nhận dạng hệ thống sử dụng mạng nơ-ron . 22
1.2.3.1. Khả năng sử dụng mạng nơ-ron trong nhận dạng 22
1.2.3.2. Mô hình nhận dạng hệ thống sử dụng mạng nơ-ron 23
1.2.3.3. Nhận dạng hệ thống sử dụng mạng nơ-ron 26
1.3. Thiết kế bộ điều khiển nơ-ron theo mô hình mẫu 29
1.3.1. Hệ thống điều khiển theo mô hình mẫu . 29
1.3.2. Hệ thống điều khiển theo mô hình mẫu trên cơ sở mạng nơ-ron . 29
1.4. Kết luận chương 1 30
CHƯƠNG 2: NGHIÊN CỨU THUẬT TOÁN TÌM NGHIỆM TỐI ƯU TOÀN
CỤC TRONG QUÁ TRÌNH LUYỆN MẠNG NƠ-RON . 31
2.1. Lan truyền ngược . 31
2.1.1. Mặt chất lượng . 33
2.1.2. Tính hội tụ và điều kiện tối ưu 34
2.1.2.1. Tính hội tụ 34
2.1.2.2. Điều kiện tối ưu . 35
2.2 Thuật toán vượt khe . 38
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

2.2.1. Giới thiệu 40
2.2.2. Nguyên lý vượt khe 41
2.2.3. Xác định bước vượt khe . 44
2.3 Giải thuật di truyền GA . 48
2.4 Luyện mạng nơ-ron kết hợp thuật toán vượt khe và giải thuật di truyền 50
CHƯƠNG 3: ỨNG DỤNG THUẬT TOÁN VƯỢT KHE TRONG QUÁ TRÌNH
LUYỆN MẠNG NƠ-RON 52
3.1. Công tác chuẩn bị 52
3.1.1. Điều chỉnh trọng số lớp ra . 52
3.1.2. Điều chỉnh trọng số lớp ẩn 53
3.2. Ví dụ 1 . 55
3.2.1. Cấu trúc mạng 55
3.2.2. Các thư viện và hàm mạng . 73
3.2.2.1. Thư viện . 57
3.2.2.2. Hàm khởi tạo trọng số 58
3.2.2.3. Thủ tục tính bước học vượt khe . 59
3.2.2.4. Thủ tục huấn luyện mạng, HUANLUYENVUOTKHE() . 61
3.2.3. Kết quả chạy chương trình và so sánh 61
3.2.3.1. Chạy chương trình. 61
3.2.3.2. So sánh các phương án . 64
3.3. Ví dụ 2 . 66
3.3.1. Nhận dạng hệ thống động học phi tuyến 66
3.3.2. Mô hình toán học của hệ thống xử lý nước thải 66
3.3.3. Ứng dụng mạng nơ-ron để nhận dạng đối tượng 68
3.4. Ví dụ 3 70
3.4.1. Thiết kế bộ điều khiển nơ-ron theo mô hình mẫu 70
3.4.2. Mô hình mạng nơ-ron của bộ điều khiển . 71
3.5. Ví dụ 4 . 73
3.6. Kết luận chương 3 76
3.7. Hướng phát triển tiếp theo 76
PHỤ LỤC 1 . 77
PHỤ LỤC 2 . 92
PHỤ LỤC 3 . 96
TÀI LIỆU THAM KHẢO 98

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

DANH MỤC BẢNG BIỂU, HÌNH VẼ

Bảng 1.1: Các hàm cơ bản 1
Bảng 3.1. Các hàm kích hoạt (transfer function) tiêu biểu . 73
Bảng 3.2: Tập hồ sơ mẫu đầu vào {0 1 2 3 4 5 6 7 8 9} 81

Hình 1.1: Mạng nơ-ron đơn giản gồm 2 nơ-ron 13
Hình 1.2: Mô hình nơ-ron nhiều đầu vào 14
Hình 1.3: Mạng nơ-ron có đặc tính động học và tuyến tính . 16
Hình 1.4: Sơ đồ dùng để huấn luyện mạng 18
Hình 1.5: Điều khiển theo nguyên tắc phản hồi đầu ra . 20
Hình 1.6: Mô hình nhận dạng cơ bản . 24
Hình 1.7: Bổ sung thông tin đầu vào cho mạng 24
Hình 1.8: Mô hình mạng nơ-ron nhiều lớp 25
Hình 1.9: Mô hình nhận dạng song song . 27
Hình 1.10: Mô hình nhận dạng nối tiếp - song song 28
Hình 1.11. Nhận dạng hệ phi tuyến dùng mạng nơ-ron . 28
Hình 1.12: Sơ đồ hệ thống điều khiển mô hình mẫu 29
Hình 1.13: Sơ đồ hệ thống điều khiển mô hình mẫu sử dụng mạng nơ-ron 29
Hình 1.14: Sơ đồ hệ thống huấn luyện NN controller . 30
Hình 2.1: Mặt sai số dạng lòng khe . 33
Hình 2.2: Quỹ đạo dao động với sai số dạng lòng khe . 35
Hình 2.3: Hàm khe . 42
Hình 2.4: Xác định bước vượt khe v

. 44
Hình 2.5: Lưu đồ thuật toán tính bước vượt khe . 47
Hình 2.6: Bước lặp k = 1 . 48
Hình 2.7: Chu kỳ hoạt động của giải thuật di truyền 49
Hình 2.8: Sơ đồ thuật toán kết hợp giải thuật vượt khe và di truyền cho luyện mạng
MLP 50
Hình 3.1: Cấu trúc mạng nơ-ron . 56
Hình 3.2: Sơ đồ nhận dạng hệ thống xử lý nước thải bằng mạng nơ-ron . 66
Hình 3.3: Sơ đồ hệ thống xử lý nước thải 67
Hình 3.4 Tập mẫu vào ra của bể xử lý nước thải . 68
Hình 3.5: Đồ thì sai lệch giữa mô hình nơ-ron và mô hình đối tượng 69
Hình 3.6 Sơ đồ huấn luyện bộ điều khiển nơ-ron NN controller 70
Hình 3.7: Sơ đồ hệ thống điều khiển . 71
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

Hình 3.8: Hàm trọng lượng của mô hình mẫu . 71
Hình 3.9: Mô hình mẫu trong Simulink . 72
Hình 3.10: Đồ thì sai lệch giữa tín hiệu ra của đối tượng và mô hình mẫu 73
Hình 3.10: Hoạt động của mạng MLP thuần túy và MLP cải tiến 76
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

CÁC TỪ VIẾT TẮT
ADLINE ADAptive Linear Neural, mạng tuyến tính thích nghi đơn lớp
ANN Artificial Neural Network, mạng nơ-ron nhân tạo
BPTT BackPropagation-Through-Time, lan truyền ngược xuyên tâm
LDDN Layered Digital Dynamic Network, mạng nơ-ron động
LMS Least Mean Square, trung bình bình phương nhỏ nhất
NNs Neural NetworkS, mạng nơ-ron
RTRL Real-Time Recurrent Learning, thuật học hồi qui thời gian thực
SDBP Steepest Descent BackProbagation, thuật toán lan truyền ngược giảm
dốc nhất
OBP Optical BackProbagation, thuật toán lan truyền ngược “tốc độ ánh sáng”
VLBP Variable Learning rate BackProbagation algorithm, thuật toán lan truyền
ngược với tốc độ học thay đổi.
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

TÓM TẮT KẾT QUẢ NGHIÊN CỨU
ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ

Tên đề tài: Nghiên cứu thuật toán tìm nghiệm tối ưu toàn cục trong quá trình
luyện mạng nơ-ron - ứng dụng để nhận dạng, điều khiển đối tượng động học phi
tuyến.
Mã số: B2009 – TN 02 - 13
Chủ nhiệm đề tài: ThS. Nguyễn Thị Thanh Nga
E mail: [email protected];
Cơ quan chủ trì đề tài: Đại học Thái Nguyên;
Đơn vị phối hợp chính: Khoa Điện, Khoa Điện tử, Trường Đại học Kỹ thuật Công
nghiệp – Đại học Thái Nguyên;
Thời gian thực hiện: 24 tháng (Từ tháng 04/2009 đến tháng 04/2011)
1. Mục tiêu
- Đưa ra được thuật toán tìm nghiệm tối ưu toàn cục trong quá trình luyện mạng
nơ-ron.
- Áp dụng trong thực tế để điều khiển hệ thống xử lý nước thải, cánh tay robot hoặc
đối tượng phi tuyến khác trong công nghiệp.
2. Nội dung chính
- Nghiên cứu lí thuyết về mạng nơ-ron trong nhận dạng và điều khiển đối tượng
động học phi tuyến.
- Nghiên cứu lí thuyết về thuật toán vượt khe và xây dựng thuật toán tính bước
học vượt khe.
- Xây dựng thuật toán huấn luyện mạng nơ-ron kết hợp giữa thuật toán lan truyền
ngược và bước học vượt khe.
- Viết và cài đặt chương trình huấn luyện mạng nơ-ron trên C++ để giải bài toán
tối ưu tĩnh.
- Viết và cài đặt chương trình huấn luyện mạng nơ-ron trên Matlab để nhận dạng
và điều khiển đối tượng động học phi tuyến.
3. Kết quả chính đạt được
3.1. Sản phẩm khoa học
1. Cong Nguyen Huu, Dung Nguyen Tien, Nga Nguyen Thi Thanh; Research
and Development of an adaptive control system for extremal systems; The 2009
International Forum On Strategic Technologies (IFOST 2009); October 21 – 23, 2009
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

– Ho Chi Minh city, Vietnam; Session 5 - Renewable Energy and Energy
Conservation, page 235 - 238.
2. Cong Nguyen Huu, Nga Nguyen Thi Thanh, Huy Nguyen Phương; Research
on the application of genetic algorithm combined with the “cleft-overstep” algorithm
for improving learning process of MLP neural network with special error surface.;
The 7th International Conference on Natural Computation (ICNC'11) and the 8th
International Conference on Fuzzy Systems and Knowledge Discovery (FSKD'11),
2011.
3. Nguyễn Hữu Công, Nguyễn Thị Thanh Nga, Phạm Văn Hưng; Nghiên cứu
ứng dụng mạng hồi quy thời gian liên tục trong nhận dạng và điều khiển hệ thống
xử lý nước thải, Tạp chí khoa học công nghệ Đại học Thái Nguyên số 12 tập 74 năm
2010.
3.2. Sản phẩm đào tạo
1. Luận văn cao học (2):
- “Nghiên cứu ứng dụng mạng nơ-ron trong nhận dạng và điều khiển đối tượng
động học phi tuyến”, 2010. Học viên: Phạm Văn Hưng. GVHD: PGS.TS: Nguyễn Hữu
Công.
- Luận văn cao học: “Ứng dụng mạng nơ-ron chẩn đoán sự cố trong máy biến áp
lực”, 2010. Học viên: Bùi Đức Cường. GVHD: PGS.TS: Nguyễn Hữu Công.
2. 01 đề tài nghiên cứu khoa học cấp trường:
“Nghiên cứu một phương pháp mới giải bài toán tối ưu tĩnh với hàm mục tiêu
có dạng đặc biệt”, 2011. Chủ nhiệm đề tài: KS. Đỗ Duy Cốp
3. Hướng dẫn 01 đề tài Nghiên cứu khoa học sinh viên.
“Ứng dụng thuật toán vượt khe để nhận dạng đối tượng điều khiển trong bài
toán điều khiển quá trình”. Sinh viên: Nguyễn Tiến Mạnh. GVHD: Nguyễn Thị
Thanh Nga.

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

SUMMARY RESEARCH RESULT OF SCIENTIFIC AND
TECHNOLOGICAL THEME IN MINISTRY LEVEL
Topic: Research the algorithm to find global optimal solution in process of training
neural network – Applying to identify, control kinematics nonlinear object.
Code: B2009 – TN02 - 13
Promotor: Master of science Nguyen Thi Thanh Nga
E mail: [email protected];
Administrative agency: Thai Nguyen University
Co-ordinate agency: The Faculty of Electrical Engineering + The Faculty of
Electronics Engineering, Thai Nguyen University of Technology
Time: 24 months (From 04/2009 to 04/2011)
4. Objects
- Offer the algorithm to find global optimal solution in process of training neural
network
- Apply in practice to control sewage treatment system, robot arm or other
nonlinear objects in industry
2. Content
- Theorical research about neural network in identifying and controlling
kinematic nonlinear object.
- Theorical research about cleft – overstep algorithm and build the algorithm to
calculate steps
- Build the algorithm to train neural network in combining between back
propagation and cleft - overstep
- Write and install the program to train neural network by C++ to solve static
optimal problem
- Write and install program to train neural network by Matlab to identify and
control kinematics nonlinear object.
3. Results:
3.1. Scientific products
1. Cong Nguyen Huu, Dung Nguyen Tien, Nga Nguyen Thi Thanh; Research
and Development of an adaptive control system for extremal systems; The 2009
International Forum On Strategic Technologies (IFOST 2009); October 21 – 23, 2009
– Ho Chi Minh city, Vietnam; Session 5 - Renewable Energy and Energy
Conservation, page 235 - 238.
2. Cong Nguyen Huu, Nga Nguyen Thi Thanh, Huy Nguyen Phương; Research
on the application of genetic algorithm combined with the “cleft-overstep” algorithm
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

for improving learning process of MLP neural network with special error surface.;
The 7th International Conference on Natural Computation (ICNC'11) and the 8th
International Conference on Fuzzy Systems and Knowledge Discovery (FSKD'11),
2011.
3. Nguyễn Hữu Công, Nguyễn Thị Thanh Nga, Phạm Văn Hưng; Nghiên cứu
ứng dụng mạng hồi quy thời gian liên tục trong nhận dạng và điều khiển hệ thống
xử lý nước thải, Tạp chí khoa học công nghệ Đại học Thái Nguyên số 12 tập 74 năm
2010.
3.2. Training products
1. Master‟s thesis (2)
- “Research and apply neural network to identify and control kinematics nonlinear
object”. 2010, Student Pham Van Hung, Supervisor: Ass.Professor. Doctor Nguyen
Huu Cong.
- Master thesis: “Applying neural network to diagnose faults in instrument
transformer”, 2010: Student: Bui Duc Cuong. Supervisor Ass.Professor Doctor
Nguyen Huu Cong
2. 01 scientific researching topic in university level
“Research the new method to solve static optimal problem with special
objective function”, 2011. Promotor: Do Duy Cop
3. Supervising 01 scientific researching topic in student level “Applying cleft –
overstep algorithm to identify object in process control problem”. Student:
Nguyen Tien Manh. Supervisor: Nguyen Thi Thanh Nga
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

MỞ ĐẦU
- Mạng nơ-ron có khả năng xử lý song song với tốc độ xử lý nhanh, có khả năng
học thích nghi, nó thích ứng trong quá trình tự chỉnh trong điều chỉnh tự động. Nó có
khả năng tổng quát hóa do đó có thể áp dụng để dự báo lỗi hệ thống tránh được những
sự cố đáng tiếc mà các hệ thống khác có thể gây ra. Tuy nhiên, một nhược điểm khi
dùng mạng nơ-ron là chưa có phương pháp luận chung khi thiết kế cấu trúc mạng cho
các bài toán nhận dạng và điều khiển mà phải cần tới kiến thức của chuyên gia. Mặt
khác khi xấp xỉ mạng nơ-ron với một hệ phi tuyến sẽ khó khăn khi luyện mạng vì có
thể không tìm được điểm tối ưu toàn cục . Vậy, tồn tại lớn nhất gặp phải là tìm
nghiệm tối ưu toàn cục, đặc biệt áp dụng cho các bài toán lớn, các hệ thống điều khiển
quá trình.
- Hiện nay, việc nghiên cứu kết hợp các thuật toán tìm nghiệm tối ưu toàn cục và
mạng nơ-ron đã được một số tác giả nghiên cứu áp dụng cho bài toán tối ưu tĩnh; tuy
nhiên trong lĩnh vực nhận dạng và điều khiển các đối tượng phi tuyến còn rất hạn chế.
- Nội dung đề tài sẽ đi nghiên cứu một thuật toán tìm điểm tối ưu toàn cục trong
quá trình luyện mạng nơ-ron thuật toán vượt khe có xét đến sự kết hợp với giải thuật di
truyền để ứng dụng trong nhận dạng và điều khiển, mở ra khả năng ứng dụng trong
thực tế.
Bản thuyết minh bao gồm 3 chương, mỗi chương nghiên cứu và giải quyết một số
vấn đề cơ bản sau:
Chương 1: Giới thiệu về mạng nơ-ron trong nhận dạng và điều khiển đối
tượng động học phi tuyến
Giới thiệu tổng quan về mạng nơ-ron: mạng sinh học, mạng nhân tạo, cấu trúc
mạng, huấn luyện mạng. Phương pháp nhận dạng và điều khiển đối tượng động học
phi tuyến sử dụng mạng nơ-ron.
Chương 2: Nghiên cứu thuật toán tìm nghiệm tối ưu toàn cục trong quá
trình luyện mạng nơ-ron
Giới thiệu một thuật toán, thuật toán vượt khe, để tính toán bước học vượt khe
nhằm cải tiến tốc độ hội tụ trong quá trình giải các bài toán tối ưu có mặt chất lượng
dạng lòng khe. Đồng thời đặt ra vấn đề kết hợp giữa giải thuật di truyền và thuật toán
vượt khe trong quá trình luyện mạng nơ-ron.

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

Chương 3: Ứng dụng của thuật toán vượt khe trong quá trình luyện mạng
nơ-ron.
Chương 3 sẽ đưa ra ví dụ được lập trình trong C++, trong Matlab để chứng
minh sự vượt trội của bước học vượt khe so với các bước học khác thường được sử
dụng trong Toolbox của Matlab; cũng như các ví dụ về nhận dạng và điều khiển đối
tượng động học phi tuyến sử dụng mạng nơ-ron.