Đồ Án Mạng nơron nhân tạo và ứng dụng

MỤC LỤC




CHƯƠNG I. Tổng quan về mạng nơron nhân tạo. 4
I.1. Giới thiệu chung. 4
I.1.1. Ý tưởng sinh học. 4
I.1.2. Mô hình nơron nhân tạo. 6
I.2. Mạng nơron nhân tạo. 6
I.2.1. Mô hình. 6
I.2.2. Phạm vi ứng dụng. 8
I.3. Đào tạo mạng nơron. 9
I.3.1. Phân loại các phương pháp đào tạo mạng nơron. 9
I.3.2. Chuẩn bị dữ liệu đào tạo. 10
I.3.3. Tiền xử lý và hậu xử lý. 11
I.4. Học quá mức và tổng quát hoá [4] 12
I.5. Tổng kết chương. 13

CHƯƠNG II. Mạng nơron lan truyền ngược sai số. 15
II.1. Tổng quan về mạng nơron lan truyền ngược sai số. 15
II.2. Các khái niệm liên quan đến giải thuật lan truyền ngược sai số [1] 16
II.2.1. Mặt lỗi 16
II.2.2. Phương pháp giảm gradient 17
II.2.3. Cực tiểu cục bộ. 18
II.2.4. Qui tắc chuỗi 18
II.3. Đạo hàm hàm lỗi [1] 19
II.3.1. Đạo hàm hàm lỗi theo trọng số nút xuất 20
II.3.2. Đạo hàm hàm lỗi theo trọng số nút ẩn. 21
II.4. Quy tắc học của giải thuật lan truyền ngược sai số [1] 23
II.4.1. Xác định hướng giảm dốc nhất. 23
II.4.2. Xác định lượng hiệu chỉnh trọng số. 25
II.5. Các yếu tố của quá trình học của mạng. 25
II.5.1. Khởi tạo các trọng số. 25
II.5.2. Hằng số học h 26
II.5.3. Các quy tắc học. 27
II.5.4. Tập mẫu học và dự báo. 28
II.5.5. Cấu trúc mạng. 29
II.5.6. Các hàm truyền. 29
II.6. Tổng kết chương. 30

CHƯƠNG III. Giải thuật di truyền. 31
III.1. Tổng quan về giải thuật di truyền. 31
III.1.1. Giới thiệu chung. 31
III.1.2. So sánh giải thuật di truyền với các giải thuật tìm kiếm khác. 32
III.2. Giải thuật di truyền đơn giản. 35
III.2.1. Tái tạo (reproduction) 35
III.2.2. Tạp lai (cross-over) 36
III.2.3. Đột biến (mutation) 37
III.2.4. Ví dụ. 38
III.3. Các giải thuật di truyền lai 39
III.4. Giải thuật di truyền dùng trong bài toán tối ưu hoá. 39
III.4.1. Biến đổi hàm mục tiêu thành hàm sức khoẻ. 39
III.4.2. Tỷ lệ hoá giá trị sức khoẻ. 40
III.4.3. Mã hoá. 41
III.4.4. Mã hoá đa tham số (multiparameter coding) 42
III.5. Giải thuật lai: di truyền-lan truyền ngược sai số. 42
III.5.1. Giải thuật di truyền trong việc học tham số. 43
III.5.2. Ghép nối với giải thuật lan truyền ngược sai số [2] 44
III.6. Tổng kết chương. 46

CHƯƠNG IV. Giới thiệu về JOONE 47
IV.1. Giới thiệu chung. 47
IV.2. Cấu trúc bên trong của JOONE[7] 48
IV.2.1. Khái niệm cơ bản. 48
IV.2.2. Quy tắc truyền tín hiệu. 48
IV.2.3. Các loại lớp nơron của JOONE 50
IV.2.4. Các loại khớp thần kinh của JOONE 51
IV.2.5. Monitor : điểm điều khiển trung tâm của mạng nơron. 52
IV.3. Tiến trình xử lý trong mạng nơron [7] 53
IV.4. Biểu đồ lớp của JOONE 55
IV.4.1. Lớp ảo Layer 56
IV.4.2. Lớp ảo Synapse. 58
IV.4.3. Các thành phần vào ra: liên kết với thế giới bên ngoài 58
IV.5. Đào tạo mạng nơron dùng phương pháp học có giám sát 59
IV.5.1. Lớp TeacherSynapse. 59
IV.5.2. Lớp TeachingSynapse. 60
IV.5.3. Chi tiết về kỹ thuật 61
IV.6. Tổng kết chương. 62

CHƯƠNG V. Phát triển JOONE 64
V.1. Nhận xét về JOONE và các hướng phát triển. 64
V.1.1. Các ưu điểm của JOONE 64
V.1.2. Những hạn chế của JOONE 65
V.1.3. Các hướng phát triển JOONE 66
V.2. Cung cấp thêm các phương pháp đào tạo mạng nơron. 67
V.2.1. Tuần tự của quá trình cập nhật trọng số. 67
V.2.2. Các quy tắc học của giải thuật lan truyền ngược sai số. 68
V.2.3. Biểu đồ lớp và chi tiết kỹ thuật 69
V.3. Cài đặt giải thuật lai di truyền – lan truyền ngược sai số. 72
V.3.1. Phân hệ 1: Giải thuật di truyền. 73
V.3.2. Phân hệ 2 và 3: Giải thuật lan truyền ngược sai số. 81
V.4. Chức năng kiểm tra song song. 84
V.4.1. Chuyển một phần tập học thành tập kiểm tra. 85
V.4.2. Tính lỗi kiểm tra và đưa lỗi kiểm tra ra ngoài 86
V.5. Chức năng phát hiện tình trạng học quá khít của mạng. 86
V.6. Bổ sung những form giao diện cho các chức năng mới 88
V.6.1. Form Control Panel 88
V.6.2. Form điều khiển giải thuật lai di truyền – lan truyền ngược sai số. 90
V.7. Tổng kết chương. 95
CHƯƠNG VI. Kiểm nghiệm lại các quy tắc học đã cài đặt. Ứng dụng JOONE cho bài toán tính năng lượng bức xạ mặt trời. 97
VI.1. Kiểm nghiệm lại các quy tắc học đã cài đặt bổ sung cho JOONE 97
VI.1.1. Chuẩn bị số liệu học và tiền xử lý. 98
VI.1.2. Tìm cấu trúc mạng phù hợp nhất với bài toàn. 99
VI.1.3. So sánh các quy tắc học của giải thuật lan truyền ngược. 100
VI.1.4. Kết luận. 105
VI.2. Ứng dụng JOONE cho bài toán tính năng lượng bức xạ mặt trời 106
VI.2.1. Giới thiệu bài toán tính năng lượng bức xạ mặt trời [12] 106
VI.2.2. Xây dựng mô hình sử dụng mạng nơron nhân tạo cho bài toán. 107
VI.2.3. Chuẩn bị số liệu học. 108
VI.2.4. Tìm mạng nơron phù hợp. 113
VI.2.5. Sử dụng mạng nơron đã chọn. 115
VI.3. Tổng kết chương. 116
CHƯƠNG VII. KẾT LUẬN 117
PHỤ LỤC A - Hướng dẫn cài đặt và sử dụng 119
PHỤ LỤC B - Bảng chữ viết tắt và thuật ngữ 120
PHỤ LỤC C – Danh sách các hình 121
PHỤ LỤC E – Danh sách các bảng 123
PHỤ LỤC F – Danh sách từ khoá. 124
Tài liệu tham khảo 126

Tài liệu tham khảo


[1] Ts Nguyễn Đình Thúc – Trí tuệ nhân tạo - Mạng Nơron - Phương pháp và ứng dụng – NXB Giáo dục - 2000
[2] Trần Ngọc Hà – GVHD: Ts Nguyễn Thanh Thuỷ - Luận văn tốt nghiệp cao học ngành công nghệ thông tin: Tích hợp giải thuật di truyền với thủ thuật học của mạng nơron lan truyền ngược của sai số - 1998.
[3] Đoàn Văn Bình – GVHD: Ts Đàm Xuõn Hiệp, TS Nguyễn Thanh Thuỷ - Luận văn tốt nghiệp cao học ngành quản trị kinh doanh: Dự báo nhu cầu điện năng tỉnh Ninh Bình giai đoạn 2001 – 2010 - 2001.
[4] Trương Ánh Thu – Lê Thanh Nhật – GVHD: Ths Hoàng Đình Chiến - Luận văn tốt nghiệp đại học ngành điện tử viễn thông: Ứng dụng bộ cân bằng dùng mạng nơron nhân tạo triệt nhiễu giao thoa ký tự trong hệ thống GSM – 2001.
[5] Genetic algorithms – Computer basics and computer system – Textbook for Software Design and software development Engineers –Third Edition – JITEC.
[6] Paolo Marrone - JOONE Core Engine – Developer guide - www.joone.org- 2002
[7] Paolo Marrone - JOONE – Java Object Oriented Neural Engine – The Complete Guide - www.jooneworld.com - 2003.
[8] Jochen Frửhlich - Supervised by Prof. Jỹrgen Sauer- Neural network with Java - Fachhochschule Regensburg - Department of Computer Science - http://rfhs8012.fh-regensburg.de/~saj39122/jfroehl/diplom/e-index.html.
[9] William James - Backpropagator’s Review -http://gannoo.uce.ac.uk/bpr/bpr.html.
[10] Neural Nets by Kevin Gurney - Online Versions - Psychology Department. http://www.shef.ac.uk/psychology/gurney/notes/index.html.
[11] Warren S. Sarle - Neural Network FAQ – 2002. ftp://ftp.sas.com/pub/neural/FAQ.html
[12] Đỗ Trần Hải – Chuyên đề tiến sĩ về Năng lượng bức xạ mặt trời, 2004.
[13] Trần Tiến Dũng – Giáo trình Lý thuyết và bài tập Java – NXB Giáo dục -1999.