Thạc Sĩ Lựa chọn tốc độ huấn luyện hợp lý khi sử dụng thuật toán lan truyền ngược giải bài toán dự báo

MỤC LỤC
LỜI CAM ĐOAN . i
LỜI CẢM ƠN . ii
MỤC LỤC iii
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT v
DANH MỤC HÌNH VẼ . vi
DANH MỤC BẢNG BIỂU viii
MỞ ĐẦU . 1
CHƯƠNG I: MẠNG NƠRON NHÂN TẠO . 4
1.1. Giới thiệu về mạng nơron nhân tạo .4
1.1.1. Khái niệm cơ bản .4
1.1.2. Quá trình phát triển mạng nơron 4
1.1.3. Mô hình mạng nơron .7
1.2. Các phương pháp học .14
1.2.1. Học có giám sát .14
1.2.2. Học không có giám sát 16
1.2.3. Học tăng cường 17
1.3. Kết luận chương 1 17
CHƯƠNG II: MẠNG NƠRON TRUYỀN THẲNG VÀ THUẬT
TOÁN LAN TRUYỀN NGƯỢC 18
2.1. Cấu trúc mạng nơron truyền thẳng 18
2.1.1. Mạng nơron truyền thẳng một lớp 18
2.1.2. Mạng nơron truyền thẳng nhiều lớp .22
2.2. Khả năng thể hiện của mạng .23
2.3. Thuật toán lan truyền ngược (Back – Propagation) .24
2.3.1. Mô tả thuật toán .28
2.3.2. Một số biến thể của thuật toán lan truyền ngược 31
2.3.3. Nhận xét 33
2.4. Kết luận chương 2 35 iv
CHƯƠNG III: CHƯƠNG TRÌNH THỬ NGHIỆM THUẬT TOÁN
LAN TRUYỀN NGƯỢC TRONG BÀI TOÁN DỰ BÁO THỜI TIẾT
36
3.1. Giới thiệu về bài toán dự báo 36
3.1.1. Giới thiệu .36
3.1.2. Các phương pháp giải bài toán dự báo thời tiết phổ biến .38
3.1.3. Quy trình thực hiện dự báo 39
3.2. Phân tích và đánh giá các trọng số của bài toán 42
3.2.1. Phân tích bài toán 42
3.2.2. Đánh giá các trong số của bài toán .46
3.3. Chương trình thử nghiệm 50
3.3.1. Mô hình mạng nơron của bài toán 50
3.3.2. Xây dựng chương trình dự báo thời tiết .51
3.4. Kết quả thử nghiệm 59
3.4.1. Thử nghiệm 1 59
3.4.2. Thử nghiệm 2 60
3.4.3. Thử nghiệm 3 62
3.4.4. Thử nghiệm 4 63
3.5. Kết luận chương 3 64
KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO 65
TÀI LIỆU THAM KHẢO 67
PHỤ LỤC 1


v
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

ANN Artificial Neural Network
MLP Multi Layer Perceptron
ADALINE ADAptive LINear Elements
MADALINE Multiple ADAptive LINear Elements
LMS Least-Mean-Squares
Perceptron Mạng nơron truyền thẳng một lớp










vi
DANH MỤC HÌNH VẼ


Hình 1.1 Cấu trúc của một nơron sinh học điển hình 8
Hình 1.2 Nơron nhân tạo 9
Hình 1.3 Hàm đồng nhất (Indentity function) .11
Hình 1.4 Hàm bước nhị phân (Binary step function) 12
Hình 1.5 Hàm Sigmoid .12
Hình 1.6 Hàm sigmoid lưỡng cực .13
Hình 1.7 Một cách phân loại mạng nơron .14
Hình 1.8 Sơ đồ học tham số có giám sát1 .16
Hình 1.9 Sơ đồ học không giám sát 16
Hình 1.10 Sơ đồ học tăng cường 17
Hình 2.1 Mạng truyền thẳng .18
Hình 2.2 Perceptron 19
Hình 2.3 Lớp vào và lớp ra của mạng noron .19
Hình 2.4 Mạng MLP tổng quát .22
Hình 2.5 Sơ đồ thuật toán lan truyền ngược 30
Hình 3.1 Quy trình dự báo 40
Hình 3.2 Kiến trúc hệ dự báo thời tiết 42
Hình 3.3 Đồ thị biểu diễn mức độ mưa .43
Hình 3.4 Đồ thị biểu diễn mức độ mây .44
Hình 3.5 Minh họa vấn đề cực tiểu địa phương 47 vii
Hình 3.6 Mô hình mạng nơron dùng trong bài toán dự báo thời tiết .50
Hình 3.7 Giao diện chương trình dự báo thời tiết .52
Hình 3.8 Giao diện thiết lập mạng noron 52
Hình 3.9 Giao diện huấn luyện mạng nơron .54
Hình 3.10 Giao diện dự báo thời tiết .55
Hình 3.11 Các biểu đồ so sánh dữ liệu dự báo và dữ liệu thực tế 58
viii
DANH MỤC BẢNG BIỂU

Bảng 3.1 Độ hội tụ với các tốc độ huấn luyện khác nhau 59
Bảng 3.2 Độ hội tụ của mạng với các giá trị trọng số khởi tạo khác nhau 60
Bảng 3.3 Độ hội tụ của mạng với các số nơron lớp ẩn khác nhau 62
Bảng 3.4 Đánh giá kết quả dự báo .64












1
MỞ ĐẦU
Trong quá trình phát triển con người luôn ước muốn biết trước về tương
lai. Họ đã thực hiện ước muốn này theo nhiều cách khác nhau bằng rất nhiều
cách có cả tính khoa học và không khoa học như: bói toán, tiên tri, các công cụ
dự báo Dù là cách này hay cách khác cũng đều thể hiện ham muốn của con
người là biết được những điều chưa xảy ra, hay những việc có thể xảy ra trong
tương lai. Chính vì thế, từ xa xưa dự báo đã đóng một vai trò cần thiết trong
cuộc sống của con người.
Mạng nơron nhân tạo là một mô hình tính toán dựa trên mô phỏng quá
trình tư duy, hay “học” của con người để giải quyết các vấn đề. Mạng Nơron
nhân tạo được ứng dụng rộng rãi trong nhiều lĩnh vực và đã thu được nhiều kết
quả khả quan như: nhận dạng mẫu, phân loại mẫu, nhận dạng tiếng nói, Với
khả năng xấp xỉ với độ chính xác tùy ý các hàm phi tuyến, và với khả năng
thích hợp cho các hệ thống mờ nên mạng nơron rất thích hợp cho bài toán dự
báo, đặc biệt là trong môi trường khí quyển. Trên thế giới, người đầu tiên thử
nghiệm phương pháp dự báo thời tiết số là Vilhelm Bjerknes vào năm 1904,
đến nay rất nhiều các công trình dự báo số đã được phát triển với kết quả có độ
chính xác rất cao, trong đó có cả những mô hính sử dụng hệ mờ nơron.
Mạng nơron đã và đang được áp dụng trong nhiều lĩnh vực trong đó có
khí tượng thủy văn từ nhiều năm trước và đã có nhiều kết quả cụ thể. Tháng 4
năm 2006, Ricardo A. Guarnieri [12] cùng đồng nghiệp đã ứng dụng mạng
nơron nhân tạo hiệu chỉnh dự báo tổng xạ của mô hình khí hậu khu vực Eta;
trước đó năm 2002, luận văn thạc sỹ của Bin Li [11] (Đại học Georgia, Hy Lạp)
đã ứng dụng mạng nơron nhân tạo là công cụ nội suy trường khí tượng về trạm
thay cho các phương pháp nội suy truyền thống, và nhiều công trình nghiên
cứu chuyên biệt về lĩnh vực nơron nhân tạo đáng chú ý khác như công trình của
Ajith Abraham [8], Chin-Teng Lin [9], Jacek M. Zurada [10], 2
Ở Việt Nam nhiều mô hình dự báo thời tiết số ứng dụng mạng noron
cũng đang được triển khai ứng dụng như các hệ cho dự báo giá chứng khoán,
phụ tải, tuy nhiên trong các ứng dụng vấn đề chọn tốc độ huấn luyện vẫn là
một vấn đề được các nhà khoa học quan tâm. Nếu chọn tốc độ huấn luyện quá
nhỏ, quá trình huấn luyện sẽ rất lâu và có khi chỉ đạt đến cực trị địa phương.
Nếu chọn tốc độ huấn luyện lớn, quá trình huấn luyện nhanh nhưng có khi
không hội tụ. Để nâng cao hiệu quả của các chương trình dự báo ứng dụng
mạng nơron, tôi chọn đề tài: “LỰA CHỌN TỐC ĐỘ HUẤN LUYỆN HỢP LÝ KHI SỬ
DỤNG THUẬT TOÁN LAN TRUYỀN NGƯỢC GIẢI BÀI TOÁN DỰ BÁO” nhằm
nghiên cứu cách tìm tốc độ huấn luyện mạng theo từng bước huấn luyện nhằm
tiêt kiệm thời gian huấn luyện và nâng cao chất lượng của các hệ thống dự báo
ứng dụng mạng nơron nhân tạo.
Bố cục của luận văn bao gồm các chương sau:
Luận văn được trình bày thành 3 phần bao gồm: phần mở đầu, phần nội
dung và phần kết luận
Phần mở đầu: Giới thiệu khái quát về đề tài, mục tiêu, ý nghĩa khoa học
và xã hội mang lại thông qua việc giải quyết các vấn đề được nêu trong đề tài.
Phần nội dung:
Chương 1: Mạng nơron nhân tạo: Giới thiệu về mạng nơron nhân tạo và
mô hình mạng nơron. Các phương pháp học trong mạng nơron nhân tạo.
Chương 2. Mạng nơron truyền thẳng và thuật toán lan truyền ngược:
Tìm hiểu cấu trúc mạng nơron truyền thẳng và thuật toán lan truyền ngược
Chương 3. Chương trình thử nghiệm thuật toán lan truyền ngược
trong bài toán dự báo thời tiết. Xây dựng chương trình dự báo thời tiết và thử
nghiệm huấn luyện mạng lan truyền ngược trong bài toán dự báo thời tiết với
các tốc độ huấn luyện khác nhau. 3
Phần kết luận: Trình bày kết quả mà luận văn đạt được và hướng phát triển
cho mô hình mà luận văn đã đề xuất.