Thạc Sĩ Ứng dụng mạng nơron truyền thẳng trong dự báo dữ liệu

MỤC LỤC
MỞ ĐẦU 2
CHƯƠNG I: CÁC KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON . 4
1.1. Sơ lược về mạng nơron 4
1.1.1. Lịch sử phát triển 4
1.1.2. Ứng dụng 6
1.1.3. Căn nguyên sinh học . 6
1.2. Đơn vị xử lý 8
1.3. Hàm xử lý 9
1.3.1. Hàm kết hợp . 9
1.3.2. Hàm kích hoạt (hàm chuyển) . 9
1.4. Các hình trạng của mạng 12
1.4.1. Mạng truyền thẳng 12
1.4.2. Mạng hồi quy . 13
1.5. Mạng học . 13
1.5.1. Học có thầy 13
1.5.2. Học không có thầy 14
1.6. Hàm mục tiêu 14
CHƯƠNG II. MẠNG NƠRON TRUYỀN THẲNG VÀ THUẬT TOÁN LAN TRUYỀN NGƯỢC 16
2.1. Kiến trúc cơ bản 16
2.1.1. Mạng truyền thẳng 16
2.1.2. Mạng hồi quy . 18
2.2. Khả năng thể hiện 19
2.3. Vấn đề thiết kế cấu trúc mạng . 19
2.3.1. Số lớp ẩn . 19
2.3.2. Số đơn vị trong lớp ẩn 20
2.4. Thuật toán lan truyền ngược (Back-Propagation) . 21
2.4.1. Mô tả thuật toán 22
2.4.2. Sử dụng thuật toán lan truyền ngược 27
2.4.3. Một số biến thể của thuật toán lan truyền ngược . 31
2.4.4. Nhận xét . 36
2.5. Các thuật toán tối ưu khác . 38
2.5.1. Thuật toán giả luyện kim (Simulated annealing) 38
2.5.2. Thuật giải di truyền (Genetic Algorithm) 39
CHƯƠNG III. ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG TRONG DỰ BÁO DỮ LIỆU .41
3.1. Sơ lược về lĩnh vực dự báo dữ liệu . 41
3.2. Thu thập, phân tích và xử lý dữ liệu . 42
3.2.1. Kiểu của các biến . 43
3.2.2. Thu thập dữ liệu 44
3.2.3. Phân tích dữ liệu 45
3.2.4. Xử lý dữ liệu 46
3.2.5. Tổng hợp 48
3.3. Chương trình dự báo dữ liệu . 48
3.3.1. Các bước chính trong quá trình thiết kế và xây dựng 48
3.3.2. Xây dựng chương trình 54
3.3.3. Chương trình dự báo dữ liệu 69
3.4. Một số nhận xét 75
KẾT LUẬN 77
TÀI LIỆU THAM KHẢO . 79


-2-
MỞ ĐẦU
\ [
Cùng với sự phát triển của mô hình kho dữ liệu (Dataware house), ở Việt nam ngày càng
có nhiều kho dữ liệu với lượng dữ liệu rất lớn. Để khai thác có hiệu quả những dữ liệu
khổng lồ này, đã có nhiều công cụ được xây dựng để thỏa mãn nhu cầu khai thác dữ liệu
mức cao, chẳng hạn như công cụ khai thác dữ liệu Oracle Discoverer của hãng Oracle.
Công cụ này được sử dụng như một bộ phân tích dữ liệu đa năng theo nhiều chiều dữ liệu,
đặc biệt theo thời gian. Hay là việc xây dựng các hệ chuyên gia, các hệ thống dựa trên một
cơ sở tri thức của các chuyên gia, để có thể dự báo được khuynh hướng phát triển của dữ
liệu, thực hiện các phân tích trên các dữ liệu của tổ chức. Mặc dù các công cụ, các hệ thống
trên hoàn toàn có thể thực hiện được phần lớn các công việc nêu trên, chúng vẫn yêu cầu
một độ chính xác, đầy đủ nhất định về mặt dữ liệu để có thể đưa ra được các câu trả lời
chính xác.
Trong khi đó, các ứng dụng của mạng nơron truyền thẳng được xây dựng dựa trên các
nhân tố ảnh hưởng đến sự thay đổi của dữ liệu đã được thực tiễn chứng minh là khá mạnh
và hiệu quả trong các bài toán dự báo, phân tích dữ liệu. Chúng có thể được huấn luyện và
ánh xạ từ các dữ liệu vào tới các dữ liệu ra mà không yêu cầu các dữ liệu đó phải đầy đủ.
Trong số các loại mạng tương đối phổ biến thì các mạng neuron truyền thẳng nhiều lớp,
được huấn luyện bằng thuật toán lan truyền ngược được sử dụng nhiều nhất. Các mạng
nơron này có khả năng biểu diễn các ánh xạ phi tuyến giữa đầu vào và đầu ra, chúng được
coi như là các “bộ xấp xỉ đa năng”. Việc ứng dụng của loại mạng này chủ yếu là cho việc
phân tích, dự báo, phân loại các số liệu thực tế. Đặc biệt đối với việc dự báo khuynh hướng
thay đổi của các dữ liệu tác nghiệp trong các cơ quan, tổ chức kinh tế, xã hội, . Nếu có thể
dự báo được khuynh hướng thay đổi của dữ liệu với một độ tin cậy nhất định, các nhà lãnh
đạo có thể đưa ra được các quyết sách đúng đắn cho cơ quan, tổ chức của mình.
Luận văn này được thực hiện với mục đích tìm hiểu và làm sáng tỏ một số khía cạnh về
mạng nơron truyền thẳng nhiều lớp, thuật toán lan truyền ngược và ứng dụng chúng trong
giải quyết các bài toán trong lĩnh vực dự báo dữ liệu.
Tác giả xin chân thành cảm ơn sự giúp đỡ về mặt khoa học cũng như sự động viên của các
đồng nghiệp trong phòng Công nghệ phần mềm trong quản lý - Viện Công nghệ thông tin
trong suốt quá trình thực hiện luận văn. Đặc biệt, tác giả xin chân thành cảm ơn TS. Lê
Hải Khôi, người thầy đã giúp đỡ các ý kiến quý báu để tác giả có thể hoàn thành tốt luận
văn này.