Chuyên Đề Luận văn tốt nghiệp Nguyên cứu và xây dựng hệ thống quản lý và dự đoán xu thế giá chứng khoán dựa tr

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Tài liệu 57 trang
Định dạng file word và pdf

MỤC LỤC

TÓM TẮT .

MỤC LỤC

DANH MỤC HÌNH VẼ .

DANH MỤC BẢNG BIỂU

Chương 1. GIỚI THIỆU . 1

Chương 2. GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC . 2

2.1. Khai phá dữ liệu và phát hiện tri thức 2

2.2 Tại sao phải tiến hành khai phá dữ liệu? .4

2.3. Kiến trúc điển hình của một hệ khai phá dữ liệu 5

2.4. Các bài toán khai phá dữ liệu điển hình .6

2.5. Các ứng dụng điển hình của khai phá dữ liệu 8

2.6. Kết luận .8

Chương 3. CƠ SỞ LÝ THUYẾT CỦA MẠNG NORON CHO VẤN ĐỀ DỰ BÁO 9

3.1. Khái niệm về mạng noron .9

3.2. Mô hình của một noron nhân tạo và hàm truyền 9

3.2.1. Mô hình của một noron . 9

3.2.2. Hàm truyền . 12

3.3. Mô hình của mạng noron 14

3.3.1. Mạng tiến 14

3.3.2. Mạng hồi quy 16

3.4. Phương pháp học và thuật toán lan truyền ngược cho mạng .17

3.4.1. Cơ sở lý thuyết học của mạng . 17
3.4.2. Thuật toán lan truyền ngược (back – propagation) . 18

Chương 4. MẠNG NORON CHO QUÁ TRÌNH DỰ ĐOÁN . 23

4.1. Mô hình mạng noron cho việc dự báo 23

4.2. Các bước thiết kế mô hình 24

4.2.1. Chọn lựa các biến . 25

4.2.2. Thu thập dữ liệu . 25

4.2.3. Tiền xử lý dữ liệu . 25

4.2.4. Phân hoạch tập dữ liệu . 26

4.2.5. Xác định cấu trúc mạng 27

4.2.6. Xác định tiêu chuẩn đánh giá . 30

4.2.7. Huấn luyện mạng nơ ron 32

4.2.8. Triển khai . 33

4.3 Tổng kết .34

Chương 5. XÂY DỰNG CHƯƠNG TRÌNH VÀ . 35

ĐÁNH GIÁ . 35

5.1. Vài nét về các phần mềm nguồn mở được sử dụng 35

5.1.1. Weka . 35

5.1.2. Jstock 37

5.2. Mô hình kết hợp giữa hai gói phần mềm mã nguồn mở .38

5.2.1. Chuyển dữ liệu thời gian thực 39

5.2.2. Xác định mô hình phù hợp . 40

5.2.3. Chuyển kết quả cho stock hiển thị 43

5.3. Đánh giá với một số mô hình khác .43

5.3.1. Mô hình cây quyết định 44

5.3.2. Mô hình phân lớp xác suất ngây thơ naïve bayes 46
Chương 6. KẾT LUẬN . 49

TÀI LIỆU THAM KHẢO 50

TÓM TẮT

Bài toán dự báo tài chính ngày càng được nhiều người quan tâm trong bối cảnh phát
triển kinh tế xã hội ở Việt Nam hiện nay. Đầu tư vào thị trường chứng khoán đòi hỏi
nhiều kinh nghiệm và hiểu biết của các nhà đầu tư. Các kĩ thuật khai phá dữ liệu được áp
dụng nhằm dự báo sự lên xuống của thị trường là một gợi ý giúp các nhà đầu tư có thể ra
các quyết định giao dịch. Khóa luận này giới thiệu một kỹ thuật khai phá dữ liệu hiệu quả
được sử dụng rộng rãi trong nhiều lĩnh vực đó là mô hình mạng nơ ron và cách áp dụng
vào dữ liệu thời gian thực. Cấu trúc và hoạt động cũng như cách thiết kế mạng cho dữ liệu
thời gian thực áp dụng trong bài toán dự báo tài chính được trình bày chi tiết nhằm làm rõ
cách áp dụng mô hình vào bài toán thực tế.

Chương 1. GIỚI THIỆU
Trong những năm gần đây, người ta thường nhắc đến khai phá dữ liệu (datamining)
– khái niệm được dùng để tham chiếu đến quá trình phát hiện tri thức và khai phá dữ liệu
(KDD – Knowledge Discovery and Data mining) – như là một phương pháp xác định ra
tri thức từ một lượng dữ liệu khổng lồ. Sự phát triển của công nghệ thông tin và việc ứng
dụng công nghệ thông tin trong nhiều lĩnh vực của đời sống, kinh tế xã hội trong nhiều
năm qua cũng đồng nghĩa với lượng dữ liệu đã được các cơ quan thu thập và lưu trữ ngày
một tích luỹ nhiều lên. Hơn nữa thông tin thu thập được từ nhiều chiều khác nhau và gây
nhiễu cho nhau đã thực sự trở thành một vấn đề nan giải cho con người để xử lý lượng
thông tin lớn đang tăng lên từng ngày một. Với những lý do như vậy, các phương pháp
quản trị và khai thác cơ sở dữ liệu truyền thống ngày càng không đáp ứng được thực tế đã
làm phát triển một khuynh hướng kỹ thuật mới đó là Kỹ thuật phát hiện tri thức và khai
phá dữ liệu (KDD - Knowledge Discovery and Data Mining).
Có nhiều kỹ thuật để khai phá dữ liệu trong đó kỹ thuật dựa vào mạng Noron khá là
phổ biến [2]. Một trong những ứng dụng kinh điển của mạng Noron là lớp các bài toán dự
đoán vì mạng Noron ngoài khả năng dự đoán với độ chính xác cao nó còn có ưu điểm là
mềm dẻo và thích nghi cao với môi trường, rất thích hợp cho bài toán dự đoán với dữ liệu
thay đổi nhanh theo thời gian. Chính vì vậy, khóa luận sẽ sử dụng mạng Noron để dự
đoán xu thế của giá chứng khoán.
Các hệ thống chứng khoán thường là những hệ thống rất phức tạp vì vậy rất khó có
thể dự đoán được dữ liệu của nó. Nó phụ thuộc vào rất nhiều yếu tố trong đó có những
yếu tố không thể định lượng được như: tâm lý, sự mù quáng của nhà đầu tư . Mặc dù
vậy thị trường chứng khoán không phải là một quá trình ngẫu nhiên và nó có quy luật của
nó và có thể dự đoán được. Tìm ra được xu hướng của thị trường chứng khoán sẽ là chìa
khóa giúp cho quá trình hỗ trợ quyết định của nhà đầu tư.
Trước sự hấp dẫn của các ứng dụng của mạng noron, sự phát triển đi lên của thị
trường chứng khoán, cùng sự động viên khuyến khích của thầy hướng dẫn, tôi đã quyết
định thực hiện những nghiên cứu về mạng noron để dự báo xu thế thị trường chứng khoán
nhằm đưa ra những gợi ý cho nhà đầu tư. Do thời gian làm khóa luận có hạn nên tôi mới
chỉ xây dựng được các thành phần cơ bản nhất của phần mềm. Các tính năng nâng cao tôi
sẽ cố hoàn thiện sau này.
Chương 2. GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU
VÀ PHÁT HIỆN TRI THỨC


2.1. Khai phá dữ liệu và phát hiện tri thức


Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases – KDD)
(đôi khi còn được gọi là khai phá dữ liệu) là một quá trình không đơn giản nhằm nhận
dạng ra những mẫu có giá trị, mới, hữu ích tiềm năng và hiểu được trong dữ liệu. Đây là
lĩnh vực nghiên cứu và triển khai được phát triển rất nhanh chóng và có phạm vi rất rộng
lớn, lại được rất nhiều nhóm nghiên cứu tại nhiều trường đại học, viện nghiên cứu, công
ty ở nhiều quốc gia trên thế giới quan tâm, cho nên có rất nhiều cách tiếp cận khác nhau
đối với lĩnh vực phát hiện tri thức trong CSDL. Chính vì lý do đó các nhà khoa học trên
thế giới đã dùng nhiều thuật ngữ khác nhau, mà các thuật ngữ này được coi là mang cùng
nghĩa với KDD như chiết lọc tri thức (knowledge extraction), phát hiện thông tin
(information discovery), thu hoạch thông tin (information harvesting), khai quật dữ liệu
(data archaeology), xử lý mẫu dữ liệu (data pattern processing) . Hơn nữa, trong nhiều
trường hợp, hai khái niệm "Phát hiện tri thức trong cơ sở dữ liệu" và "khai phá dữ liệu"
còn được dùng thay thế nhau. Hai khái niệm khai phá dữ liệu và phát hiện tri thức trong
các CSDL thường cặp đôi với nhau [1].

Quá trình KDD thường bao gồm nhiều bước là:


Làm sạch dữ liệu (Data Cleaning): Khử nhiễu và các dữ liệu mâu thuẫn.
Tích hợp dữ liệu (Data Integration): Kết hợp nhiều nguồn dữ liệu khác
nhau.
Lựa chọn dữ liệu (Data Selection): Chắt lọc lấy những dữ liệu liên quan
đến nhiệm vụ phân tích sau này.
Biến đổi dữ liệu (Data Transformation): Biến đổi dữ liệu thu được về dạng
thích hợp cho quá trình khai phá.
Khai phá dữ liệu (Data Mining): Sử dụng những phương pháp thông minh
để khai thác dữ liệu nhằm thu được các mẫu mong muốn.
Đánh giá kết quả (Pattern Evaluation): Sử dụng các độ đo để đánh giá kết
quả thu được.

TÀI LIỆU THAM KHẢO

Tài liệu tham khảo tiếng việt


Hà Quang Thụy. Giáo trình khai phá dữ liệu web. Nhà xuất bản giáo dục, 2009, tr.
1 - 38
Ứng dụng mạng noron cho vấn đề nhận dạng tiếng nói. http://***************/chi-
tiet-tai-lieu/ung-dung-mang-neuron-cho-van-de-nhan-dang-tieng-noi-149-
trang/2227.html , tr. 1 - 49
Tài liệu tham khảo tiếng anh
Ben Krose, Patrick van der smagt. An introduction to neural networks. University
of Amsterdam, 1996, tr 1 – 47.
Luis Torgo (2003). Data Mining with R: learning by case studies. LIACC-FES,
University of Porto – Portugar.1 – 3, 79 – 110
Iebeling Kaastra, Milton Boyd (1995). Designing a neural network for forecasting
financial and economic time series. University of Manitoba – Canada.
Freeman J.A. and Skapura D.M. (1991). Neural Networks - Algorithms,
Applications and Programming Techniques. Addison Wesley, tr.89-124.
J.O. Katz. Developing neural network forecaster for trading. Technical Analysis of
Stocks and Commodities. April 1992. Tr 58-70
Ian H. Witten and Eibe Frank. Data mining – practical machine learning tools and
techniques. Morgan Kaufmann, 2005
http://www.docstoc.com/docs/21199408/Designing-a-neural-network-for-


forecasting-financial-time-series/
[10] http://www.cs.waikato.ac.nz/ml/weka/
[11] http://jstock.sourceforge.net/
[12] http://www.java.com/en/download/
[13] http://netbeans.org/