Luận Văn Khai phá dữ liệu

MỤC LỤC
NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN 1
LỜI NÓI ĐẦU 2
TÓM TẮT ĐỒ ÁN 4
SUMMARY OF THE PROJECT 5
DANH SÁCH HÌNH VẼ 9
ANH SÁCH BẢNG BIỂU 10
DANH SÁCH CÁC TỪ VIẾT TẮT 11
MỞ ĐẦU 12
Chương I: TỔNG QUAN VỀ KHAI PHÁI DỮ LIỆU 13
1.1. Đặt vấn đề. 13
1.2. Khai phá dữ liệu và phát hiện tri thức. 14
1.3. Quá trình phát hiện tri thức từ cơ sở dữ liệu. 14
1.3.1. Xác định bài toán. 15
1.3.2. Thu thập và tiền xử lý. 15
1.3.2.1. Gom dữ liệu. 16
1.3.2.2. Chọn lọc dữ liệu. 16
1.3.2.3. Làm sạch. 16
1.3.2.4. Làm giàu dữ liệu. 17
1.3.2.5. Mã hoá dữ liệu. 17
1.3.2.6. Đánh giá và trình diễn. 17
1.3.3 Khai phá dữ liệu. 18
1.3.4. Phát biểu và đánh giá kết quả. 18
1.3.5. Sử dụng tri thức đã phát hiện. 18
1.4. Khai phá dữ liệu có những lợi ích gì 18
1.5. Các kỹ thuật khai phá dữ liệu. 19
1.5.1. Kỹ thuật khai phá dữ liệu mô tả. 19
1.5.2. Kỹ thuật khai phá dữ liệu dự đoán. 19
1.6. Nhiêm vụ chính của khai phá dữ liệu. 19
1.6.1. Phân lớp (Classification). 20
1.6.2. Hồi quy (Regression). 20
1.6.3. Gom nhóm (Clustering). 20
1.6.4. Tổng hợp (Summarization). 20
1.6.5. Mô hình ràng buộc (Dependency modeling). 20
1.6.6. Dò tìm biến đổi và độ lệch (Change and Deviation Dectection). 21
1.7. Các phương pháp khai phá dữ liệu. 21
1.7.1. Các thành phần của giải thuật khai phá dữ liệu. 21
1.7.2. Một số phương pháp khai thác dữ liệu phổ biến. 22
1.7.2.1. Phương pháp quy nạp (Induction). 22
1.7.2.2. Cây quyết định và luật. 22
1.7.2.3. Phát hiện các luật kết hợp. 22
1.7.2.4. Mạng Neuron. 23
1.7.2.5. Giải thuật di truyền. 24
1.8. Ứng dụng của khai phá dữ liệu. 24
1.9. Một số thách thức đặt ra cho việc khai phá dữ liệu. 25
Chương II: TẬP PHỔ BIẾN VÀ LUẬT KẾT HỢP 27
2.1. Mở đầu. 27
2.2. Các khái niệm cơ bản. 27
2.2.1. Định nghĩa 2. 2.1: Ngữ cảnh khai phá dữ liệu. 27
2.2.2. Định nghĩa 2. 2. 2: Các kết nối Galois. 27
2.2.3. Định nghĩa 2.2.3: Độ hỗ trợ (Support). 27
2.2.4. Định nghĩa 2 2.4: Độ tin cậy ( Confidence). 28
2.2.5. Định nghĩa 2.2.5: Tập mặt hàng phổ biến. 29
2.2.6. Định nghĩa 2.2.6: Luật kết hợp. 29
2.3. Tìm tập phổ biến. 30
2.3.1. Một số khái niệm. 30
2.3.2. Thuật toán Apriori. 31
2.4. Tìm luật kết hợp. 36
2.4.1. Phát biểu bài toán khai phá luật kết hợp. 36
2.4.2. Phát triển giải pháp hiệu quả trong khai thác luật kết hợp. 38
2.5. Quy trình khai thác luật kết hợp. 40
2.6. Một số thuật toán khác. 41
2.6.1. Thuật toán khai phá song song cho luật kết hợp mờ. 41
2.6.2. Thuật toán FP-Growth. 42
Chương III: CÀI ĐẶT VÀ THỬ NGHIỆM THUẬT TOÁN TÌM TẬP PHỔ BIẾN VÀ LUẬT KẾT HỢP 52
3.1. Phát biểu bài toán. 52
3.2. Lựa chọn thuật toán để cài đặt phần mềm. 52
3.3. Yêu cầu khi cài đặt thuật toán. 52
3.4. Cơ sở dữ liệu. 53
3.4.1. Giao diện chính của cơ sở dữ liệu. 53
3.4.2. Bảng danh mục các Nhà cung cấp hàng hóa. 54
3.4.2. Bảng danh mục các Hàng Hoá. 55
3.4.4. Bảng danh mục các Khách Hàng. 56
3.4.5. Bảng danh mục các Hoá Đơn. 57
3.4.6. Bảng danh mục chi tiết Hoá Đơn. 58
3.4.7. Ghi XML. 59
3.5. Giao diện chính chương trình. 59
3.6. Kết nối dữ liệu. 60
3.7. Thêm dư liệu XML 60
3.8. Kết quả phân tích. 61
3.9. Kết quả lọc MinSup = 10. 61
3.10. Kết quả lọc MinCon = 40% . 62
KẾT LUẬN CHUNG 63
HƯỚNG PHÁT TRIỂN ĐỀ TÀI. 64
BẢNG ĐỐI CHIẾU THUẬT NGỮ VIỆT - ANH 65
TÀI LIỆU THAM KHẢO 65

DANH SÁCH HÌNH VẼ
Hình 1.1. Quá trình phát hiện tri thức từ cơ sở dữ liệu. 14
Hình 1.2. Quá trình phát hiện tri thức. 15
Hình 1.3: Mô hình lợi ích của khai phá dữ liệu. 19
Hình 1.4.Thể hiện sơ đồ khai phá dữ liệu bằng mạng Neunon. 24
Hình 2.5. Minh họa luật kết hợp không có tính tách. 30
Hình 3.1. Giao diện chính của cơ sở dữ liệu. 53
Hình 3.2. Danh mục nhà cung cấp. 54
Hình 3.3. Danh mục hàng hóa. 55
Hinh 3.4.Danh mục khách hàng. 56
Hình 3.5. Danh mục hóa đơn. 57
Hình 3.6. Danh mục chi tiết hóa đơn. 58
Hình 3.7. Ghi XML 59
Hình 3.8. Giao diện chính của chương trình. 59
Hình 3.9. Kết nối dữ liệu. 60
Hình 3.10. Thêm dư liệu XML 60
Hình 3.11. Kết quả phân tích. 61
Hình 3.12. Kết quả lọc độ phổ biến tối thiểu. 61
Hình 3.13. Kết quả lọc độ tin cậy. 62