Luận Văn Nghiên cứu kỹ thuật khai phá dữ liệu và ứng dụng trong hệ thống bán sách trực tuyến

LỜI MỞ ĐẦU

Trong gần hai thập kỷ qua, các hệ thống cơ sở dữ liệu đã đem lại những lợi ích vô cùng to lớn cho nhân loại. Cùng với sự phát triển của công nghệ thông tin và ứng dụng của nó trong đời sống - kinh tế - xã hội, lượng dữ liệu thu thập được ngày càng nhiều theo thời gian, làm xuất hiện ngày càng nhiều các hệ thống cơ sở dữ liệu có kích thước lớn. Trong tình hình hiện nay, khi thông tin đang trở thành yếu tố quyết định trong kinh doanh thì vấn đề tìm ra các thông tin hữu ích trong các cơ sở dữ liệu khổng lồ ngày càng trở thành mục tiêu quan trọng của các doanh nghiệp và khai phá dữ liệu dần trở thành thành phần chính để thực thi nhiệm vụ khai phá tri thức.

Được đánh giá sẽ tạo ra cuộc cách mạng trong thế kỷ 21, khai phá dữ liệu sẽ ngày càng được ứng dụng phổ biến trong các lĩnh vực kinh tế, xã hội: ngân hàng, truyền thông, quảng cáo .
Trong quá trình nghiên cứu, học tập tại trường, được sự chỉ bảo và hướng dẫn trực tiếp của thầy Đỗ Trung Tuấn và thầy Đào Kiến Quốc, cũng như sự giúp đỡ, động viên của các thầy, cô giáo trong trường ĐH Công Nghệ - ĐHQGHN, chúng tôi đã quyết định làm khóa luận tốt nghiệp với đề tài “Nghiên cứu kỹ thuật khai phá dữ liệu và ứng dụng trong hệ thống bán sách trực tuyến”.
Khóa luận được chia thành 4 chương:
- Chương 1: Tổng quan về khai phá dữ liệu.
- Chương 2: Một số thuật toán KPDL.
- Chương 3: Áp dụng một số kỹ thuật KPDL vào hệ thống bán sách trực tuyến.
- Chương 4: Kết luận.

MỤC LỤC

LỜI MỞ ĐẦU 1
CHƯƠNG 1. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 2
1.1 Sự cần thiết của khai phá dữ liệu 2
1.1.1 Những nghiên cứu về thị trường của khai phá dữ liệu 2
1.1.2 Những nhu cầu về khai phá dữ liệu trong kinh doanh 2
1.1.3 Khai phá dữ liệu trong một số lĩnh vực quan trọng khác 3
1.2 Khái niệm về khai phá dữ liệu 3
1.2.1 Định nghĩa khai phá dữ liệu 3
1.2.2 Những nhóm bài toán của khai phá dữ liệu 5
1.2.3 Những lợi thế và thách thức của khai phá dữ liệu. 6
1.3 Các bước xây dựng một giải pháp về khai phá dữ liệu 8
1.3.1 Mô hình luồng dữ liệu 8
1.3.2 Vòng đời của một hệ thống khai phá dữ liệu 8
1.4 Kiến trúc của một hệ thống khai phá dữ liệu điển hình 12
1.5 Vấn đề bán sách và sự liên quan đến Data Mining 14
CHƯƠNG 2. MỘT SỐ THUẬT TOÁN KPDL .16
2.1 Giới thiệu 16
2.2 Luật kết hợp 16
2.2.1 Giới thiệu 16
2.2.2 Các khái niệm cơ bản 17
2.2.3 Thuật toán Apriori 19
2.2.4 Cải tiến hiệu quả của thuật toán Apriori. 23
2.2.5 Thuật toán khai phá các mẫu thường xuyên sử dụng FP-tree 29
2.2.6 Thuật toán kết hợp Microsoft 36
2.3 Cây quyết định 37
2.3.1 Giới thiệu 37
2.3.2 Cấu trúc của cây quyết định 37
2.3.3 Phương pháp xây dựng cây quyết định 39
2.3.4 Xây dựng cây quyết định 40
2.3.5 Chọn lọc cây quyết định 47
2.3.6 Thuật toán cây quyết định Microsoft 51
2.4 Thuật toán Microsoft Time Series 55
2.4.1 Giới thiệu 55
2.4.2 Giới thiệu về các nguyên lý của thuật toán Microsoft Time Series 56
CHƯƠNG 3. ÁP DỤNG MỘT SỐ KỸ THUẬT KHAI PHÁ
DỮ LIỆU VÀO HỆ THỐNG BÁN SÁCH TRỰC TUYẾN .62
3.1 Giới thiệu bài toán 62
3.1.1 Mục tiêu 62
3.1.2 Yêu cầu 62
3.2 Lựa chọn giải pháp 63
3.3 Tóm tắt phân tích và thiết kế 64
3.3.1 Mô hình quan hệ thực thể 65
3.3.2 Thiết kế CSDL vật lý với MSSQL Server 2005 66
3.3.3 Kiến trúc hệ thống 68
3.4 Giới thiệu một số kỹ thuật và công nghệ 69
3.4.1 Một số khái niệm cơ bản về mô hình khai phá dữ liệu 69
3.4.2 DMX 70
3.4.3 Lập trình khai phá dữ liệu MSSQL Server 2005 với .NET 2.0 72
3.4.4 Xây dựng mô hình khai phá dữ liệu trực quan với MSSQL Server 2005 74
3.4.5 CSDL thử nghiệm 86
3.4.6 Kết quả thử nghiệm 86
3.4.7 Nhận xét và đánh giá chung 95
CHƯƠNG 4. KẾT LUẬN .96
TÀI LIỆU THAM KHẢO 97
PHỤ LỤC .99