Đồ Án Phát triển một số phương pháp lọc thông tin cho hệ tư vấn

MỤC LỤC








PHẦN MỞ ĐẦU .


1. Tính cấp thiết của luận án . 11


2. Mục tiêu của luận án . 12


3. Các đóng góp của luận án . 13


4. Bố cục của luận án 15


CHƯƠNG 1. TỔNG QUAN VỀ LỌC THÔNG TIN CHO HỆ TƯ VẤN . 16


1.1. GIỚI THIỆU CHUNG 16


1.1.1. Kiến trúc tổng quát của hệ thống lọc thông tin 17


1.1.2. Lọc thông tin và truy vấn thông tin . 18


1.1.3. Học máy và lọc thông tin . 19


1.1.4. Lọc thông tin và các hệ tư vấn 21


1.2. PHƯƠNG PHÁP LỌC THEO NỘI DUNG 24


1.2.1. Bài toán lọc theo nội dung 25


1.2.2. Các phương pháp pháp lọc theo nội dung 25 1.2.2.1. Lọc nội dung dựa vào bộ nhớ 25 1.2.2.2. Lọc nội dung dựa vào mô hình 28
1.2.3. Những vấn đề tồn tại . 29


1.3. PHƯƠNG PHÁP LỌC CỘNG TÁC 30


1.3.1. Bài toán lọc cộng tác . 30


1.3.2. Các phương pháp lọc cộng tác . 32


1.3.2.1. Lọc cộng tác dựa trên bộ nhớ . 32


1.3.2.2. Lọc cộng tác dựa vào mô hình . 35


1.3.3. Những vấn đề tồn tại . 38


1.4. PHƯƠNG PHÁP LỌC KẾT HỢP 39


1.4.1. Bài toán lọc kết hợp 39


1.4.2. Các phương pháp lọc kết hợp . 40


1.4.3. Những vấn đề còn tồn tại 42


1.5. KẾT LUẬN . 42







CHƯƠNG 2. LỌC CỘNG TÁC BẰNG PHƯƠNG PHÁP HỌC ĐA NHIỆM


2.1. ĐẶT VẤN ĐỀ . 44


2.1.1. Vấn đề dữ liệu thưa của lọc cộng tác 44


2.1.2. Ảnh hưởng của vấn đề dữ liệu thưa 45


2.1.3. Các phương pháp hạn chế vấn đề dữ liệu thưa . 46


2.2. LỌC CỘNG TÁC BẰNG PHÂN LOẠI . 48


2.2.1. Phát biểu bài toán lọc cộng tác bằng phân loại 48


2.2.2. Phân loại bằng phương pháp Boosting . 51


2.3. PHÂN LOẠI VỚI CÁC ĐẶC TRƯNG CHUNG 56


2.3.1. Phương pháp học đa nhiệm . 56


2.3.2. Boosting đồng thời cho nhiều bài toán phân loại . 59 2.3.2.1. Xây dựng hàm mục tiêu 59 2.3.2.2. Xây dựng bộ phân loại yếu . 60 2.2.2.3. Độ phức tạp thuật toán 63
2.4. THỬ NGHIỆM VÀ KẾT QUẢ . 65


2.4.1. Phương pháp thử nghiệm . 65


2.4.2. Dữ liệu thử nghiệm 65


2.4.3. So sánh và đánh giá dựa vào giá trị MAE 67


2.4.4. Kết quả thử nghiệm 67


2.4.5. Phân tích kết quả 69


2.5. KẾT LUẬN . 72


CHƯƠNG 3. LỌC KẾT HỢP DỰA TRÊN MÔ HÌNH ĐỒ THỊ


3.1. VẤN ĐỀ LỌC KẾT HỢP . 73


3.2. LỌC CỘNG TÁC DỰA TRÊN MÔ HÌNH ĐỒ THỊ . 75


3.2.1. Phương pháp biểu diễn đồ thị 75


3.2.2. Phương pháp dự đoán trên đồ thị Người dùng- Sản phẩm 76 3.2.2.1. Tách đồ thị Người dùng- Sản phẩm thành các đồ thị con 78 3.2.2.2. Phương pháp dự đoán trên đồ thị G+ 80 3.2.2.3. Phương pháp dự đoán trên đồ thị G- 83







3.2.2.4. Phương pháp dự đoán theo tất cả đánh giá 85


3.3. KẾT HỢP LỌC CỘNG TÁC VÀ LỌC NỘI DUNG . 88


3.3.1. Biểu diễn đồ thị kết hợp . 88


3.3.2. Xây dựng liên kết người dùng và nội dung sản phẩm . 91


3.3.3. Phương pháp dự đoán 95 3.3.3.1. Lọc cộng tác dựa trên mô hình đồ thị kết hợp . 95 3.3.3.2. Lọc nội dung dựa trên mô hình đồ thị kết hợp 95 3.3.3.3. Phương pháp lọc kết hợp đơn giản . 96 3.3.3.4. Phương pháp kết hợp đề xuất . 96
3.3.4. Thuật toán lan truyền mạng . 102


3.4. THỬ NGHIỆM VÀ KẾT QUẢ . 103


3.4.1. Dữ liệu thử nghiệm 104


3.4.2. Phương pháp thử nghiệm . 105


3.4.3. So sánh và đánh giá dựa vào Precision, Recall và F-measure . 105


3.4.4. Phân tích kết quả 107


3.4.5. Trường hợp dữ liệu thưa 110


3.5. KẾT LUẬN . 111


KẾT LUẬN . 113


DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ . 116


TÀI LIỆU THAM KHẢO (TIẾNG VIỆT): 117


TÀI LIỆU THAM KHẢO (TIẾNG ANH): 117


PHỤ LỤC 1 XÂY DỰNG HỆ THỐNG TƯ VẤN LỰA CHỌN PHIM DỰA TRÊN MÔ HÌNH ĐỒ THỊ KẾT HỢP . 127