Nghiên cứu, phát triển phương pháp lọc cộng tác dựa vào bộ nhớ

MỞ ĐẦU
1. Đặt vấn đề
Lọc thông tin (Information Filtering là lĩnh v c nghi n c u các uá trình lọc b nh ng thông tin không thích hợ và cung cấ thông tin thích hợ đ n với m i người d ng. Lọc thông tin được xem là hương há hiệu uả hạn ch tình trạng uá tải thông tin được quan tâm nhiều nhất hiện nay. Các hương há lọc thông tin đóng vai trò uan trọng đối với các thống thương mại điện tử, đặc biệt là hệ tư vấn (Recommender System .
Hệ tư vấn (Recommender System là hệ thống có khả năng t động hân tích, hân loại, l a chọn và cung cấ cho người d ng nh ng thông tin, hàng hóa hay dịch vụ mà họ uan tâm. Hệ tư vấn được xem như một bi n thể điển hình có vai trò uan trọng trong lọc thông tin. Nhiều hệ tư vấn đã được thương mại hóa và triển khai thành công, ti u biểu là hệ tư vấn của các hãng Amazon.com, Netflix.com, Procter & Gamble.
Hệ tư vấn được xây d ng d a tr n hai kỹ thuật lọc thông tin chính: Lọc theo nội dung (Content-Based Filtering và lọc cộng tác (Collaborative Filtering . Lọc theo nội dung khai thác nh ng khía cạnh li n uan đ n các đặc trưng nội dung thông tin sản hẩm người d ng đã từng sử dụng hay truy nhậ trong uá kh để tạo n n tư vấn. Lọc theo nội dung cho lại k t uả khá tốt tr n các dạng thông tin được biểu diễn bằng các đặc trưng nội dung, nhưng gặ hải khó khăn tr n các dạng thông tin đa hương tiện (hình ảnh, âm thanh, dịch vụ . Trái lại, lọc cộng tác khai thác nh ng khía cạnh li n uan đ n thói uen sử dụng sản hẩm của cộng đồng người d ng có c ng sở thích để tạo n n tư vấn. So với lọc theo nội dung, lọc cộng tác có một số ưu điểm như đơn giản trong cài đặt và có thể lọc được mọi loại thông tin hay hàng hoá mà không cần hải biểu diễn dưới dạng văn bản.
Lọc cộng tác cho hệ tư vấn được ti cận theo hai hương há chính: Lọc cộng tác d a vào bộ nhớ (Memory-Based Collaborative Filtering) và lọc cộng tác d a vào mô hình (Model-Based Collaborative Filtering . Điểm khác biệt uan trọng trong hai hương há ti cận là hương há xây d ng mô hình huấn luyện và mô hình d đoán. Lọc d a vào bộ nhớ ti n hành xây d ng đồng thời mô hình huấn luyện và mô hình d đoán. Ngược lại, lọc d a vào mô hình xây d ng mô hình huấn luyện và mô hình d đoán độc lậ nhau. So với lọc cộng tác d a vào mô hình, lọc cộng tác d a vào bộ nhớ được á dụng rộng rãi hơn do tính hiệu uả, đơn giản và có độ chính xác khá cao.
2
Lọc cộng tác d a vào bộ nhớ được th c hiện theo hai hương há chính: Lọc d a vào người d ng (User-Based Collaborative Filtering và lọc d a vào sản hẩm (Item-Based Collaborative Filtering . Hiệu uả của các hương há lọc d a vào bộ nhớ hụ thuộc vào độ đo tương t gi a các cặ người d ng hoặc sản hẩm. Trong uá trình nghi n c u và ng dụng, nhiều nghi n c u đã được đề xuất để cải thiện các độ đo tương t , đặc biệt trong trường hợ d liệu thưa. Mặc d đã có nhiều nghi n c u nhắm tới nội dung này, nhưng đây vẫn là nh ng vấn đề nghi n c u mở, có tính thời s và thu hút s ua tâm của cộng đồng nghi n c u.
Đề tài “Nghiên cứu, phát triển phương pháp lọc cộng tác dựa vào bộ nhớ” được th c hiện trong khuôn khổ luận văn thạc sĩ chuy n ngành “Truyền d liệu và mạng máy tính” nhằm gó hần giải uy t một số vấn đề còn tồn tại của lọc cộng tác d a vào bộ nhớ.
2. Mục tiêu của luận văn
Mục ti u của luận văn là nghi n c u á dụng, cải ti n hương há lọc cộng tác d a tr n bộ nhớ nhằm cải thiện độ chính xác k t uả d đoán cho các hệ tư vấn. Đặc biệt, nghi n c u tậ trung vào việc nâng cao k t uả d đoán nhu cầu người d ng trong trường hợ d liệu thưa.
3. Các đóng góp của luận văn
Đóng gó của luận văn là đề xuất một hương há tính toán m c độ tương t gi a các cặ người d ng hoặc sản hẩm d a vào đồ thị để nâng cao chất lượng d đoán cho các hệ tư vấn. Nh ng đóng gó cụ thể của luận văn bao gồm bao gồm:
- Mở rộng biểu diễn đồ thị của Huang [23] cho các hệ thống lọc cộng tác. Phương há biểu diễn h hợ với tất cả các bộ d liệu cho lọc cộng tác hiện tại.
- Đề xuất hương há tính toán m c độ tương t gi a các cặ người d ng d a vào hương há ước lượng trọng số các đường đi từ đỉnh người d ng đ n đỉnh người d ng. Đề xuất được á dụng cho hương há UserBased đạt k t uả tốt tr n các bộ d liệu thử nghiệm khác nhau.
- Đề xuất hương há tính toán m c độ tương t gi a các cặ sản hẩm d a vào hương há ước lượng trọng số các đường đi từ đỉnh sản hẩm đ n đỉnh sản hẩm. Đề xuất được á dụng cho hương há ItemBased đạt k t uả tốt tr n các bộ d liệu thử nghiệm khác nhau.
3
- Xây d ng được bộ d liệu thử nghiệm cho lọc cộng tác với 7682 người d ng và 3000 sản hẩm di động khác nhau.
- Xây d ng hệ tư vấn sản hẩm điện thoại di động. Hệ thống cho hé xem, đánh giá, gợi ý nh ng sản hẩm hợ với sở thích của m i người d ng.
4. Bố cục của luận văn
Luận văn được tổ ch c thành ba chương, trong đó :
Chương 1 : Giới thiệu tổng uan về lọc cộng tác d a vào bộ nhớ.
Nội dung chính của chương trình bày nh ng nghi n c u cơ bản về lọc cộng tác, các hương há lọc cộng tác, đi sâu trình bày về các hương há lọc cộng tác d a tr n bộ nhớ. Tr n cơ sở nh ng nghi n c u cơ bản, xác định rõ hướng nghi n c u của đề tài.
Chương 2 : Trình bày hương há lọc cộng tác d a tr n mô hình đồ thị, bao gồm : Phương há lọc d a tr n người d ng, hương há lọc d a tr n sản hẩm. Nội dung trình bày trong chương này được tổng hợ từ k t uả nghi n c u đã được trình bày tại hội nghị Quốc Gia lần th 6 về “Nghi n c u cơ bản và ng dụng công nghệ thông tin” tổ tr c tại Hu ngày 20-21/6/2013 [1].
Chương 3 : Trình bày thi t k và xây d ng hệ tư vấn sản hẩm điện thoại di động sử dụng hương há lọc cộng tác d a tr n mô hình đồ thị được đề xuất trong chương 2.