Thạc Sĩ Phương pháp lọc thư rác dựa trên nội dung

Tóm tắt nội dung khóa luận

Khóa luận trình bày một số nội dung cơ bản nhất về thư rác (khái niệm, tác hại, các
hình thức phát tán thư rác .), tập trung định hướng tới các phương pháp lọc thư rác, đặc
biệt là phương pháp lọc dựa trên nội dung.
Trong các phương pháp lọc theo nội dung, khóa luận quan tâm mô tả, phân tích hệ
thống hệ thống Email Classification Using Examples (ECUE), một phương pháp lọc spam
dựa trên nội dung do Delany và Cunningham đề xuất năm 2004 [4]. Khóa luận mô tả kiến
trúc của CBR và Kiến trúc hệ thống ECUE. Hệ thống ECUE có khả năng giải quyết được
vấn đề concept drift, hệ thống được Xây dựng dựa trên phương pháp Case-Based
Reasoning (CBR) [1] với việc coi các email là các case, tập các case đã được phân lớp
spam, non-spam được sử dụng làm tập dữ liệu huấn luyện gọi là case-base. Để giải quyết
vấn đề concept drift ECUE có hai thành phần chính là: Case-base Editing và case-base
update policy [5]. Phần cuối cùng của khóa luận trình bày về kết quả thực nghiệm tiến
hành trên hệ thống lọc thư rác sử dụng thuật toán Bayes theo chương trình Spambayes.

Mở đầu

Một trong những dịch vụ mà Internet mang lại đó là dịch vụ thư điện tử, đó là
phương tiện giao tiếp rất đơn giản, tiện lợi, rẻ và hiệu quả giữa mọi người trong cộng
đồng sử dụng dịch vụ Internet. Tuy nhiên chính vì những lợi ích của dịch vụ thư Điện tử
mang lại mà số lượng thư trao đổi trên Internet ngày càng tăng, và một số không nhỏ
trong số đó là thư rác (spam). Thư rác thường được gửi với số lượng rất lớn, không được
người dùng mong đợi, thường với mục đích quảng cáo, đính kèm virus, gây phiền toái
khó chịu cho người dùng, làm giảm tốc độ truyền internet và tốc độ xử lý của email
server, gây thiệt hại rất lớn về kinh tế.
Đã có rất nhều phương pháp đưa ra để giảm số lượng thư rác. Như việc đưa ra các
luật lệ để hạn chế việc gửi thư rác, đưa ra các phương pháp kĩ thuật lọc thư rác như: lọc
dựa trên địa chỉ IP (whitelist, balacklist), lọc dựa trên danh tính người gửi, lọc dựa trên
chuỗi hỏi đáp, phương pháp lọc dựa trên mạng xã hội, và phương pháp lọc nội
dung Mỗi phương pháp đều có ưu nhược điểm riêng, không có phương pháp nào là
hoàn hảo vì vậy để có bộ lọc thư rác tốt cần phải kết hợp các phương pháp với nhau.
Trong các phương pháp lọc thư rác phương pháp lọc dựa trên nội dung hiện đang được
quan tâm nhiều, và được đánh giá là có triển vọng đưa ra kết quả cao. Phương pháp lọc
nội dung dựa trên việc phân tích nội dung của email để phân biệt spam email và nonspam
email.
Tuy đã có nhiều biện pháp ngăn chặn thư rác nhưng số lượng thư rác vẫn càng
ngày càng nhiều, tác hại gây ra càng lớn, cấu trúc nội dung của thư càng ngày càng thay
đổi tinh vi hơn để vượt qua các bộ lọc vì vậy cần có một hệ thống lọc có khả năng giải
quyết được vấn đề thư rác ngày càng tăng, nội dung, cấu trúc của thư ngày càng phức tạp
tinh vi hơn (concept drift).
Đã có nhiều hệ thống học máy lọc thư rác sử dụng các thuật toán Naïve bayes,
phân lớp dựa trên thống kê (Lewis and Ringuette 1994, Lewis 1998), Support Vector
Machines (Joachims 1998, Dumais et al. 1998) các phương pháp này đều cho kết quả lọc
khá tốt[17]. Tuy nhiên các mô hình này chưa giải quyết được vấn đề concept drift . Một
mô hình mới đã được Delany(2006) đề xuất, dựa trên hệ thống học máy sử dụng phương

pháp Case-Based Reasoning (CBR)(Riesbeck and Shank 1989)[17] có khả năng giải
quyết được concept drift. Phương pháp CBR, sử dụng các vấn đề trước đây đã được giải
quyết để đưa ra giải pháp cho vấn đề mới. Các vấn đề đã được giải quyết được lưu vào tập
dữ liệu dùng để huấn luyện gọi là case-base. Các case được biểu diễn dưới dạng véc tơ n
chiều, mỗi thành phần là một token đã được trích chọn từ việc phân tích cú pháp, phân
tích từ tố của tài liệu (email). Các vector cũng chứa thêm một thành phần nữa chỉ lớp mà
tài liệu đó được phân (nonspam, spam).
Trong việc ứng dụng CBR để lọc thư rác có hai vấn đề chính là: làm thế nào để
quản lý được tập dữ liệu huấn luyện(case-base), chứa một số lượng lớn email của người
dùng. Thứ hai là làm thế nào để điều khiển được vấn đề concept drift. Để quản lý được dữ
liệu huấn luyện CBR áp dụng các luật để điều chỉnh case-base(case-base Editing), nhằm
đưa ra tập case-base chứa các case có khả năng dự đoán cao nhất cho việc phân lớp case
mới. Để giải quyết được concept drift CBR thực hiện việc lựa chọn lại các đặc trưng và
case mới tốt nhất cho việc xác định lớp cho case mới.
Trong khóa luận này tôi xin trình bày hướng tiệp cận của Email Classification
Using Example (ECUE)(Delany, Cunningham, 2004), phương pháp học máy lọc thư rác
dựa trên CBR. Trong ECUE có hai phần chính cần quan tâm là: Công nghệ sử dụng cho
Case-base Editing là Competence Based Editing(CBE)(Smyth và McKenna 1998); và
Case-base update policity. CBE có hai chức năng chính là loại bỏ case nhiễu và case dư
thừa, việc loại bỏ case nhiễu áp dụng thuật toán Blame Based Noise Reduction (BBNR),
việc loại bỏ case dư thừa áp dụng thuật toán Conservative Redundancy Reduction
(CRR)(Riesbeck and Shank 1989) [17]. Case-base update policy thực hiện việc đưa các
case đã được phân lớp là spam, nonspam vào case-base để đưa dự đoán lớp cho case tiếp
theo, trong trường hợp cho case học lại, case-base update policy thực hiện lựa chọn lại các
đặc trưng để tìm ra đặc trưng có ích trong việc dự đoán lớp cho case mới.

Mở đầu .2
Chương 1 THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC. 4
1.1 Một số khái niệm cơ bản . .4
1.1.1 Định nghĩa thư rác 4
1.1.2 Phân loại thư rác .5
1.1.3 Tác hại thư rác 6
1.2 Các phương pháp lọc thư rác 7
1.2.1 Lọc thư rác thông qua việc đưa ra luật lệ nhằm hạn chế, ngăn chặn việc gửi thư rác .7
1.2.2 Lọc thư rác dựa trên địa chỉ IP .8
1.2.3 Lọc dựa trên chuỗi hỏi/đáp (Challenge/Response filters) 9
1.2.4 Phương pháp lọc dựa trên mạng xã hội . .9
1.2.5 Phương pháp định danh người gửi . 10
1.2.6 Phương pháp lọc nội dung 12
Chương 2 CASE-BASE REASONING 17
2.1 Case-based Reasoning . .17
2.1.1 Biểu diễn Case 19
2.1.2 Case Retrieval 20
2.1.3 Reuse 22
2.1.4 Revision và Retension . .23
2.1.5 Những ưu điểm của CBR . 23
2.1.6 Ứng dụng phương pháp CBR vào việc phân lớp Văn bản (Textual CBR) .23
2.2 Case-base Editing .24
Chương 3 EMAIL CLASSIFICATION USING EXAMPLE 27
3.1 Mô hình thiết kế Case-base áp dụng trong hệ thống ECUE 27
3.1.1 Trích chọn đặc trưng 27
3.1.2 Biểu diễn đặc trưng 28
3.1.3 Lựa chọn các đặc trưng 29
3.1.4 Phân lớp dựa trên thuật toán k-Nearest Neighbour(k-NN) 31
3.1.5 Case Retrieval: .31
3.2 Case-Base Maintenance .31
3.3 Competence Based Editing . .32
3.3.1 Thuật toán Blame Based Noise Reduction 32
3.3.2 Conservative Redundancy Reduction 34
3.4 Mô hình thiết kế ECUE online 34
3.4.1 Cấu trúc của hệ thống . 34
3.4.2 Tương tác với người dùng . .36
53
3.4.3 Theo dõi Emails .37
3.5 Mô hình thiết kế ở mức cao . 38
3.5.1 Mô hình thiết kế tầng Technical Architecture 38
3.5.2 Mô hình thiết kế tần Application Architecture 39
3.6 Đánh giá kết quả lọc của hệ thống ECUE 42
3.6.1 Kết quả so sánh về mức độ lọc chính xác của hệ thống ECUE khi sử dụng thuật toán
BBRN và thuật toán RENN(Delany, 2006)[17] 42
3.6.2 Kết quả đánh giá hoạt động của hệ thống ECUE online 44
Chương 4 THỰC NGHIỆM 46