Đồ Án Tìm hiểu phân lớp Bayes và cài đặt chương trình minh họa cho bảng dữ liệu với thuộc tính có giá trị

PHÂN LỚP BAYES
1. Giới thiệu Bayes Theorem
Trong lĩnh vực Data Mining, Bayes Theorem (hay Bayes’ Rule) là kỹ thuật phân lớp dựa vào việc tính xác suất có điều kiện. Bayes’ Rule được ứng dụng rất rộng rãi bởi tính dễ hiểu và dễ triển khai.
Bayes' Rule (CT1):

Trong đó:
D : Data
h : Hypothesis (giả thuyết)
P(h) : Xác suất giả thuyết h (tri thức có được về giả thuyết h trước khi có dữ liệu D) và gọi là prior probability của giả thuyết h.
P(D| h): Xác suất có điều kiện D khi biết giả thuyết h (gọi là likelihood probability).
P(D): xác suất của dữ liệu quan sát D không quan tâm đến bất kỳ giả thuyết h nào.(gọi là prior probability của dữ liệu D)
Tỷ số : Chỉ số liên quan (irrelevance index) dùng để đo lường sự liên quan giữa 2 biến A và B. Nếu irrelevance index =1, có nghĩa A và B không liên quan nhau.
P(h|D) :Xác suất có điều kiện h khi biết D (gọi là posterior probability của giả thuyết h)

Trong rất nhiều ứng dụng, các giả thuyết hi có thể loại trừ nhau và vì dữ liệu quan sát D là tập con của tập giả thuyết cho nên chúng ta có thể phân rã P(D) như sau (CT2):

Vì nên (CT1) có thể viết lại như sau (CT3)

Thay P(D) trong (CT2) vào (CT1) ta được (CT4)