Đồ Án Khai phá dữ liệu từ website việc làm

Đồ án tốt nghiệp: Khai phá dữ liệu từ website việc làm
MỤC LỤC
LỜI CẢM ƠN . 1
MỞ ĐẦU . . 4
Chương 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC . . 5
I. Tổng quan về khai phá dữ liệu . 5
1. Tổ chức và khai thác cơ sở dữ liệu truyền thống . . 5
2. Tổng quan về kỹ thuật phát hiện tri thức và khai phá dữ liệu (KDD - Knowledge Discovery
and Data Mining) . 6
II. Ứng dụng luật kết hợp vào khai phá dữ liệu . 10
1. Lý thuyết luật kết hợp . 10
2. Các đặc trưng của luật kết hợp . 19
3. Một số giải thuật cơ bản khai phá các tập phổ biến . . 22
4. Phát sinh luật từ các tập phổ biến . . 43
5. Đánh giá, nhận xét . . 46
Chương 2: MÔ HÌNH TÌM KIẾM THÔNG TIN . . 47
1. Tìm kiếm thông tin . . 47
2. Mô hình Search engine . . 48
2.1 Search engine . . 48
2.2 Agents . 49
3. Hoạt động của các Search engine . 49
3.1 Hoạt động của các robot . . 50
3.2 Duyệt theo chiều rộng . . 50
3.3 Duyệt theo chiều sâu . . 51
3.4 Độ sâu giới hạn . . 52
3.5 Vấn đề tắc nghẽn đường chuyền . 52
3.6 Hạn chế của các robot . . 53
3.7 Phân tích các liên kết trong trang web . . 53
3.8 Nhận dạng mã tiếng việt . . 53
Chương 3: ỨNG DỤNG THỬ NGHIỆM KHAI PHÁ DỮ LIỆU TÍCH HỢP TỪ CÁC WEBSITE
TUYỂN DỤNG . . 55
1. Bài toán: . . 55
1.1 Phát biểu bài toán: . . 55
1.2 Một số website tìm việc làm nổi tiểng của việt nam: . . 55
1.3 Thiết kế cơ sở dữ liệu: . . 58
1.4 Đặc tả dữ liệu: . . 61
1.5 Minh họa chương trình . . 67
1.6 Phân tích đánh giá . . 69
1.7 Hướng phát triển . 69
KẾT LUẬN . . 70
TÀI LIỆU THAM KHẢO . . 71
3




Đồ án tốt nghiệp: Khai phá dữ liệu từ website việc làm
MỞ ĐẦU
Trong những năm gần đây, việc nắm bắt được thông tin được coi là cơ sở
của mọi hoạt động sản xuất, kinh doanh. Các nhân hoặc tổ chức nào thu thập và
hiểu được thông tin, và hành động dựa trên các thông tin được kết xuất từ các
thông tin đã có sẽ đạt được thành công trong mọi hoạt động.
Sự tăng trưởng vượt bậc của các cơ sở dữ liệu (CSDL) trong cuộc sống
như: thương mại, quản lý đã làm nảy sinh và thúc đẩy sự phát triển của kỹ thuật
thu thập, lưu trữ, phân tích và khai phá dữ liệu không chỉ bằng các phép toán
đơn giản thông thường như: phép đếm, thống kê mà đòi hỏi một cách xử lý
thông minh hơn, hiệu quả hơn. Các kỹ thuật cho phép ta khai thác được tri thức
hữu dụng từ CSDL (lớn) được gọi là các kỹ thuật Khai phá dữ liệu
(datamining). Đồ án nghiên cứu về những khái niệm cơ bản về khai phá dữ liệu,
luật kết hợp và ứng dụng thuật toán khai phá luật kết hợp trong CSDL lớn.
Cấu trúc của đồ án được trình bày như sau:
CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI
THỨC
Trình bày kiến thức tổng quan về khai thác và xử lý thông tin.
Khái niệm về luật kết hợp và các phương pháp khai phá luật kết hợp
Trình bày về thuật toán Apriori và một số thuật toán khai phá luật kết hợp
CHƯƠNG 2: MÔ HÌNH TÌM KIẾM THÔNG TIN
Trình bày các thành phân cơ bản của một search engine
Trình bày nguyên lý hoạt động của search engine và một số giải thuật tìm kiếm
của search engine
CHƯƠNG 3: ỨNG DỤNG, THỬ NGHIỆM KHAI PHÁ DỮ LIỆU VIỆC LÀM
TÍCH HỢP TỪ CÁC WEBSITE TUYỂN DỤNG
Nội dung của chương là áp dụng kỹ thuật khai phá dữ liệu vào bài toán tìm xu
hướng chọn ngành nghề của các ứng viên và tuyển dụng của của các doanh
nghiệp.
Cuối cùng là kết luận lại những kết quả đạt được của đề tài và hướng phát triển
tương lai.