Luận Văn Chương trình thu thập web và xây dựng trang web tổng hợp thông tin

MỤC LỤC
MỞ ĐẦU 1
CHƯƠNG 1. TÌM HIỂU VỀTRÌNH THU THẬP WEB .3
1.1. GIỚI THIỆU VỀTRÌNH THU THẬP WEB 3
1.2. CÁCH XÂY DỰNG MỘT HẠTẦNG THU THẬP .4
1.2.1. Frontier .6
1.2.2. Lược sửvà kho lưu trữtrang .7
1.2.3. Cách lấy trang 8
1.2.3.1. Tiêu chuẩn loại trừrobot 9
1.2.4. Bóc tách trang 10
1.2.4.1. Tiêu chuẩn trích xuất URL .11
1.2.4.2. Mô hình thẻHTML dạng cây .12
1.2.5. Trình thu thập đa luồng .13
1.3. CÁC CHIẾN LƯỢC THU THẬP DỮLIỆU 15
1.3.1. Chiến lược thu thập dữliệu theo chiều sâu .16
1.3.2. Chiến lược thu thập dữliệu theo chiều rộng .16
1.3.3. Chiến lược thu thập dữliệu theo ngẫu nhiên 17
1.3.4. Chiến lược thu thập dữliệu theo lựa chọn tốt nhất ngây thơ. .17
1.4. ĐÁNH GIÁ CỦA TRÌNH THU THẬP .19
1.4.1. Độquan trọng của trang web 20
1.4.2. Phân tích tổng quát 21
1.4.2.1. Thước đo độchính xác .22
1.4.2.2. Thước đo độhoàn chỉnh .22
CHƯƠNG 2. XÂY DỰNG WEBSITE TỔNG HỢP THÔNG TIN .25
2.1. CÁC KIẾN THỨC NỀN TẢNG .25
2.1.1. Mạng toàn cầu .25
2.1.2. Giao thức truyền tải siêu văn bản 28
2.1.3. Ngôn ngữ đánh dấu siêu văn bản 28
2.2. CÁC CÔNG NGHỆLIÊN QUAN .30
2.2.1. Ngôn ngữlập trình PHP 30
2.2.1.1. Biểu thức chính quy 31
2.2.1.2. Các hàm xửlý chuỗi .34
2.2.1.2.1. Tìm kiếm chuỗi trong chuỗi .34
2.2.1.2.2. Tìm vịtrí của chuỗi con .34
2.2.1.2.3. Hàm so sánh chuỗi .34
2.2.1.2.4. Kiểm tra chiều dài của chuỗi .35
2.2.2. MySQL 35
2.2.3. Một sốcông nghệvà tiện ích khác 37
2.2.3.1. Add-ons firebug của firefox .37
2.2.3.2. Ajax .37
2.3. PHÂN TÍCH 38
2.3.1. Cấu trúc bài viết trong trang báo điện tử .38
2.3.2. Các cách thu thập bài viết .42
2.3.2.1. Cách làm truyền thống 42
2.3.2.1.1. Các bước thực hiện 42
2.3.2.1.2. Nhận xét .44
2.3.2.2. Cách làm mới 45
2.3.2.2.1. Các bước thực hiện 45
2.3.2.2.2. Nhận xét .46
2.4. THIẾT KẾ 47
2.4.1. Cấu trúc cơsởdữliệu 47
2.4.1.1. Danh sách các bảng 47
2.4.1.2. Chi tiết các bảng .47
2.4.2. Phần quản trịcơsởdữliệu 49
2.4.3. Phần giao diện chính trang web 50
CHƯƠNG 3: KẾT LUẬN .50
3.1. CÁC KẾT QUẢ ĐÃ ĐẠT ĐƯỢC 51
3.2. HƯỚNG PHÁT TRIỂN CỦA ĐỀTÀI .51