Đồ Án Xây dựng hệ tìm kiếm thông tin theo hướng tiếp cận ngữ nghĩa (conceptual indexing)

Xây dựng HỆ TÌM KIẾM THÔNG TIN THEO HƯỚNG TIẾP CẬN NGỮ NGHĨA (CONCEPTUAL INDEXING)


LÊ THÚY NGỌC


Trang nhan đề
Lời cảm ơn
Mục lục
Mục lục hình
Mục lục bảng

Chương 1: Tổng quan

Chương 2: Giới thiệu và khảo sát hệ thống tìm kiếm thông tin.

Chương 3: CIRS-Hệ thống tìm kiếm thông tin dựa trên khái niệm.

Chương 4: Các quá trình quan trọng CIRS.

Chương 5: Nguồn tri thức cơ sở dữ liệu và công cụ.

Chương 6: Hiện thực và kết quả.

Chương 7: Kết luận và hướng Phát triển

Tài liệu tham khảo
Phụ lục


Mục lục
Chương 1. Tổng quan . . . . . 7
1.1 Bối cảnh hiện tại . . . 7
1.2 Mục tiêu, giới hạn và đóng góp của luận văn . . 9
1.2.1 Mục tiêu luận văn . . . 9
1.2.2 Giới hạn luận văn . . . . 10
1.2.3 Đóng góp của luận văn . . . 10
1.3 Bố cục của báo cáo . . . . . 11
Chương 2. Giới thiệu và khảo sát hệ thống tìm kiếm thông tin 13
2.1 Giới thiệu chung về hệ thống tìm kiếm thông tin . . 13
2.1.1 Định nghĩa về hệ thống tìm kiếm thông tin . . 13
2.1.2 Mục tiêu và chức năng của một hệ thống tìm kiếm thông tin . 14
2.1.3 Kiến trúc chung của một hệ thống tìm kiếm thông tin . 14
2.1.4 Phân loại hệ thống tìm kiếm thông tin . . 15
2.1.5 Tiêu chí để đánh giá một hệ thống tìm kiếm thông tin . 16
2.2 Hệ thống tìm kiếm dựa trên từ khóa . . 18
2.2.1 Bộ thu thập thông tin – Robot . 19
2.2.2 Bộ lập chỉ mục – Index . . . 19
2.2.3 Bộ truy vấn (bộ tìm kiếm) . 19
2.3 Hệ thống tìm kiếm dựa trên khái niệm . . . 20
2.3.1 Bộ thu thập thông tin . . 22
2.3.2 Bộ lập chỉ mục khái niệm . . . 22
Quy trình chung của rút trích khái niệm . . . 23
2.3.3 Bộ truy vấn . . . . 24
2.4 Khảo sát hiện trạng . . . 25
2.4.1 Khảo sát về các phương pháp lập chỉ mục cho các tài liệu: . 28
2.4.2 Khảo sát về các phương pháp mở rộng khái niệm . . 33
2.4.3 Khảo sát về các phương pháp rút trích khái niệm . . . 35
2.4.3.1 Rút trích từ chỉ mục từ các tài liệu . . 35
2.4.3.2 So khớp các cụm từ chỉ mục với nguồn tri thức . . 37
2.4.4 So sánh cách biểu diễn tri thức với cách biểu diễn tri thức của hệ thống khác 38
Chương 3. CIRS - Hệ thống tìm kiếm thông tin dựa trên khái niệm 40
2
3.1 Kiến trúc của CIRS . . . . 40
3.2 Các bộ phận cấu thành nên CIRS . . . 43
3.2.1 Bộ lập chỉ mục khái niệm . . . 43
3.2.2 Bộ truy vấn . . . . 46
Chương 4. Các quá trình quan trọng trong CIRS . . . 48
4.1 Rút trích các khái niệm từ tập các tài liệu và câu truy vấn. . 48
4.2 Phân loại tập khái niệm của các tài liệu . . . 50
4.2.1 Mục tiêu, ý nghĩa, cách tiếp cận của việc phân loại khái niệm 50
4.2.2 Các thuật ngữ . . . . 52
4.2.2.1 Độ dài khái niệm: . . 52
4.2.2.2 n-khái niệm, khái niệm ngắn, khái niệm dài, . . 53
4.2.3 Quy trình phân loại khái niệm . . 54
4.2.3.1 Giai đoạn 1: chuẩn hóa. . . . 55
4.2.3.2 Giai đoạn 2: loại bỏ các tag . . . 56
4.2.3.3 Giai đoạn 3: lấy thông tin về các khái niệm và vị trí . 59
4.2.3.4 Giai đoạn 4: tính độ dài khái niệm . . 61
4.2.3.5 Giai đoạn 5: phân loại khái niệm . . . 62
4.3 Mở rộng tập khái niệm của các tài liệu và câu truy vấn . 63
4.3.1 Mục đích của việc mở rộng khái niệm . . 63
4.3.2 Cách tiếp cận về mở rộng khái niệm của CIRS . . 63
4.3.3 Các mối Quan hệ được hệ thống CIRS sử dụng để mở rộng khái niệm 63
4.3.4 Quy trình mở rộng khái niệm trong hệ thống CIRS . 66
4.3.4.1 Giai đoạn 1: rút trích các cặp khái niệm có Quan hệ với nhau 67
4.3.4.2 Giai đoạn 2: mở rộng khái niệm . . 67
4.4 Lập chỉ mục theo khái niệm trong CIRS . . 69
4.4.1 Giai đoạn 1: tạo vector chỉ mục . . 70
4.4.2 Giai đoạn 2: tạo ma trận nghịch đảo . . . 72
4.5 So trùng trong CIRS . . . . . 73
4.6 Đánh giá hiệu quả của CIRS . . 75
Chương 5. Nguồn tri thức, cơ sở dữ liệu và công cụ . . 76
5.1 UMLS Metathesaurus . . 76
5.1.1 Các thành phần trong UMLS Metathesaurus: . . . 77
3
5.1.1.1 Khái niệm: . . . 77
5.1.1.2 Mối quan hệ . . . . . 80
5.1.2 Các Ngôn ngữ mà UMLS Metathesaurus hỗ trợ . 81
5.1.3 Các tập tin định dạng RRF . . . 82
5.2 ImageCLEFmed . . . . . 86
5.2.1 Tổng quan về ImageCLEFmed . . . 86
5.2.2 ImageCLEFmed 2007 . . . 87
5.2.2.1 Những bộ dữ liệu ảnh trong ImageCLEFmed 2007 87
5.2.2.2 Kích thước các tập dữ liệu trong ImageCLEFmed 2007 . 88
5.2.2.3 Hệ thống tập tin trong ImageCLEFmed 2007 . 89
5.3 MetaMap . . . . 92
5.3.1 Tổng quan . . . . . 92
5.3.2 Quá trình rút trích các khái niệm trong các tài liệu của MetaMap . 92
5.4 XIOTA . . . . . 95
5.4.1 Tổng quan về XIOTA . 95
5.4.2 Hệ thống các module trong XIOTA . . . 96
5.4.2.1 Conversion . . . . . 96
5.4.2.2 Indexing . . . . . 96
5.4.2.3 Querying . . . . 97
5.4.2.4 Mining . . . . . 97
Chương 6. Hiện thực và kết quả . . . 99
6.1 Một số module trong chương trình . . . 99
6.2 Thử nghiệm. . . . . . 101
6.2.1 Mục tiêu thử nghiệm . . . 101
6.2.2 Cách thức thử nghiệm . . . 101
6.3 Kết quả và phân tích kết quả . . 102
6.3.1 Các kết quả thử nghiệm trên từ khóa, các loại khái niệm, các mô hình . 102
6.3.2 Các kết quả thử nghiệm về mở rộng khái niệm . . 107
6.3.2.1 So sánh việc sử dụng các mối Quan hệ khác nhau để mở rộng tài liệu, khi
cùng sử dụng một mối Quan hệ để mở rộng câu truy vấn . 108
6.3.2.2 So sánh việc sử dụng các mối Quan hệ khác nhau để mở rộng câu truy vấn,
khi cùng sử dụng một mối Quan hệ để mở rộng tài liệu . 114
6.4 So sánh kết quả với các hệ thống khác . 120
4
6.4.1 So sánh kết quả với hệ thống tìm kiếm thông tin dựa trên từ khóa 120
6.4.2 So sánh kết quả với hệ thống tìm kiếm dựa trên khái niệm sử dụng mô hình
mạng Bayes . . . 121
6.4.3 So sánh kết quả với hệ thống MIRACLE . . . 122
Chương 7. Kết luận và hướng Phát triển . . 124
7.1 Kết luận . . . . 124
7.2 Hướng Phát triển . . . . 125

Tài liệu tham khảo . . . .
Phụ lục: Các kết quả của Module 8 và 9 . . . 132