Thạc Sĩ Xây dựng hệ tìm kiếm thông tin theo hướng tiếp cận ngữ nghĩa (conceptual indexing)

Mục lục
Chương 1. Tổng quan . 7
1.1 Bối cảnh hiện tại . 7
1.2 Mục tiêu, giới hạn và đóng góp của luận văn 9
1.2.1 Mục tiêu luận văn . 9
1.2.2 Giới hạn luận văn 10
1.2.3 Đóng góp của luận văn . 10
1.3 Bố cục của báo cáo . 11
Chương 2. Giới thiệu và khảo sát hệ thống tìm kiếm thông tin 13
2.1 Giới thiệu chung về hệ thống tìm kiếm thông tin 13
2.1.1 Định nghĩa về hệ thống tìm kiếm thông tin 13
2.1.2 Mục tiêu và chức năng của một hệ thống tìm kiếm thông tin . 14
2.1.3 Kiến trúc chung của một hệ thống tìm kiếm thông tin . 14
2.1.4 Phân loại hệ thống tìm kiếm thông tin 15
2.1.5 Tiêu chí để đánh giá một hệ thống tìm kiếm thông tin . 16
2.2 Hệ thống tìm kiếm dựa trên từ khóa 18
2.2.1 Bộ thu thập thông tin – Robot . 19
2.2.2 Bộ lập chỉ mục – Index . 19
2.2.3 Bộ truy vấn (bộ tìm kiếm) . 19
2.3 Hệ thống tìm kiếm dựa trên khái niệm . 20
2.3.1 Bộ thu thập thông tin 22
2.3.2 Bộ lập chỉ mục khái niệm . 22
Quy trình chung của rút trích khái niệm . 23
2.3.3 Bộ truy vấn 24
2.4 Khảo sát hiện trạng . 25
2.4.1 Khảo sát về các phương pháp lập chỉ mục cho các tài liệu: . 28
2.4.2 Khảo sát về các phương pháp mở rộng khái niệm 33
2.4.3 Khảo sát về các phương pháp rút trích khái niệm . 35
2.4.3.1 Rút trích từ chỉ mục từ các tài liệu 35
2.4.3.2 So khớp các cụm từ chỉ mục với nguồn tri thức 37
2.4.4 So sánh cách biểu diễn tri thức với cách biểu diễn tri thức của hệ thống khác 38
Chương 3. CIRS - Hệ thống tìm kiếm thông tin dựa trên khái niệm 40
2
3.1 Kiến trúc của CIRS 40
3.2 Các bộ phận cấu thành nên CIRS . 43
3.2.1 Bộ lập chỉ mục khái niệm . 43
3.2.2 Bộ truy vấn 46
Chương 4. Các quá trình quan trọng trong CIRS . 48
4.1 Rút trích các khái niệm từ tập các tài liệu và câu truy vấn. . 48
4.2 Phân loại tập khái niệm của các tài liệu . 50
4.2.1 Mục tiêu, ý nghĩa, cách tiếp cận của việc phân loại khái niệm 50
4.2.2 Các thuật ngữ 52
4.2.2.1 Độ dài khái niệm: 52
4.2.2.2 n-khái niệm, khái niệm ngắn, khái niệm dài, 53
4.2.3 Quy trình phân loại khái niệm 54
4.2.3.1 Giai đoạn 1: chuẩn hóa. . 55
4.2.3.2 Giai đoạn 2: loại bỏ các tag . 56
4.2.3.3 Giai đoạn 3: lấy thông tin về các khái niệm và vị trí . 59
4.2.3.4 Giai đoạn 4: tính độ dài khái niệm 61
4.2.3.5 Giai đoạn 5: phân loại khái niệm . 62
4.3 Mở rộng tập khái niệm của các tài liệu và câu truy vấn . 63
4.3.1 Mục đích của việc mở rộng khái niệm 63
4.3.2 Cách tiếp cận về mở rộng khái niệm của CIRS 63
4.3.3 Các mối quan hệ được hệ thống CIRS sử dụng để mở rộng khái niệm 63
4.3.4 Quy trình mở rộng khái niệm trong hệ thống CIRS . 66
4.3.4.1 Giai đoạn 1: rút trích các cặp khái niệm có quan hệ với nhau 67
4.3.4.2 Giai đoạn 2: mở rộng khái niệm 67
4.4 Lập chỉ mục theo khái niệm trong CIRS 69
4.4.1 Giai đoạn 1: tạo vector chỉ mục 70
4.4.2 Giai đoạn 2: tạo ma trận nghịch đảo . 72
4.5 So trùng trong CIRS . 73
4.6 Đánh giá hiệu quả của CIRS 75
Chương 5. Nguồn tri thức, cơ sở dữ liệu và công cụ 76
5.1 UMLS Metathesaurus 76
5.1.1 Các thành phần trong UMLS Metathesaurus: . 77
3
5.1.1.1 Khái niệm: . 77
5.1.1.2 Mối quan hệ . 80
5.1.2 Các ngôn ngữ mà UMLS Metathesaurus hỗ trợ . 81
5.1.3 Các tập tin định dạng RRF . 82
5.2 ImageCLEFmed . 86
5.2.1 Tổng quan về ImageCLEFmed . 86
5.2.2 ImageCLEFmed 2007 . 87
5.2.2.1 Những bộ dữ liệu ảnh trong ImageCLEFmed 2007 87
5.2.2.2 Kích thước các tập dữ liệu trong ImageCLEFmed 2007 . 88
5.2.2.3 Hệ thống tập tin trong ImageCLEFmed 2007 . 89
5.3 MetaMap 92
5.3.1 Tổng quan . 92
5.3.2 Quá trình rút trích các khái niệm trong các tài liệu của MetaMap . 92
5.4 XIOTA . 95
5.4.1 Tổng quan về XIOTA . 95
5.4.2 Hệ thống các module trong XIOTA . 96
5.4.2.1 Conversion . 96
5.4.2.2 Indexing . 96
5.4.2.3 Querying 97
5.4.2.4 Mining . 97
Chương 6. Hiện thực và kết quả . 99
6.1 Một số module trong chương trình . 99
6.2 Thử nghiệm. . 101
6.2.1 Mục tiêu thử nghiệm . 101
6.2.2 Cách thức thử nghiệm . 101
6.3 Kết quả và phân tích kết quả 102
6.3.1 Các kết quả thử nghiệm trên từ khóa, các loại khái niệm, các mô hình . 102
6.3.2 Các kết quả thử nghiệm về mở rộng khái niệm 107
6.3.2.1 So sánh việc sử dụng các mối quan hệ khác nhau để mở rộng tài liệu, khi
cùng sử dụng một mối quan hệ để mở rộng câu truy vấn . 108
6.3.2.2 So sánh việc sử dụng các mối quan hệ khác nhau để mở rộng câu truy vấn,
khi cùng sử dụng một mối quan hệ để mở rộng tài liệu . 114
6.4 So sánh kết quả với các hệ thống khác . 120
4
6.4.1 So sánh kết quả với hệ thống tìm kiếm thông tin dựa trên từ khóa 120
6.4.2 So sánh kết quả với hệ thống tìm kiếm dựa trên khái niệm sử dụng mô hình
mạng Bayes . 121
6.4.3 So sánh kết quả với hệ thống MIRACLE . 122
Chương 7. Kết luận và hướng phát triển 124
7.1 Kết luận 124
7.2 Hướng phát triển 125
Tài liệu tham khảo 127
Phụ lục: Các kết quả của Module 8 và 9 . 132