Thạc Sĩ Một số kỹ thuật nâng cao hiệu năng tìm kiếm văn bản

MỞ ĐẦU

Cùng với sự phát triển nhanh chóng của công nghệ tin học thì khối lượng dữ liệu đa phương tiện (Multimedia) được thu thập và lưu trữ dưới dạng số ngày càng nhiều dẫn tới việc tìm kiếm dữ liệu đa phương tiện trở nên khó khăn vì vậy cần có các hệ thống tìm kiếm thông tin (Information Retrieval) hỗ trợ người dùng tìm kiếm một cách chính xác và nhanh chóng các thông tin mà họ cần trên kho tư liệu khổng lồ này.

Hiện nay có một số hệ thống tìm kiếm như GoogleDesktop, DTSearch, Lucene, tuy nhiên các hệ thống này sử dung các kỹ thuật tìm kiếm đơn giản nên hiệu quả còn chưa cao. Vì vậy mục tiêu của luận văn này nhằm tìm hiểu một số kỹ thuật nâng cao tìm kiếm thông tin, cụ thể ở đây là tìm kiếm văn bản theo nội dung trong cơ sở dữ liệu đa phương tiện nhằm đáp ứng nhu cầu cấp thiết của thời đại bùng nổ thông tin điện tử hiện nay.
Bố cục của luận văn gồm các phần sau:

+ CHƯƠNG 1: TỔNG QUAN VỀ HỆ QUẢN TRỊ CSDL ĐA PHƯƠNG TIỆN:

Phần này sẽ giới thiệu tổng quan về hệ quản trị CSDL đa phương tiện.

+ CHƯƠNG 2: MỘT SỐ KỸ THUẬT CHỈ MỤC VÀ TÌM KIẾM VĂN BẢN

- Trình bày các v ấn đềvề hệ tìm kiếm thông tin.

- Trình bày kỹ thuật cơ sở chỉ mục văn bản trên cơ sở mô hình Bool và mô hình vector.
+ CHƯƠNG 3: MỘT SỐ KỸ THUẬT NÂNG CAO HIỆU NĂNG TÌM KIẾM VĂN

- Trình bày cơ sở lý thuyết về một số kỹ thuật chỉ mục nâng cao.

- Giới thiệu kỹ thuật chỉ mục nâng cao LSI.

+ CHƯƠNG 4: PHÁT TRIỂN CHƯƠNG TRÌNH THỬ NGHIỆM:

Chương này phát triển chương trình thử nghiệm áp dụng kỹ thuật chỉ mục và kỹ thuật tìm kiếm văn bản theo nội dung trong cơ sở dữ liệu đa phương tiện.
+ KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN: Trình bày các kết quả đạt được trong
luận văn và nêu phương hướng phát triển của đề tài trong tương lai.
+ TÀI LIỆU THAM KHẢO và PHỤ LỤC: Trình bày các thông tin liên quan đến
luận văn.




MỤC LỤC

MỤC LỤC 2

DANH MỤC CÁC TỪ TIẾNG ANH VÀ VIẾT TẮT . 5

DANH MỤC CÁC BẢNG . 6

DANH MỤC CÁC HÌNH, ĐỒ THỊ 6

MỞ ĐẦU . 7

CHƯƠNG 1: TỔNG QUAN HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG

TIỆN (MDBMS) . 8

1.1 Mục đích của MDBMS 8

1.2 Các yêu cầu của một MDBMS 11

1.2.1 Khả năng quản trị lưu trữ lớn 13

1.2.2 Hỗ trợ truy vấn và khai thác dữ liệu 14

1.2.3 Tích hợp các phương tiện, tổng hợp và thể hiện 14

1.2.4 Giao diện và tương tác. 15

1.2.5 Hiệu suất. .15

1.3 Các vấn đề của MDBMS .16

1.3.1 Mô hình hoá dữ liệu MULTIMEDIA 16

1.3.2 Lưu trữ đối tượng MULTIMEDIA .17

1.3.3 Tích hợp Multimedia, thể hiện và chất lượng của dịch vụ (QoS) 19

1.3.4 Chỉ số hoá Multimedia 20

1.3.5 Hỗ trợ truy vấn Multimedia, khai thác và duyệt qua. 21

1.3.6 Quản trị CSDL Multimedia phân tán 22

1.3.7 Sự hỗ trợ của hệ thống 23

1.4 Kết luận 23

CHƯƠNG 2: MỘT SỐ KỸ THUẬT CHỈ MỤC VÀ TÌM KIẾM VĂN BẢN THEO NỘI DUNG 25
2.1 Giới thiệu hệ tìm kiếm thông tin 25

2.1.1 Kỹ thuật tìm kiếm thông tin 25

2.1.2 Một số vấn đề trong tìm kiếm thông tin 26


2.1.3 Hệ thống tìm kiếm thông tin – IR 27

2.1.4 Sự khác biệt giữa các hệ thống IR và các hệ thống thông tin khác .32

2.1.5 Các hệ tìm kiếm văn bản thường được sử dụng hiện nay 34

2.2 Một số kỹ thuật tìm kiếm văn bản theo nội dung 35

2.2.1 Chỉ mục tự động văn bản và mô hình tìm kiếm Bool 35

2.2.1.1. Mô hình tìm kiếm Bool cơ sở 35

2.2.1.2 Tìm kiếm Bool mở rộng .37

2.2.1.3 Các bước để xây dựng hệ thống tìm kiếm thông tin – IR 39

2.2.1.4 Lập chỉ mục tài liệu 40

2.2.2 Mô hình tìm kiếm không gian vector 51

2.2.2.1 Mô hình tìm kiếm không gian vector cơ sở 51

2.2.2.2. Kỹ thuật phản hồi phù hợp (Relevance Feedback Technique) .53

2.2.3. Thước đo hiệu năng 55

2.3 Ví dụ 56

2.4 Kết luận .58

CHƯƠNG 3: MỘT SỐ KỸ THUẬT NÂNG CAO HIỆU NĂNG TÌM KIẾM VĂN

BẢN .59

3.1 Giới thiệu .59

3.2 Một số kỹ thuật nâng cao hiệu năng tìm kiếm đa phương tiện 60

3.2.1 Lọc bằng phân lớp, thuộc tính có cấu trúc và các từ khóa .60

3.2.2 Các phương pháp trên cơ sở tính không đều tam giác 61

3.2.3 Mô hình tìm kiếm trên cơ sở cụm (cluster-based) .63

3.2.3.1 Sinh cụm .63

3.2.3.2 Tìm kiếm trên cơ sở cụm .64

3.2.4 Chỉ mục ngữ nghĩa tiềm ẩn (LSI) để tìm kiếm thông tin trên cơ sở không

gian vector 64

3.3 Kỹ thuật LSI 66

3.3.1 Giới thiệu LSI 66

3.3.2 Phương pháp luận LSI .67


CHƯƠNG 4: PHÁT TRIỂN CHƯƠNG TRÌNH THỬ NGHIỆM 79

4.1 Giới thiệu bài toán .79

4.2 Chức năng chương trình .79

4.3 Quy trình phát triển ứng dụng 79

4.3.1 Xây dựng ma trận Term – Doc .80

4.3.2 Lập chỉ mục tài liệu 80

4.3.3 Xây dựng ma trận trọng số 80

4.3.4 Tìm kiếm theo mô hình vector 81

4.3.5 Phương pháp LSI .81

4.2 Cài đặt thử nghiệm .82

4.2.1 Giao diện màn hình lập chỉ mục 82

4.2.2 Giao diện màn hình cập nhập chỉ mục .83

4.2.2 Tìm kiếm tài liệu theo mô hình vector 83

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 84

TÀI LIỆU THAM KHẢO 86