Thạc Sĩ Hệ quản trị cơ sở dữ liệu đa phương tiện (MDBMS)

Đề tài: Hệ quản trị cơ sở dữ liệu đa phương tiện (MDBMS)
- 2 -
MỤC LỤC
MỤC LỤC 2
DANH MỤC CÁC TỪ TIẾNG ANH VÀ VIẾT TẮT . 5
DANH MỤC CÁC BẢNG . 6
DANH MỤC CÁC HÌNH, ĐỒ THỊ 6
MỞ ĐẦU . 7
CHƯƠNG 1: TỔNG QUAN HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG
TIỆN (MDBMS) . 8
1.1 Mục đích của MDBMS 8
1.2 Các yêu cầu của một MDBMS 11
1.2.1 Khả năng quản trị lưu trữ lớn 13
1.2.2 Hỗ trợ truy vấn và khai thác dữ liệu 14
1.2.3 Tích hợp các phương tiện, tổng hợp và thể hiện 14
1.2.4 Giao diện và tương tác. 15
1.2.5 Hiệu suất 15
1.3 Các vấn đề của MDBMS .16
1.3.1 Mô hình hoá dữ liệu MULTIMEDIA 16
1.3.2 Lưu trữ đối tượng MULTIMEDIA .17
1.3.3 Tích hợp Multimedia, thể hiện và chất lượng của dịch vụ (QoS) 19
1.3.4 Chỉ số hoá Multimedia 20
1.3.5 Hỗ trợ truy vấn Multimedia, khai thác và duyệt qua. 21
1.3.6 Quản trị CSDL Multimedia phân tán 22
1.3.7 Sự hỗ trợ của hệ thống 23
1.4 Kết luận 23
CHƯƠNG 2: MỘT SỐ KỸ THUẬT CHỈ MỤC VÀ TÌM KIẾM VĂN BẢN THEO
NỘI DUNG 25
2.1 Giới thiệu hệ tìm kiếm thông tin 25
2.1.1 Kỹ thuật tìm kiếm thông tin 25
2.1.2 Một số vấn đề trong tìm kiếm thông tin 26- 3 -
2.1.3 Hệ thống tìm kiếm thông tin – IR 27
2.1.4 Sự khác biệt giữa các hệ thống IR và các hệ thống thông tin khác .32
2.1.5 Các hệ tìm kiếm văn bản thường được sử dụng hiện nay 34
2.2 Một số kỹ thuật tìm kiếm văn bản theo nội dung 35
2.2.1 Chỉ mục tự động văn bản và mô hình tìm kiếm Bool 35
2.2.1.1. Mô hình tìm kiếm Bool cơ sở 35
2.2.1.2 Tìm kiếm Bool mở rộng .37
2.2.1.3 Các bước để xây dựng hệ thống tìm kiếm thông tin – IR 39
2.2.1.4 Lập chỉ mục tài liệu 40
2.2.2 Mô hình tìm kiếm không gian vector 51
2.2.2.1 Mô hình tìm kiếm không gian vector cơ sở 51
2.2.2.2. Kỹ thuật phản hồi phù hợp (Relevance Feedback Technique) .53
2.2.3. Thước đo hiệu năng 55
2.3 Ví dụ 56
2.4 Kết luận .58
CHƯƠNG 3: MỘT SỐ KỸ THUẬT NÂNG CAO HIỆU NĂNG TÌM KIẾM VĂN
BẢN .59
3.1 Giới thiệu .59
3.2 Một số kỹ thuật nâng cao hiệu năng tìm kiếm đa phương tiện 60
3.2.1 Lọc bằng phân lớp, thuộc tính có cấu trúc và các từ khóa .60
3.2.2 Các phương pháp trên cơ sở tính không đều tam giác 61
3.2.3 Mô hình tìm kiếm trên cơ sở cụm (cluster-based) .63
3.2.3.1 Sinh cụm .63
3.2.3.2 Tìm kiếm trên cơ sở cụm .64
3.2.4 Chỉ mục ngữ nghĩa tiềm ẩn (LSI) để tìm kiếm thông tin trên cơ sở không
gian vector 64
3.3 Kỹ thuật LSI 66
3.3.1 Giới thiệu LSI 66
3.3.2 Phương pháp luận LSI .67- 4 -
CHƯƠNG 4: PHÁT TRIỂN CHƯƠNG TRÌNH THỬ NGHIỆM 79
4.1 Giới thiệu bài toán .79
4.2 Chức năng chương trình .79
4.3 Quy trình phát triển ứng dụng 79
4.3.1 Xây dựng ma trận Term – Doc .80
4.3.2 Lập chỉ mục tài liệu 80
4.3.3 Xây dựng ma trận trọng số 80
4.3.4 Tìm kiếm theo mô hình vector 81
4.3.5 Phương pháp LSI .81
4.2 Cài đặt thử nghiệm .82
4.2.1 Giao diện màn hình lập chỉ mục 82
4.2.2 Giao diện màn hình cập nhập chỉ mục .83
4.2.2 Tìm kiếm tài liệu theo mô hình vector 83
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 84
TÀI LIỆU THAM KHẢO 86- 5 -
DANH MỤC CÁC TỪ TIẾNG ANH VÀ VIẾT
TẮT
Từ gốc
Giải nghĩa
Cluster-based Cơ sở cụm
CSDL Cơ sở dữ liệu
DBMS (Database Management System) Hệ quản trị cơ sở dữ liệu
MDBMS (Multimedia Database
Management System)
Hệ quản trị cơ sở dữ liệu đa phương tiện
Doc Tài liệu
Docs Nhiều tài liệu
DSS (Decision Support Systems) Hệ hỗ trợ ra quyết định
Exact match Đối sánh chính xác
IMS (Information Management System) Hệ quản lý thông tin
Index Chỉ mục
IR (Information Retrieval) Truy tìm thông tin
IRS (Information Retrieval System) Hệ truy tìm thông tin
LSI (Latent Semantic Indexing) Chỉ mục ngữ nghĩa tiềm ẩn
MultiMedia Truyền thông da phương tiện
Precision Độ chính xác
QAS (Question Anser System) Hệ trả lời câu hỏi
Query Truy vấn
Term Thuật ngữ (từ)
Ranking Sắp xếp
Record Bản ghi
Recall Khả năng tìm thấy
SC (Similarity Coeficient) Độ tương quan
SVD (Singular Value Decomposition) Kỹ thuật tách giá trị đơn
Text-partern Mẫu văn bản
The Term Discrimination Value Giá trị phân biệt từ
The Signal – Noise Ratio Độ nhiễu tín hiệu- 6 -
DANH MỤC CÁC BẢNG
Bảng 2.2: Cách tập tin nghịch đảo lưu trữ .43
Bảng 2.3 Cách tập tin trực tiếp lưu trữ 43
Bảng 2.4: Thêm một tài liệu mới vào tập tin nghịch đảo 44
Bảng 2.5: Danh sách từ dừng của tiếng Anh 49
Bảng 3.1: Bảng khoảng cách của từng đối tượng trong CSDL đến từng vector so
sánh 62
DANH MỤC CÁC HÌNH, ĐỒ THỊ
Hình1.1. Kiến trúc bậc cao cho một MDBMS đáp ứng các yêu cầu cho dữ liệu
MULTIMEDI 10
Hình 1.2. Mô hình khả năng lưu trữ của các hệ thống Multimedia .13
Hình 2.1. Mô hình tổng quát tìm kiếm thông tin .28
Hình 2.3. Mô hình kiến trúc của hệ tìm kiếm thông tin .31
Hình 2.4. Cấu trúc hệ tìm kiếm thông tin tiêu biểu .31
Hình 2.5. Các từ được sắp theo thứ tự .46
Hình 2.6. Mô hình minh hoạ mối quan hệ giữa 5 tài liệu D1 đến D5 và thuật ngữ
“CAR” .48
Hình 2.7. Quá trình chọn từ làm chỉ mục .50
Hình 2.8. Mô hình thước đo hiệu năng .55
Hình 2.9. Đồ thị so sánh hiệu năng 56
Hình 3.1. Mô hình LSI .67
Hình 3.2. Mô hình tính toán và xếp thứ hạng cho các tài liệu .68
Hình 3.3. Minh hoạ kỹ thuật Chỉ số hoá ngữ nghĩa tiềm ẩn (LSI) .69
Hình 3.4. Mô hình minh hoạ tách giá trị đơn (SVD) .75
Hình 4.1. Giao diện màn hình lập chỉ mục .82
Hình 4.2. Giao diện màn hình cập nhập chỉ mục 83
Hình 4.3. Giao diện tìm kiếm theo mô hình vector .83- 7 -
MỞ ĐẦU
Cùng với sự phát triển nhanh chóng của công nghệ tin học thì khối lượng dữ
liệu đa phương tiện (Multimedia) được thu thập và lưu trữ dưới dạng số ngày càng
nhiều dẫn tới việc tìm kiếm dữ liệu đa phương tiện trở nên khó khăn vì vậy cần có
các hệ thống tìm kiếm thông tin (Information Retrieval) hỗ trợ người dùng tìm kiếm
một cách chính xác và nhanh chóng các thông tin mà họ cần trên kho tư liệu khổng
lồ này.
Hiện nay có một số hệ thống tìm kiếm như GoogleDesktop, DTSearch,
Lucene, tuy nhiên các hệ thống này sử dung các kỹ thuật tìm kiếm đơn giản nên
hiệu quả còn chưa cao. Vì vậy mục tiêu của luận văn này nhằm tìm hiểu một số kỹ
thuật nâng cao tìm kiếm thông tin, cụ thể ở đây là tìm kiếm văn bản theo nội dung
trong cơ sở dữ liệu đa phương tiện nhằm đáp ứng nhu cầu cấp thiết của thời đại
bùng nổ thông tin điện tử hiện nay.
Bố cục của luận văn gồm các phần sau:
+ CHƯƠNG 1: TỔNG QUAN VỀ HỆ QUẢN TRỊ CSDL ĐA PHƯƠNG TIỆN:
Phần này sẽ giới thiệu tổng quan về hệ quản trị CSDL đa phương tiện.
+ CHƯƠNG 2: MỘT SỐ KỸ THUẬT CHỈ MỤC VÀ TÌM KIẾM VĂN BẢN
- Trình bày các v ấn đề về hệ tìm kiếm thông tin.
- Trình bày kỹ thuật cơ sở chỉ mục văn bản trên cơ sở mô hình Bool và mô
hình vector.
+ CHƯƠNG 3: MỘT SỐ KỸ THUẬT NÂNG CAO HIỆU NĂNG TÌM KIẾM
VĂN
- Trình bày cơ sở lý thuyết về một số kỹ thuật chỉ mục nâng cao.
- Giới thiệu kỹ thuật chỉ mục nâng cao LSI.
+ CHƯƠNG 4: PHÁT TRIỂN CHƯƠNG TRÌNH THỬ NGHIỆM: Chương này
phát triển chương trình thử nghiệm áp dụng kỹ thuật chỉ mục và kỹ thuật tìm kiếm
văn bản theo nội dung trong cơ sở dữ liệu đa phương tiện.
+ KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN: Trình bày các kết quả đạt được trong
luận văn và nêu phương hướng phát triển của đề tài trong tương lai.
+ TÀI LIỆU THAM KHẢO và PHỤ LỤC: Trình bày các thông tin liên quan đến
luận văn.