Luận Văn Nghiên cứu một số vấn đề về khai thác và tìm kiếm dữ liệu trên cổng thông tin điện tử

Trong những năm gần đây, các ứng dụng trên Internet phát triển nhanh, ảnh hưởng của nó là đã làm thay đổi nhiều đến đời sống kinh tế, văn hoá, xã hội của tất cả các nước trên thế giới. Trong sự phát triển mạnh mẽ của Internet, thì các Website giữ một vai trò đặc biệt quan trọng. Tuy nhiên, với thời gian hình thức này đã bộc lộ một số nhược điểm cần phải khắc phục. Cùng với sự trợ giúp của công nghệ Soft Agent - một chương trình thay mặt người dùng thực hiện công việc tìm kiếm và xử lý thông tin trên Internet - khái niệm Website truyền thống được chuyển thành “Website thông minh” với sự trợ giúp của dịch vụ Search Engine, một công cụ cho phép tìm kiếm và lọc thông tin trên cơ sở các từ khoá được xác lập bởi người dùng và dịch vụ phân loại thông tin – Category. Từ đó, thuật ngữ “Website thông minh” hay “Cổng thông tin điện tử” - Portal được hình thành.
Hiện nay, một số quốc gia, một số tổ chức trên thế giới đã quan tâm chú ý đến sự phát triển công nghệ Portal, công nghệ này đã và đang trở thành xu thế chung trong quá trình phát triển trên Internet. Ở nước ta, một số địa phương cũng rất quan tâm phát triển công nghệ Portal như thành phố Hà Nội, thành phố Hồ Chí Minh, tỉnh Hà Tây và một số địa phương khác Các địa phương này đã xây dựng được cổng thông tin điện tử cho riêng mình, nó đã trở thành một công cụ phục vụ đắc lực trong việc quản lý, điều hành các hoạt động kinh tế, xã hội.
Cũng như một số ngành kinh tế - xã hội khác, ngành Giáo dục và Đào tạo với đặc điểm quản lý một địa bàn trên diện tích rất rộng lớn, việc tổng hợp phân tích các số liệu có liên quan đến hoạt động của ngành ở các địa phương tại các thời điểm khác nhau là rất cần thiết để Bộ Giáo dục và Đào tạo có thể đưa ra các biện pháp điều chỉnh đúng đắn và kịp thời. Chính vì vậy, việc xây dựng nghiên cứu thiết kế và tổ chức dữ liệu trên cổng thông tin điện tử ngành Giáo dục và Đào tạo để phục vụ cho công tác quản lý, chỉ đạo chuyên môn là việc làm cần thiết, góp phần vào việc đổi mới, nâng cao chất lượng Giáo dục và Đào tạo.
Xuất phát từ nhu cầu trên, em hướng nghiên cứu của mình vào các vấn đề liên quan đến lĩnh vực tổ chức dữ liệu và các giải pháp kỹ thuật hỗ trợ khai thác và tìm kiếm dữ liệu trên cổng thông tin điện tử. Về kết cấu của luận văn, ngoài phần mở đầu, kết luận và tài liệu tham khảo, luận văn được trình bày trong 3 chương:
Chương 1: Tổng quan về cổng thông tin điện tử Portal
Nội dung chương trình bày tổng quan về Portal.
Chương 2:Nghiên cứu một số vấn đề về tổ chức dữ liệu, cơ chế chuyển đổi dữ liệu trong cổng thông tin phục vụ cho việc tìm kiếm và khai thác dữ liệu.
Tìm hiểu tổ chức CSDL trong hệ thống thông tin phân tán; nghiên cứu một số phương pháp tìm kiếm và khai thác dữ liệu trên cổng thông tin điện tử iết lập cơ chế chuyển đổi thông tin tự động giữa các sever; Một số giải thuật tìm kiếm thông tin trên hệ thống thông tin phân tán.
Chương 3: Áp dụng nghiên cứu chương trình giải quyết bài toán khai thác và tìm kiếm thông tin trên cổng thông tin của ngành Giáo dục và Đào tạo
Trong chương này, trên cơ sở nghiên cứu và phân tích các yêu cầu thực tế từ các đơn vị, đưa ra các chuẩn hoá dữ liệu, thiết kế xây dựng cổng thông tin giáo dục và hướng giải quyết bài toán khai thác, tìm kiếm thông tin trong Cổng thông tin giáo dục.







Mục lục
trang

L ỜI CẢM ƠN .1
PHẦN MỞ ĐẦU 2
Chương 1:TỔNG QUAN VỀ CỔNG THÔNG TIN ĐIỆN TỬ PORTAL 4
1.1.Khái niệm về portal 4
1.1.1. Định nghĩa portal 4
1.1.2.So sánh portal với một website thông thường .4
1.2.Các đặc trưng cơ bản của portal .9
1.2.1.Chức năng tìm kiếm 16
1.2.2.Dịch vụ thư mục 16
1.2.3.Ứng dụng trực tuyến 17
1.2.4.Cá nhân hoá các dịch vụ .17
1.2.5.Cộng đồng ảo .17
1.2.6.Một điểm tích hợp thông tin duy nhất .18
1.2.7.Kênh thông tin .18
1.3.Phân loại portal .19
1.3.1.Consumer portal .19
1.3.2.Vertical portal 19
1.3.3.Horizontal portal 20
1.3.4.Enterprise porta 20
1.3.5.B2B portal 20
1.3.6.G2B portal 20
1.4.Các kỹ thuật của hệ thống portal 20
1.4.1.Portlet .20
1.4.2.Phân loại portlet và các dich vụ portlet .21
1.5.Khung làm việc của hệ thống Portal .22
1.6.Các bước xây dựng portal .23
1.6.1.Lập kế hoạch .23
1.6.2.Thiết kế tổng thể .24
1.6.3.Phát triển Portal .24
Chương 2:TỔ CHỨC DỮ LIỆU, CƠ CHẾ CHUYỂN ĐỔI DỮ LIỆU TRONG CỔNG THÔNG TIN PHỤC VỤ CHO VIỆC KHAI THÁC VÀ TÌM KIẾM DỮ LIỆU 26
2.1.Tổ chức dữ liệu trong hệ thống thông tin 26
2.1.1.Một số mô hình tổ chức CSDL trong hệ thống Client/server .26
2.1.2.Mô hình tổ chức dữ liệu trong portal 29
2.2.Cơ chế chuyển đổi thông tin giữa các Server trong portal .30
2.3.Các mô hình khai thác và tìm kiếm thông tin trong hệ thống thông tin .33
2.3.1.Mô hình xử lý Master/Slave 35
2.3.2.Mô hình xử lý Client/Server 35
2.3.3.Mô hình xử lý Server/Server 37
2.4.Một số thuật toán tìm kiếm dữ liệu trong hệ thống thông tin phân tán 37
2.4.1.Cấu trúc cơ bản của may tìm kiếm .38
2.4.2.Phương pháp biểu diễn dữ liệu trong máy tìm kiếm 39
2.4.3.Hoạt động của máy tìm kiếm Google .39
2.5.Mô hình tìm kiếm thông tin trong CSDL phân tán .40
Chương 3:ÁP DỤNG NGHIÊN CỨU CHƯƠNG TRÌNH GIẢI QUYẾT BÀI TOÁN KHAI THÁC VÀ TÌM KIẾM THÔNG TIN TRONG CỔNG THÔNG TIN NGÀNH GIÁO DỤC VÀ ĐÀO TẠO .41
3.1.Yêu cầu khai thác ,tìm kiếm thông tin từ các cấp trong ngành giáo dục và đào tạo .41
3.1.1.Yêu cầu khai thác thông tin từ cơ sở .42
3.1.2.Yêu cầu tìm kiếm ,khai thác thông tin quản lý từ các cơ quan chủ quản 46
3.1.3.Mô hình hoá các yêu cầu 47
3.2.Tối ưu hoá hệ thống cơ sở dữ liệu 47
3.2.1.Tại bộ giáo dục và đào tạo .57
3.2.2.Tại sở giáo dục và đào tạo .57
3.3.Xây dựng chương trình .59
3.3.1.Các modul sẽ được xây dựng .65
3.3.2.Giao diện cổng thông tin giáo dục 67
KẾT LUẬN 68
TÀI LIỆU THAM KHẢO 69