Thạc Sĩ Phương pháp xử lý phân tích trực tuyến áp dụng trong xây dựng hệ trợ giúp quyết định dựa vào dữ liệu

MỤC LỤC

Danh mục hình vẽ 5

Danh sách các thuật ngữ và từ viết tắt .6

Lời mở đầu .7

Chương I. Khai thác dữ liệu và xử lý phân tích trực tuyến 10

1.1. Giới thiệu các phương pháp khai thác dữ liệu .10

1.2. Xử lý phân tích trực tuyến (OLAP) 11

1.3. Nguyên tắc của OLAP 12

1.3.1. Khung nhìn đa chiều .12

1.3.2. Tính trong suốt (Transparency) 12

1.3.3. Khả năng truy nhập được 13

1.3.4. Thực hiện việc tạo báo cáo đồng nhất 13

1.3.5. Kiến trúc khách/chủ (Client/Server) .13

1.3.6. Cấu trúc chung cho các chiều (Generic Dimensionality) .13

1.3.7. Làm việc với ma trận .14

1.3.8. Hỗ trợ nhiều người sử dụng .14

1.3.9. Phép toán giữa các chiều không hạn chế 14

1.3.10. Thao tác tập trung vào dữ liệu 14

1.3.11. Tạo báo cáo linh hoạt .15

1.3.12. Không hạn chế số chiều và các mức kết hợp dữ liệu 15

Chương II. Kho dữ liệu (Data Warehouse) 16

2.1. Các thành phần kho dữ liệu 16

2.1.1. Siêu dữ liệu (Metadata) .17

2.1.2. Các nguồn dữ liệu .17

2.1.3. Hệ thống xử lý giao dịch trực tuyến (OLTP) 18

2.1.3.1. Những đặc điểm của hệ thống OLTP 19

2.1.3.2. Các công cụ thu thập, làm sạch và chuyển đổi dữ liệu nguồn .20

2.1.4. Cơ sở dữ liệu của kho dữ liệu .22

2.1.5. Kho dữ liệu 23

2.1.5.1. Định nghĩa 23

2.1.5.2. Đặc điểm dữ liệu trong kho dữ liệu .24

2.1.6. Kho dữ liệu chủ đề (Datamart) .25

2.2. Sử dụng kho dữ liệu .26

2.3. Phương pháp xây dựng kho dữ liệu 28

2.4. Thiết kế CSDL cho kho dữ liệu .29

2.4.1. Giản đồ hình sao (Star) .29

2.4.2. Giản đồ hình tuyết rơi (Snowflake) .32

2.4.3 Giản đồ kết hợp 33

2.4.4. Những vấn đề liên quan tới thiết kế giản đồ hình sao .34

2.4.4.1. Đánh chỉ số 34

2.4.4.2. Chỉ thị về mức 35

2.4.5. Những nhân tố thiết kế cần phải được cân nhắc .35

2.5. Quản trị kho dữ liệu .

Chương III. Tiếp cận và phân tích đa chiều trong xử lý phân tích

trực tuyến 39

3.1. Tiếp cận đa chiều 39

3.2. Phân tích đa chiều 40

3.3. Kiến trúc khối của OLAP (OLAP Cube Architecture) 42

3.3.1. Giới thiệu kiến trúc khối .42

3.3.2. Khối (Cube) .43

3.3.2.1. Xác định khối .44

3.3.2.2. Xử lý các khối 45

3.3.2.3. Khối ảo (Virtual Cube) 46

3.3.3 Chiều (Dimension) .46

3.3.3.1. Xác định các chiều .48

3.3.3.2. Chiều có phân cấp 48

3.3.3.3. Phân cấp chiều .49

3.3.3.4. Roll_up và Drill_down dựa trên phân cấp chiều .50

3.3.3.5. Các chiều ảo (Virtual Dimensions) 50

3.3.4. Các đơn vị đo lường (Measures) .51

3.3.5. Các phân hoạch (Partitions) .51

3.3.6. Các phương pháp lưu trữ dữ liệu (MOLAP, ROLAP, HOLAP) .53

3.3.6.1. MOLAP (Multidimensional OLAP) 53

3.3.6.2. ROLAP (Relational OLAP) .54

3.3.6.3. HOLAP (Hybrid OLAP) 55

3.4. Thuật toán chỉ số hoá các khung nhìn trong xử lý phân tích trực tuyến kho dữ

liệu .55

3.4.1. Một số khái niệm cơ bản .56

3.4.1.1. Các khối dữ liệu con (Subcubes) .56

3.4.1.2. Câu truy vấn (Queries) .56

3.4.1.3. Chỉ số (Indexes) .57

3.4.1.4. Quan hệ tính toán và phụ thuộc .58

3.4.2. Thuật toán chọn View và Index .61

3.4.2.1. Ước tính kích thước của mỗi View 61

3.4.2.2. Ước tính kích thước của chỉ số Index 61

3.4.2.3. Xác định bài toán .62

3.4.2.4. Giải quyết bài toán .63

3.3.5 Kết luận 66

Chương IV. Hệ trợ giúp quyết định dựa vào dữ liệu .67

4.1. Hệ trợ giúp quyết định .67

4.1.1. Giới thiệu 67

4.1.2. Hệ trợ giúp quyết định 68

4.1.3. Phân loại các hệ trợ giúp quyết định 69

4.2. Hệ trợ giúp quyết định dựa vào dữ liệu 71

4.2.1. Tiếp cận kho dữ liệu và OLAP 71

4.2.2. Trợ giúp quyết định dựa vào dữ liệu trên cơ sở kho dữ liệu và OLAP .73

4.2.3. Tiến trình trợ giúp quyết định dựa vào dữ liệu cho bài toán cụ thể .75

4.3. Xây dựng cấu trúc thông tin hỗ trợ việc ra quyết định 77

4.3.1. Vai trò của cấu trúc thông tin .77

4.3.2. Các yếu tố ảnh hưởng .78

4.3.2.1. Các yêu cầu thông tin .78

4.3.2.2. Mức độ tích hợp .80

4.3.3. Mô hình tổ chức thông tin .81

4.3.3.1. Các yêu cầu thông tin và năng lực của hệ thống thông tin 81

4.3.3.2. Mức độ tích hợp hệ thống 83

4.3.4. Kết luận .84

4.4. Dịch vụ trợ giúp quyết định của Microsoft 85

4.4.1. Kho dữ liệu Microsoft .85

4.4.1.1. Microsoft Data Warehousing Framework .86

4.4.1.2. Sự phức tạp của dữ liệu .87

4.4.1.3. Lợi ích đối với việc kinh doanh .88

4.4.1.4. Mô hình dữ liệu 88

4.4.1.5. Các hình thức lưu trữ .89

4.4.2. Kiến trúc dịch vụ trợ giúp ra quyết định của Microsoft 90

4.4.3. Các vấn đề trong việc triển khai Microsoft DSS .91

4.4.3.1. Xây dựng mô hình dữ liệu OLAP cho Microsoft DSS 91

4.4.3.2. Lưu trữ mềm dẻo .93

4.4.3.3. Chuyển thông tin tới người sử dụng 97

4.4.3.4. Khả năng của các công cụ OLAP 100

4.5. Hướng nghiên cứu phát triển: Hệ trợ giúp quyết định phân tán 102

Chương V. Xây dựng hệ thống trợ giúp quyết định dựa vào dữ liệu

bằng công cụ Analysis Services 106

5.1. Mục tiêu của hệ thống 106

5.2. Yêu cầu về hệ thống 106

5.3. Chức năng chính của hệ thống 107

5.3.1. Chức năng tạo lập CSDL đa chiều .109

5.3.2. Chức năng phân tích và hiển thị dữ liệu .109

5.4. Giới thiệu hệ thống .110

5.4.1. Khởi động Analysis Manager 110

5.4.2. Cài đặt cơ sở dữ liệu và nguồn dữ liệu (Database & Data Source) .110

5.4.3. Tạo khối .111

5.4.4. Lưu trữ và xử lý khối .114

5.4.5. Khối ảo tăng cường khả năng xử lý và bảo mật .117

5.4.6. Tạo khối ảo 118

5.4.7. Hiển thị dữ liệu khối 120

5.4.8. Ví dụ minh họa 121

Phần kết luận .122

Tài liệu tham khảo .124

Tóm tắt luận văn 125


Các hoạt động sản xuất, kinh doanh hiện nay luôn cần có sự đáp ứng nhanh nhạy, tức thời đối với các thay đổi liên tục, vì vậy các nhà quản lý buộc phải thường xuyên ra cùng lúc nhiều quyết định đúng đắn (mà chúng sẽ ảnh hưởng đáng kể đến xu hướng hoạt động và sự cạnh tranh của doanh nghiệp) một cách nhanh chóng. Do đó vấn đề trợ giúp quyết định trở nên rất cần thiết.

Người ta cần phải thu thập, tổng hợp và phân tích dữ liệu từ nhiều nguồn khác nhau một cách nhanh và hiệu quả thì mới có thể ra được những quyết định nhanh chóng và phù hợp. Điều này dẫn đến việc cần phát triển những hệ thống tinh thông biết cách làm thế nào để trích chọn và phân tích dữ liệu cho người sử dụng.

Hiện nay có rất nhiều phần mềm cung cấp cho người sử dụng những khả năng truy vấn và lập các báo cáo thông tin, đặc biệt là các hệ quản trị

CSDL quan hệ. Tuy nhiên CSDL quan hệ với cấu trúc hai chiều (dòng và cột) không được thiết kế để cung cấp các quan điểm đa chiều trên dữ liệu đầu vào của các phân tích phức tạp. Sử dụng các hệ thống này, chúng ta sẽ gặp rất nhiều khó khăn và bất tiện trong việc tổ chức dữ liệu đa chiều vào các bảng hai chiều, không thể triển khai dữ liệu phân tích với số lượng lớn, công cụ phân tích để tạo ra các dữ liệu quyết định không mạnh, thuận tiện, linh hoạt, nhanh chóng và nhất là không dễ dàng để sử dụng đối với các nhà quản lý, những người ra quyết định.

Như vậy, việc xây dựng một hệ thống mới có khả năng tổ chức dữ liệu đa chiều và có khả năng phân tích dữ liệu linh hoạt để trả lời được các truy vấn đa chiều một cách dễ dàng, nhanh chóng nhằm hỗ trợ cho việc ra quyết định của các nhà quản lý là cần thiết.

Mục đích của đề tài:

Luận văn đề cập đến việc nghiên cứu xây dựng một hệ trợ giúp quyết định dựa vào dữ liệu, sử dụng phương pháp luận xử lý phân tích trực tuyến (OLAP). Đề tài sẽ tập trung vào hai công việc chính là nghiên cứu vấn đề tổ chức cơ sở dữ liệu đa chiều, phân tích và hiển thị dữ liệu để trợ giúp ra quyết định.

Hệ trợ giúp quyết định theo cách tiếp cận này có thể giúp các nhà quản lý thiết lập một mô hình OLAP cho ứng dụng cụ thể của mình trong việc tổ chức cơ sở dữ liệu đa chiều và dễ dàng điều chỉnh hoạt động phân tích, tìm kiếm thông tin theo những khía cạnh khác nhau của dữ liệu nhằm thu thập được tối đa dữ liệu cần thiết để từ đó đưa được những quyết định tốt nhất một cách nhanh chóng.

Không giống với các hệ trợ giúp quyết định truyền thống thường được xây dựng với mục đích đưa ra giải pháp tối ưu cho một bài toán cụ thể, trong một phạm vi ứng dụng hẹp, hệ trợ giúp quyết định dựa vào dữ liệu hướng đến việc giúp người sử dụng có thể khai thác được tối đa khả năng tiềm ẩn của một khối lượng dữ liệu lớn, nhằm thu được những thông tin tổng hợp ở đủ các khía cạnh khác nhau của dữ liệu, để từ đó có thể ra các quyết định đúng một cách nhanh chóng. Do đặc điểm này, phạm vi ứng dụng của hệ trợ giúp quyết định dựa vào dữ liệu là rộng. Nó có thể được sử dụng để trợ giúp quyết định cho các bài toán khác nhau, trong những lĩnh vực khác nhau.

Bố cục của luận văn:

Toàn bộ luận văn được trình bày trong 5 chương:

ã Chương 1: Giới thiệu các phương pháp khai thác dữ liệu, các nội dung cơ bản về xử lý phân tích trực tuyến.

ã Chương 2: Trình bày các lý thuyết chung về kho dữ liệu và mô hình kho dữ liệu, phương pháp xây dựng và thiết kế CSDL cho kho dữ liệu.

ã Chương 3: Trình bày phương pháp tiếp cận và phân tích đa chiều trong xử lý phân tích trực tuyến.

ã Chương 4: Giới thiệu Hệ trợ giúp quyết định dựa vào dữ liệu với hai thành phần chính là kho dữ liệu và xử lý phân tích trực tuyến. Tiến trình trợ giúp quyết định dựa vào dữ liệu. Xây dựng cấu trúc thông tin để hỗ trợ việc ra quyết định và giới thiệu về dịch vụ trợ giúp quyết định

của Microsoft. Hướng nghiên cứu phát triển.

ã Chương 5: Xây dựng hệ thống với chức năng tạo lập cơ sở dữ liệu đa chiều và phân tích hiển thị dữ liệu