Đồ Án Tìm hiểu về Data Warehouse

Tìm hiểu về Data Warehouse
MỤC LỤC
LỜI CẢM ƠN . 1
LỜI NÓI ĐẦU 5
Chương 1. GIỚI THIỆU VỀ KHO DỮ LIỆU . 7
1.1. Lịch sử phát triển của kho dữ liệu 7
1.2. Kho dữ liệu là gì (What is the data warehouse)? . 12
1.3. Đặc điểm 13
1.4. Mục đích của kho dữ liệu 13
1.5. Mục tiêu của kho dữ liệu . 14
1.5.1. Truy cập dễ dàng 14
1.5.2. Thông tin nhất quán 14
1.5.3. Thích nghi với sự thay đổi . 14
1.5.4. Hỗ trợ ra quyết định 14
1.5.5. Bảo mật . 14
1.6. Các chức năng chính: 15
1.7. Lợi ích: 15
1.8. Đặc tính của kho dữ liệu . 15
1.9. Cấu trúc dữ liệu cho kho dữ liệu 16
1.10. Kiến trúc của một hệ thống kho dữ liệu . 17
1.11. Mối quan hệ giữa kho dữ liệu và khai phá dữ liệu 18
1.12. Các lĩnh vực ứng dụng 18
Chương 2. CÁC YẾU TỐ CƠ BẢN CỦA KHO DỮ LIỆU 19
2.1. Kiểu của dữ liệu và cách sử dụng . 19
2.1.1. Kiểu của dữ liệu (Types of data) . 19
2.1.1.1. Ý nghĩa 19
2.1.1.2. Cấu trúc . 19
2.1.1.3. Phạm vi(Scope) 19
2.1.2. Dữ liệu công việc (Business data) 20
2.1.2.1. Định nghĩa 20
2.1.2.2. Tiêu chuẩn cho kiểu của dữ liệu công việc: 20

2.1.2.3. Ba kiểu của dữ liệu công việc: 21
2.1.3. Siêu dữ liệu(Meta data) 24
2.1.3.1. Khái niệm 24
2.1.3.2. Mục đích 24
2.1.3.3. Metadata phải chứa các thông tin: 25
2.1.3.4. Tác dụng của metadata 25
2.1.3.5. Tiêu chuẩn cho các kiểu siêu dữ liệu 25
2.1.3.6. Ba loại siêu dữ liệu 26
2.1.4. Dữ liệu vượt quá phạm vi của kho dữ liệu (Data beyond the
scope of the Data Warehouse) . 29
2.1.4.1. Dữ liệu giống như một sản phẩm(Data as a product) . 29
2.1.4.2. Dữ liệu công việc cá nhân và siêu dữ liệu 29
2.1.5. Dữ liệu bên trong và bên ngoài (Internal and external data) 30
2.1.6. Kết luận: 31
2.2. Khái niệm kiến trúc dữ liệu(Conceptual data architecture): 32
2.2.1. Các kiến trúc dữ liệu công việc (Business data architectures)
. 32
2.2.2. Kiến trúc đơn lớp dữ liệu (The single-layer data architecture)
. 33
2.2.3. Kiến trúc hai lớp dữ liệu (The two-layer data architecture) 34
2.2.4. Kiến trúc ba lớp dữ liệu (The three-layer data architecture) 35
Chương 3 38
GIỚI THIỆU KIẾN TRÚC LOGIC KHO DỮ LIỆU 38
3.1. Dữ liệu công việc trong kho dữ liệu (Business data in the data
warehouse) . 38
3.1.1. Các hệ thống vận hành (Operational systems) . 38
3.1.2. Kho dữ liệu công việc (The business data warehouse) . 38
3.1.3. Các kho thông tin công việc ( Business information warehouses -
BIW) 39
3.2. Các vấn đề khác của dữ liệu công việc (Business data - other
considerations) 40
3.2.1 Các nhu cầu dữ liệu đặc biệt (Special data needs) 40
3.2.2. Nhân tố cơ bản cho luồng dữ liệu duy nhất ( The rationate for
uniditrecional data flow) . 41
3.2.3. Hỗ trợ "đối chiếu" các luồng dữ liệu (Supporting " reverse " data
flows): . 41

3. 2. 4. Dữ liệu cá nhân (Personal data ) . 41
3.3. Dữ liệu bên ngoài. 42
3.3.1. Thông tin quản lý bên ngoài( Exteral management
information): 42
3.3.2. Trao đổi dữ liệu điện tử (Electronic data interchange - EDI):
. 43
3.4. Siêu dữ liệu trong kho dữ liệu (Metadata in the Data warehouse) 44
3.5. Danh mục kho dữ liệu (The data warehouse catalog -DWC): . 44
3.6. Các hệ thống vận hành (Operational systems) . 46
3.7. Chức năng kho dữ liệu (Data warehouse functionality): . 46
Chương 4. NGÔN NGỮ CHO KHO DỮ LIỆU 49
4.1. Khái niệm 49
4.2. Bản chất của OLAP 49
4.3. OLAP tập trung vào các câu lệnh sau: 49
4.4. Đối tượng chính của OLAP 49
4.4.1. Khối (Cube) 49
4.4.2. Chiều (Dimension) . 50
4.4.3. Các đơn vị đo lường (Measures) 51
4.4.4. Các phân hoạch (Partitions) 51
4.4.5. Một ví dụ vè tổ chức kho dữ liệu trong hệ thống giáo dục . 51
KẾT LUẬN 57
TÀI LIỆU THAM KHẢO 58
Trang -4-




Tìm hiểu về Data Warehouse
LỜI NÓI ĐẦU
Khi một doanh nghiệp đi vào hoạt động, những nhà quản lý doanh nghiệp
sẽ phải đặt các câu hỏi và có nhu cầu muốn biết về tình hình kinh doanh, tốc
độ tăng trưởng, lượng giao dịch hàng ngày, hàng tháng, hàng quý, hàng năm,
so sánh giữa năm này, năm khác, hoặc phân khúc các khách hàng của doanh
nghiệp, hoặc phân tích doanh thu.
Đối với mỗi doanh nghiệp, họ sẽ tự xây dựng cho mình một hệ thống quản
lý giao dịch (OLTP - Online Transaction Procesing) hay chính là các ứng
dụng (applications), chương trình (software), hệ thống vận hành (system)
hàng ngày của doanh nghiệp. Ví dụ như các ngân hàng, các công ty viễn
thông (họ thường phải thuê xây dựng hệ thống chuyên biệt). Tuy nhiên các hệ
thống này chỉ được thiết kế cho việc nhập dữ liệu hàng ngày hoặc để vận hành
hệ thống. Chúng cũng có khả năng cho phép lấy dữ liệu cho một số báo cáo
đơn giản.
Tuy nhiên đối với những yêu cầu báo cáo theo nhiều chiều như: loại
khách hàng, theo thời gian, đòi hỏi phải tính toán phức tạp thì hầu như các hệ
thống này rất khó thực hiện.
Mặt khác các doanh nghiệp lớn như ngân hàng, viễn thông, họ phải có
nhiều hệ thống con vận hành song song với nhau. Ví dụ: ngân hàng thì có
phân hệ tiền gửi (cá nhân, sổ tiết kiệm), tiền vay, kho quỹ. Viễn thông thì có
trả trước, trả sau, bán hàng. Như thế, để thực hiện được việc báo cáo, họ phải
tổng hợp dữ liệu từ nhiều hệ thống con khác nhau mới có thể thể thiện được
các báo cáo một cách tổng thể.
Xuất phát từ những vấn đề trên, họ phải bắt buộc xây dựng một hệ thống
nữa, chính là một cơ sở dữ liệu mới dành cho việc truy vấn và báo cáo ở phạm


vi toàn doanh nghiệp. Hay còn gọi là kho dữ liệu, là nơi tổng hợp dữ liệu từ
tất cả các hệ thống con lại, thực hiện việc tính toán trên các dữ liệu này và kết
xuất ra các bảng mà dữ liệu của bảng đã được tính toán theo một mục đích
nào đó.
Kho dữ liệu là một hướng công nghệ mới được sử dụng phổ biến cho các
bài toán lớn hiện nay như: quản trị doanh nghiệp, Y tế, bảo hiểm, ngân hàng,
dân số, viễn thông. Bởi vì việc xây dựng kho dữ liệu không những giúp cho
doanh nghiệp lưu trữ một lượng thông tin lớn hằng ngày mà còn giúp cho các
nhà quản lý doanh nghiệp có thể trích rút nguồn tài nguyên một cách nhanh
chóng, chính xác. Đồng thời giúp họ phân tích và đưa ra các báo cáo một cách
kịp thời, góp phần thúc đẩy cho việc kinh doanh đạt kết quả tốt nhất.
Đây cũng là kiến thức rất hữu ích và cần thiết để có thể khai thác ngày một
hiệu quả các thành tựu tin học. Đó cũng là lý do em chọn đề tài này làm đồ án
tốt nghiệp. Đề tài gồm có 4 chương:
Chương 1: Giới thiệu về Kho dữ liệu (Data warehouse),
Chương 2: Các yếu tố cơ bản của Kho dữ liệu,
Chương 3: Giới thiệu kiến trúc logic của Kho dữ liệu,
Chương 4: Giới thiệu về Ngôn ngữ cho kho dữ liệu: trong chương này giới
thiệu về OLAP và trình bày một ví dụ xây dựng kho dữ liệu.
Và cuối cùng là phần kết luận