Chuyên Đề Luận văn tốt nghiệp Nghiên cứu hệ thống cụm máy tính xử lý song song rocks và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Tài liệu hơn 100 trang
Định dạng file word và pdf

TÓM TẮT NỘI DUNG



Tài liệu này giới thiệu sơ lược về công nghệ xử lý song song nói chung và công
nghệ xử lý song song phân cụm nói riêng, sau đó tập trung nghiên cứu một hệ thống cụm
máy tính xử lý song song tiêu biểu: Rocks. Các nội dung chính được trình bày là: Các
kiến trúc xử lý song song SISD, SIMD, MISD, MIMD (theo phân loại của Flynn), cùng
các hệ thống tính toán đa nhân, các hệ thống đa xử lý đối xứng, các hệ thống tính toán
lưới, tính toán cụm và các hệ thống xử lý song song cực lớn (Chương 2); giới thiệu tổng
quan về kiến trúc và thành phần của hệ thống Rocks, hướng dẫn cài đặt, nghiên cứu kiến
trúc hệ thống và cách quản trị (Chương 3); hướng dẫn lập trình MPI căn bản, phương
pháp xây dựng ứng dụng MPI để đạt hiệu quả cao, tận dụng được tài nguyên hệ thống
(Chương 4);

Chương 5 của khóa luận trình bày chi tiết một ứng dụng xử lý song song tiêu biểu,
cùng cách thức thiết lập môi trường và hướng dẫn biên dịch.

Phần cuối của tài liệu có trình bày 4 phụ lục, xem như là các nội dung mở rộng cho
những phần đã trình bày trong các chương.


MỤC LỤC



LỜI CẢM ƠN i

TÓM TẮT NỘI DUNG ii

MỤC LỤC . iii

DANH MỤC BẢNG BIỂU .vii

DANH MỤC HÌNH VẼ . viii

CHƯƠNG 1. GIỚI THIỆU 1

CHƯƠNG 2. CÁC KIẾN TRÚC VÀ CÁC HỆ THỐNG XỬ LÝ SONG SONG .4



2. 1. Các kiến trúc xử lý song song .4

SISD 6

SIMD 7

MISD 7

MIMD .8


Các hệ thống xử lý song song .8


Các hệ thống tính toán đa nhân .8

Các hệ thống đa xử lý đối xứng 9

Các hệ thống tính toán phân tán 10


Các hệ thống tính toán lưới .10

Các hệ thống xử lý song song cực lớn .12

Các hệ thống tính toán cụm 12
CHƯƠNG 3. HỆ THỐNG ROCKS 16



3. 1.


Giới thiệu 16


Tổng quan .16

Kiến trúc của HPC Cluster sử dụng Rocks 17

Rocks và Rolls 18



3. 2. Cài đặt .20

Cấu hình 20

Cài đặt frontend 20

Cài đặt hàng loạt các compute node .24



3. 3. Kiến trúc hệ thống .25

Quy tắc đặt tên của Rocks .25

Về cơ sở dữ liệu cluster .28

Về sơ đồ cơ sở, file cơ sở và quá trình cài đặt một compute node .34



3. 4. Quản trị .39


Tổng quan .39

Frontend quản trị cluster như thế nào? .40

Các tác vụ quản trị cơ bản .43


Cài đặt lại một compute node trong lần boot PXE tiếp theo 43

Xem và thay đổi các cấu hình mạng 48



CHƯƠNG 4. LẬP TRÌNH SONG SONG VỚI MPI .50



4. 1. Các mô hình lập trình song song 50

Mô hình bộ nhớ chia sẻ .50

Mô hình đa luồng .51
Mô hình truyền thông điệp 52

Mô hình song song dữ liệu 53



4. 2. Các ưu điểm của mô hình truyền thông điệp .54

Phổ biến 54

Khả năng mô tả 54

Dễ gỡ lỗi hơn 55

Hiệu năng 55

Giới thiệu về MPI 55

Mục tiêu của MPI 56

Các đặc điểm của MPI 56

Khác biệt giữa các bản cài đặt bằng C và C++ của MPI .58

MPI trên Rocks 58

Viết chương trình Hello World .59

Các hàm MPI cơ bản .64


Hàm MPI_Init 64

Hàm MPI_Finalize 65

Hàm MPI_Comm_size .65

Hàm MPI_Comm_rank .65


Giá trị trả về của các hàm MPI .66

Về các khái niệm Nhóm, Ngữ cảnh và Bộ liên lạc 66

Liên lạc giữa các tiến trình 67

Xây dựng một ứng dụng tự trị 70

Về mối quan hệ giữa kích thước bài toán và chi phí tính toán .75

Phương hướng xây dựng một ứng dụng MPI 77



CHƯƠNG 5. CÀI ĐẶT THỬ NGHIỆM ỨNG DỤNG TRÊN HỆ THỐNG ROCKS 78


Thiết lập môi trường 78

Mã nguồn ứng dụng .79

Biên dịch và chạy ứng dụng 86

Kết quả thử nghiệm .86



CHƯƠNG 6. KẾT LUẬN 89

PHỤ LỤC 1. SƠ LƯỢC VỀ CÁCH PHÁT TRIỂN ROLL MỚI .90

PHỤ LỤC 2. LIÊN LẠC GIỮA CÁC TIẾN TRÌNH MPI 99

PHỤ LỤC 3. SỬ DỤNG MPI ĐỂ TÍNH TÍCH PHÂN .102

PHỤ LỤC 4. SỬ DỤNG MPI ĐỂ TÍNH TOÁN SỐ PI 104

TÀI LIỆU THAM KHẢO 109

CHƯƠNG 1. GIỚI THIỆU



“Đạt tới tốc độ tính toán 1 teraflop là bài toán lớn nhất trong khoa học máy tính
trong 2 thập kỷ qua. Chỉ mới 10 năm trước đây, những nhà lãnh đạo đáng tin cậy nhất
trong ngành công nghiệp tính toán còn nói rằng điều đó là không thể.” (Gil Weigand)
[45]

Nếu chúng ta đã từng dùng Google để tìm kiếm thông tin trên Internet, thì hẳn sẽ có
lúc chúng ta phải ngạc nhiên trước tốc độ xử lý của cỗ máy tìm kiếm này. Mỗi một giây
qua đi, Google tiếp nhận tới hàng nghìn yêu cầu tìm kiếm, và mỗi yêu cầu tìm kiếm đó
cần phải được xử lý qua hàng chục tỷ phép tính với lượng dữ liệu truy cập lên đến hàng
trăm Megabytes. Ngoài một hệ thống cơ sở dữ liệu được thiết kế đặc biệt, cùng với
những thuật toán khai phá dữ liệu được tối ưu hóa, thì bí mật đằng sau tốc độ xử lý của
Google chính là hệ thống các cluster với tổng cộng khoảng 15000 máy tính trên toàn thế
giới. Google tối thiểu hóa thời gian xử lý đối với mỗi yêu cầu tìm kiếm bằng cách tiến
hành xử lý song song mỗi yêu cầu đó. Điều này cũng có nghĩa là Google sẽ xử lý được
nhiều yêu cầu tìm kiếm hơn trong cùng một khoảng thời gian [6].

Google chính là một ví dụ điển hình về vai trò và sự thành công của xử lý song song
trong ngành công nghiệp tính toán nói riêng và trong cuộc sống nói chung. Trong thời đại
thông tin bùng nổ, con người càng ngày càng trở nên bận rộn thì nhu cầu của xử lý song
song ngày càng được nâng cao nhằm xử lý được một lượng dữ liệu lớn nhất trong thời
gian nhanh nhất có thể. Xử lý song song ngày càng được quan tâm trên thế giới vì 2 lý do
chính sau đây:

· Đạt được hiệu năng cao hơn trong khi tiết kiệm được thời gian và tiền bạc. Về lý
thuyết, càng đầu tư nhiều tài nguyên cho một nhiệm vụ nào đó thì càng rút ngắn
được thời gian thực hiện nhiệm vụ đó, đồng thời tiết kiệm được càng nhiều chi
phí. Hơn nữa, nhiều hệ thống xử lý song song có thể được xây dựng từ những
thành phần rẻ tiền và phổ biến.


·

Khả năng xử lý các bài toán lớn. Nhiều bài toán trong thực tế đòi hỏi tài nguyên
tính toán lớn đến mức không một máy tính đơn lẻ nào có thể đáp ứng nổi. Chẳng

Tài liệu tham khảo

[1] HTTP:// www.bkav.com.vn/

[2] HTTP://www.echip.com.vn/

[3] HTTP://www.hvaonline.net/

[4] HTTP://www.symantic.com/

[5] HTTP://virus.com/

[6] Ts. Nguyễn Viết Thế. Toàn cảnh an ninh mạng Việt Nam 2007 và dự báo an ninh
mạng năm 2008.Tr 2-14.