Luận Văn Xây dựng và quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ và chia sẻ dữ liệu LINDA

Xây dựng và quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ và chia sẻ dữ liệu LINDA

LINDA là hệ thống lưu trữ dữ liệu dựa trên công nghệ lưới dữ liệu, được xây dựng bởi sinh viên K49 tại trung tâm Tính toán hiệu năng cao trường Đai học Bách khoa Hà Nội (phiên bản này được gọi là LINDA – K49). Hiện tại, hệ thống LINDA – k49 đã xây dựng được các chính sách khá hoàn thiện cho người sử dụng, các cơ chế kiểm soát dung lượng, cơ chế hạn chế download/upload hoạt động ổn định. Quá trình upload/download được thực hiện trên các máy chủ tại trung tâm Tính toán hiệu năng cao nên đạt tốc độ cao. Tuy nhiên, dựa vào những phân tích về tính chất của hệ phân tán, những hạn chế của LINDA đã làm giảm chất lượng và khả năng triển khai/mở rộng của hệ thống:
ã Hệ thống chưa có module quản lý giấy ủy quyền (proxy) nên chưa khai thác được sức mạnh của các lưới dữ liệu đã được xây dựng và hoạt động ổn định.
ã Hệ thống không có khả năng triển khai và mở rộng: chưa cung cấp giao diện thêm các thành phần. Ngoài ra, các tham số cấu hình được đặt cố định trong mã nguồn nên hệ thống không có khả năng triển khai rộng rãi.
ã Hệ thống chưa có module kiểm soát tài nguyên: điều này đã làm cho hệ thống hoạt động không ổn định và hiệu quả.
Mục đích của đồ án là sử dụng các lưới tính toán có sẵn để xây dựng tầng lưu trữ lưới cho LINDA. Để có thể sử dụng các dịch vụ mà lưới cung cấp, cần phải nghiên cứu và xây dựng module quản lý giấy ủy quyền (proxy) hiệu quả cho người dùng trên các hệ thống lưới.
Nhằm nâng cao chất lượng dịch vụ, đồ án nghiên cứu các cơ chế quản lý tài nguyên trên môi trường lưới, đồng thời đưa ra thiết đế để xây dựng module quản lý tài nguyên. Module quản lý tài nguyên không những phải đảm bảo khả năng phát hiện các thành phần của hệ thống gặp lỗi, mà còn có khả năng thu nhận thông tin cần thiết về tài nguyên của hệ thống để phục phụ cho các module khác. Các hệ thống tham gia các lưới tính toán thường có các cơ chế quản lý tài nguyên và bảo mật khác nhau. Module quản lý tài nguyên được thiết kế độc lập với chính sách quản lý của từng hệ thống, và có thể dễ dàng thay đổi khi cần phải thu nhận những thông tin tài nguyên khác.
Trong quá trình hoạt động của hệ thống, một số thành phần có thể gặp lỗi và cần phải thay thế, hoặc khi cần nâng cấp – mở rộng hệ thống. Đồ án xây dựng những điều kiện, cơ chế và giao diện để thêm các thành phần ở tầng lưới dữ liệu: quy trình thêm Headnode và Datanode. Đầu tiên, đồ án xác định những yêu cầu các máy chủ muốn trở thành Headnode và Datanode của LINDA cần phải đáp ứng, sau đó Đồ án đưa ra các bước và giao diện để thêm các thành phần này.
Trong hệ thống đa người dùng như LINDA, việc kiểm soát tài nguyên của từng người dùng là điều quan trọng. Đồ án đã nghiên cứu và áp dụng cơ chế kiểm soát tốc độ upload/download file của người dùng, bằng cách nghiên cứu sự phụ thuộc tốc độ giao thức GridFTP và số luồng dữ liệu và độ lớn bộ đệm dữ liệu.
Kết cấu đề tài:
Chương 1 – Đặt vấn đề
Chương 2 – Nền tảng công nghệ
Chương 3 – Quản lý giấy ủy quyền cho HEADNODE
Chương 4 – Quy trình thêm các thành phần của hệ thống
Chương 5 - Quản lý tài nguyên cho tầng lưới dữ liệu
Chương 6 – Kiểm soát tốc độ truyền tệp của hệ thống
Chương 7 – Kết luận và hướng phát triển