Thạc Sĩ Công nghệ image fusion trong xử lý ảnh viễn thám

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
Chuyên ngành: VẬT LÝ VÔ TUYẾN VÀ ĐIỆN TỬ - KỸ THUẬT
LUẬN VĂN THẠC SĨ
VẬT LÝ VÔ TUYẾN VÀ ĐIỆN TỬ - KỸ THUẬT
Tháng 09/2009


Mục lục 1
Danh mục các từ tiếng Anh viết tắt .5
Danh mục các bảng biểu .6
Danh mục các hình vẽ, đồ thị .7

MỞ ĐẦU 10

Chương 1: TỔNG QUAN VỀ ẢNH VIỄN THÁM . 11
1.1 Khái niệm về ảnh viễn thám 11
1.2 Giới thiệu về ảnh viễn thám MODIS (Moderate Resolution
Spectroradiometer) 12
1.2.1 Khái niệm về ảnh MODIS 12
1.2.2 Quy trình xử lý ảnh MODIS .13
1.2.3 Các ứng dụng của ảnh viễn thám MODIS 14

Chương 2: TỔNG QUAN VỀ CÔNG NGHỆ IMAGE FUSION 17
2.1 Khái niệm về Image Fusion .17
2.2 Quá trình phát triển của công nghệ Image fusion .18
2.2.1 Phân tích Image fusion .19
2.2.2 Sự kết hợp ảnh toàn sắc và ảnh đa phổ trong image fusion .20
2.3 Fusion dữ liệu đa bộ cảm ứng .26
2.3.1 Khái niệm về fusion dữ liệu đa bộ cảm ứng .26
2.3.2 Mô hình của fusion nhiều bộ cảm ứng .26
2.4 Cấu trúc fusion 28
2.4.1 Các cấu trúc fusion .28
2.4.2 Sự ảnh hưởng của cấu trúc fusion đến sự thực thi image fusion 31
2.4.3 Các thử nghiệm .35
2.5 Đánh giá khách quan sự đáp ứng fusion .37
2.5.1 Ý nghĩa của sự đáp ứng fusion .37
2.5.2 Đánh giá kết quả fusion 38
2.5.3 Đánh giá khách quan sự thích nghi của fusion .40

2.5.4 Các công nghệ Image fusion 43
2.6 Một số ứng dụng của Image Fusion 44
2.6.1. Công dụng của image fusion .44
2.6.2 Các ngành nghiên cứu liên quan đến image fusion 45

Chương 3: PHÂN TÍCH CÁC PHƯƠNG PHÁP IMAGE FUSION 46
3.1 Quan điểm chung của phương pháp fusion ảnh viễn thám .46
3.2 Phương pháp fusion dựa vào phân đoạn vùng 47
3.2.1 Đo mức bức xạ 49
3.2.2 Đo mức độ cân bằng .50
3.2.3 Quyết định lựa chọn các hệ số và kết hợp 51
3.3 Phương pháp Spatial frequency .53
3.3.1 Khái niệm phương pháp Spatial frequency 53
3.3.2 Thực hiện phương pháp Spatial frequency trong image fusion .54
3.4 Phương pháp Laplacian pyramid .55
3.4.1 Khái niệm về phương pháp Laplacian pyramid .55
3.5 Phương pháp CEMIF .60
3.5.1 Khái niệm về phương pháp CEMIF .60
3.5.2 Xử lý ngưỡng thích nghi .61
3.6 Phương pháp phân tích các thành phần chính - PCA 62

Chương 4: BIẾN ĐỔI WAVELET TRONG IMAGE FUSION 67
4.1 Khái niệm về phương pháp biến đổi Wavelet trong image fusion 67
4.2 Phân tích biến đổi Wavelet trong image fusion 68
4.2.1 Xác định vùng cơ sở image fusion .69
4.2.2 Biến đổi Wavelet rời rạc trường hợp fusion ảnh toàn sắc và ảnh đa phổ.70
4.2.3 Biến đổi Wavelet rời rạc trong image fusion 73
4.2.4 Dual – Tree Complex Wavelet Transform trong image fusion 76

Chương 5: LỌC NHIỄU CHO DỮ LIỆU IMAGE FUSION 78
5.1 Khái niệm về hiện tượng nhiễu trong ảnh .78
5.2 Lọc Median ứng dụng trong lọc nhiễu muối tiêu (salt and pepper) 78
5.3 Ứng dụng lọc Wiener cho lọc nhiễu Gaussian 80

5.4 Ứng dụng lọc Rank để lọc nhiễu speckle 82
5.4.1 Khái niệm nhiễu speckle .82
5.4.2 Bộ lọc Rank 83

Chương 6: SỰ TIẾP CẬN ĐÁNH GIÁ VỀ IMAGE FUSION 85
6.1 Mục đích tiếp cận đánh giá image fusion 85
6.2 Phương pháp đánh giá image fusion .85

Chương 7: THỰC NGHIỆM 89
7.1 Diễn giải chương trình mô phỏng 89
7.2 Mô tả quá trình thực nghiệm .90
7.3 Tiến trình thực hiện fusion 91
7.3.1 Chọn ảnh để thực hiện fusion .91
7.3.2 Chuyển ảnh màu thành ảnh xám .92
7.3.3 Làm mờ ảnh vào .93
7.3.4 Cộng nhiễu vào ảnh 95
7.3.5 Quá trình lọc nhiễu .96
7.3.6 Quá trình thực hiện phương pháp fusion 96
7.4 Nhận xét các phương pháp fusion .105
7.4.1 Phương pháp fusion cấu trúc thứ bậc .105
7.4.2 Phương pháp fusion cấu trúc tổng hợp .108
7.4.3 Ảnh hưởng nhiễu lên quá trình fusion 111
7.5 Kết luận quá trình mô phỏng thực nghiệm 120
7.5.1 Phương pháp Wavelet .120
7.5.2 Phương pháp CEMIF 120
7.5.3 Phương pháp Spatial frequency 121
7.5.4 Phương pháp Laplacian pyramid 121
7.5.5 Phương pháp PCA 121
7.5.6 Phương pháp lọc nhiễu .122

Chương 8: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN . 123
8.1 Kết luận công nghệ Image fusion trong xử lý ảnh viễn thám .123
8.2 Những ưu điểm và khuyết điểm của các phương pháp image fusion .124

8.3 Hướng phát triển 126

Chương 9: TÀI LIỆU THAM KHẢO 127
9.1 Tài liệu trích dẫn 127
9.2 Tài liệu tiếng Việt 128
9.3 Tài liệu tiếng Anh 128




DANH MỤC CÁC BẢNG BIỂU

Bảng 7.1: Bảng chọn vị trí kích thước làm mờ ảnh vào
Bảng 7.2: Kết quả fusion cấu trúc thứ bậc và cấu trúc tổng hợp của họ wavelet
Bảng 7.3: Kết quả fusion cấu trúc thứ bậc sử dụng họ wavelet dau6
Bảng 7.4: Kết quả fusion cấu trúc tổng hợp sử dụng họ wavelet bi97
Bảng 7.5: Thống kê kết quả fusion của phương pháp CEMIF Bảng 7.6: Các thông tin vị trí làm mờ ảnh vào
Bảng 7.7: Thống kê kết quả fusion cấu trúc thứ bậc của phương pháp CEMIF đối với ảnh nhiễu gaussian đã được lọc trong chương trình mô phỏng
Bảng 7.8: Thống kê kết quả fusion của phương pháp Spatial frequency lựa chọn kích thước khối với ngưỡng bằng 1.
Bảng 7.9: Thống kê kết quả fusion của phương pháp Spatial frequency lựa chọn ngưỡng với kích thước khối là 8.
Bảng 7.10: Thống kê kết quả fusion của phương pháp Laplacian pyramid thực hiện nhiều mức tỷ lệ
Bảng 7.11: Kết quả fusion phương pháp Laplacian pyramid chọn nhiều giá trị
Bảng 7.12: Thống kê kết quả fusion của phương pháp PCA
Bảng 7.13: So sánh kết quả các phương pháp fusion cấu trúc thứ bậc
Bảng 7.14: So sánh kết quả các phương pháp fusion cấu trúc tổng hợp
Bảng 7.15: Bảng tỷ số RMSE của ba ảnh ngõ vào bị nhiễu muối tiêu so với ảnh gốc
Bảng 7.16: Đánh giá kết quả lọc nhiễu muối tiêu của ba ảnh ngõ vào thông qua tỷ số
RMSE so với ảnh gốc
Bảng 7.17: Bảng đánh giá kết quả các phương pháp fusion trong trường hợp lọc nhiễu trước khi fusion
Bảng 7.18: Kết quả các phương pháp fusion trường hợp lọc nhiễu sau khi fusion
Bảng 8.1: Tổng kết nhận xét các phương pháp image fusion


DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1: Quan sát cháy rừng ở Canada ngày 30/7/2009.
Hình 1.2: Động đất ở Nyiragongo Volcano nước Cộng hòa Dân chủ Congo vào 27/06/2009
Hình 1.3: Ảnh MODIS thu được vào lúc 13 giờ 15 phút ngày 06/02/2007 (ảnh nhỏ
dưới) và so sánh cùng thời điểm 05/02/2006 tại Quảng Nam (ảnh nhỏ trên).
Hình 2.1: Khái niệm cơ bản của image fusion
Hình 2.2: Đặc tính của tín hiệu, nét đặc trưng và mức quyết định image fusion
Hình 2.3: Mô tả hai ảnh toàn sắc và ảnh đa phổ
Hình 2.4: Giải thuật cơ bản sự kết hợp ảnh toàn sắc và ảnh đa phổ trong image fusion.
Hình 2.5: Mô tả tọa độ điểm của bản đồ và ảnh cần nắn chỉnh hình học
Hình 2.6: Dùng ảnh cân bằng làm trung gian của phép biến đổi. Hình 2.7: Mô hình fusion đa bộ cảm ứng
Hình 2.8: Cấu trúc image fusion thứ bậc
Hình 2.9: Cấu trúc fusion tổng hợp
Hình 2.10: Cấu trúc fusion tùy ý
Hình 2.11: Biến đổi wavelet trong image fusion
Hình 2.12: Bốn ảnh gốc từ tập dữ liệu
Hình 2.13: Các ảnh đã trộn khi đặc trưng năng lượng chuẩn được sử dụng: (a) ảnh đã trộn theo cấu trúc thứ bậc; (b) ảnh đã trộn theo cấu trúc tổng hợp; (c) ảnh lỗi của chúng; (d) ảnh lỗi bị khuếch đại được tạo bởi nhân ảnh gốc bị lỗi lên 4 lần
Hình 2.14: Các ảnh đã trộn khi rút ra đặc trưng: (a) ảnh đã trộn theo cấu trúc thứ bậc; (b) ảnh đã trộn theo cấu trúc tổng hợp; (c) ảnh lỗi của chúng; (d) ảnh lỗi bị khuếch đại được tạo bởi nhân ảnh gốc bị lỗi lên 4 lần
Hình 2.15: Cấu trúc của hai phương pháp đánh giá thích nghi fusion: (a) hướng tới thích nghi, (b) phản hồi thích nghi
Hình 3.1: Mô hình lấy mẫu lại tuyến tính

Hình 3.2: Lược đồ tổng quát một số quá trình image fusion. Hình 3.3: Cấu trúc của Laplacian pyramid
Hình 3.4: Tiến trình tạo ra Gaussian pyramid
Hình 3.5: Tổng hợp các bước trong mã hóa và giải mã Laplacian pyramid
Hình 3.6: Mô tả image fusion dùng phương pháp pyramid.
Hình 3.7: Mô tả kết quả 3 phương pháp pyramid ứng dụng trong image fusion: (a) Fusion sử dụng Laplacian pyramid, (b) Fusion sử dụng Ratio of Low Pass pyramid, (c) Fusion sử dụng Contrast pyramid.
Hình 3.8: Dò tìm background và foreground
Hình 3.9: Các bước triển khai trước khi áp dụng phân tích thành phần chính
Hình 4.1: Sơ đồ khối biến đổi wavelet trong image fusion. Hình 4.2: Mô tả quy luật fusion dựa vào pixel
Hình 4.3: Bản đồ quyết định fusion
Hình 4.4: Mô tả phương pháp fusion dùng biến đổi khung wavelet rời rạc cho ảnh toàn sắc và ảnh đa phổ.
Hình 4.5: Lưu đồ biến đổi Wavelet rời rạc
Hình 4.6: Lưu đồ biến đổi wavelet rời rạc ngược
Hình 4.7: Hình minh họa kết quả quá trình biến đổi Wavelet rời rạc.
Hình 4.8: Mô tả kết quả fusion dùng phương pháp biến đổi Wavelet rời rạc họ Daubechies db6 mức 2.
Hình 4.9: Mô tả biến đổi DT-CWT trong image fusion
Hình 5.1: Mô tả kỹ thuật lọc trung vị
Hình 5.2: Minh họa lọc Median: (a): Ảnh gốc, (b): Lọc Median 3 x 3, (c): lọc weight median 3 x 3 (c=3)
Hình 7.1: Lưu đồ trình tự thực hiện image fusion
Hình 7.2: Giao diện chương trình mô phỏng
Hình 7.3: Mô tả ảnh gốc chuyển qua ảnh xám: (a): Ảnh gốc, (b): Ảnh xám
Hình 7.4: Mô tả ba ảnh ngõ vào được làm mờ: (a): ảnh gốc, (b): ảnh mờ ngõ vào 1, (c): ảnh mờ ngõ vào 2 và (d): ảnh mờ ngõ vào 3

Hình 7.5: Mô tả hình ảnh các phương pháp fusion cấu trúc thứ bậc: (a): ảnh gốc, (b): phương pháp Spatial frequency, (c): phương pháp Laplacian pyramid, (d): phương pháp Wavelet, (e): phương pháp CEMIF và (f): phương pháp PCA.
Hình 7.6: Mô tả histogram các phương pháp fusion cấu trúc thứ bậc: (a): ảnh gốc, (b): phương pháp Spatial frequency, (c): phương pháp Laplacian pyramid, (d): phương pháp Wavelet, (e): phương pháp CEMIF và (f): phương pháp PCA.
Hình 7.7: Mô tả hình ảnh các phương pháp fusion cấu trúc tổng hợp: (a): ảnh gốc, (b): phương pháp Laplacian pyramid, (c): phương pháp Wavelet, (d): phương pháp CEMIF, (e): phương pháp PCA và (f): phương pháp Spatial frequency.
Hình 7.8: Mô tả histogram các phương pháp fusion cấu trúc tổng hợp: (a): ảnh gốc, (b): phương pháp Laplacian pyramid, (c): phương pháp Wavelet, (d): phương pháp CEMIF, (e): phương pháp PCA và (f): phương pháp Spatial frequency.
Hình 7.9: Mô phỏng ảnh nhiễu muối tiêu và kết quả lọc nhiễu median cửa sổ 5 x 5: (a1): ảnh vào 1 được làm mờ và cộng nhiễu, (a2): ảnh vào 2 được làm mờ và cộng nhiễu, (a3): ảnh vào 3 được làm mờ và cộng nhiễu, (b1): ảnh vào 1 được lọc nhiễu, (b2): ảnh vào 2 được lọc nhiễu, (b3): ảnh vào 3 được lọc nhiễu
Hình 7.10: Ảnh gốc và histogram ảnh gốc: (a): Ảnh gốc, (b): Histogram ảnh gốc
Hình 7.11: So sánh kết quả fusion thu được từ hai phương pháp lọc nhiễu trước fusion và lọc nhiễu sau fusion.
Hình 7.12: So sánh kết quả histogram của ảnh fusion thu được từ hai phương pháp lọc nhiễu trước fusion và lọc nhiễu sau fusion



MỞ ĐẦU

Ngày 23/7/1972, NASA đã phóng vệ tinh ERTS (Earth Technology Satellite), tiền thân của hệ thống vệ tinh Landsat sau này. Từ đó, vệ tinh này đã cung cấp những hình ảnh đa phổ dạng số về bề mặt trái đất, đã mở ra một trang mới của công nghệ xử lý ảnh số trong nghiên cứu tài nguyên, môi trường. Hơn 3 thập kỷ qua, một số nước khác trên thế giới như Nga, Pháp, Nhật, Ấn Độ cũng đã phóng các vệ tinh để phục vụ cho mục đích điều tra về tài nguyên, môi trường.

Đứng trước xu thế công nghệ phát triển, Việt Nam cũng đang hướng dần đến việc ứng dụng công nghệ ảnh viễn thám trong việc quản lý và bảo vệ môi trường. Chẳng hạn, thành lập dự án “Ứng dụng công nghệ thông tin và ảnh viễn thám để cảnh báo và phát hiện sớm cháy rừng ở Việt Nam giai đoạn 2005-2010”. Vào ngày 19/04/2008, Việt Nam đã phóng thành công vệ tinh Vinasat-1 lên quỹ đạo địa tĩnh, qua đó đánh giá sự phát triển của ngành truyền thông và công nghệ thông tin trong tương lai của đất nước.
Do vậy, công nghệ xử lý ảnh viễn thám là một trong những công nghệ phổ biến hiện nay và đang ngày càng được nghiên cứu để có được những giải pháp tối ưu hơn. Một công nghệ thiết yếu phục vụ cho việc xử lý ảnh viễn thám, đó là công nghệ Image fusion.
IMAGE FUSION là một trong những công nghệ xử lý ảnh được nghiên cứu nhiều trong những năm qua. Không những ứng dụng trong viễn thám, chúng còn ứng dụng trong nhiều lĩnh vực khác như địa chất, y học, công nghệ thông tin, quân sự, v.v. Trong công nghệ thông tin hiện nay, các hãng sản xuất phần mềm đã xuất bản nhiều phần mềm xử lý ảnh chuyên dụng, tích hợp nhiều phương pháp xử lý ảnh và một trong những phương pháp đó là Image fusion. Với vai trò quan trọng của công nghệ Image fusion trong lĩnh vực xử lý ảnh viễn thám và các lĩnh vực khác, luận văn này sẽ hướng đến việc nghiên cứu các thuật toán, giải pháp để xác định, so sánh cũng như phát triển các phương pháp Image fusion. Từ đó, chúng ta sẽ có thể phát huy được hiệu quả của công nghệ này trong lĩnh vực xử lý ảnh.