Thạc Sĩ Phát triển thuật toán nội suy nhằm tăng cường chất lượng video trong 3d-hevc

MỞ ĐẦU

Các kỹ thuật 3D video đang ngày càng mang lại những trải nghiệm thực tế đối với người sử dụng. Vì vậy hầu hết các bộ phim 3DTV [1] và 3D hiện nay là các hiển thị thực thể 3D, các nội dung 3D sẵn có đều ở định dạng thực thể 3D. Trong trường hợp này, các vấn đề này phát sinh là do góc nhìn hẹp và yêu cầu người xem phải đeo kính để xem các nội dung 3D. Để giải quyết vấn đề này, việc nghiên cứu hiển thị thực thể tự động và FTV [2] được đặt ra. Hiển thị thực thể tự động cung cấp nhận thức chiều sâu 3D mà không cần phải đeo kính bằng cách cung cấp đồng thời 1 số lượng hình ảnh khác nhau. FTV cho phép người xem có thể xem ở bất cứ điều kiện xem nào. Tuy nhiên, trong các trường hợp đó, chúng ta cần nhiều băng thông hơn để truyền tải và cần lưu trữdữ liệu lớn cũng như là các chi phí đáng kể cho việc thiết đặt nhiều camera

Nhìn chung, hệ thống hiển thị tự động thực thể 3D cần nhiều hình ảnh đầu vào. Có 3 phương pháp thu thập hình ảnh đa điểm. Đầu tiên, chúng ta có thể có hình ảnh đa điểm bằng cách sử dụng nhiều camera như số quan sát được yêu cầu. Tuy nhiên, trong trường hợp này, việc đồng bộ hóa và tính toán các camera này là rất khó khăn. Lựa chọn tiếp theo là sử dụng 1 hệ thống camera có thể có được một hình ảnh màu với bản đồ độ sâu tương ứng với ảnh màu đó và tổng hợp lên hình ảnh trung gian ảo từ dữ liệu thu được. Lựa chọn cuối cùng là ước lượng được độ chênh lệch từ những hình ảnh thu được từ 2 camera màu tổng hợp lên hình ảnh. MPEG coi TV như là dịch vụ phương tiện truyền thông 3D hứa hẹn nhất và đã bắt đầu chuẩn hóa theo tiêu chuẩn quốc tế từ năm 2002. Nhóm 3DV [3] trong MPEG đang làm việc theo 1 tiêu chuẩn có thể được sử dụng để sử dụng cho 1 loạt các định dạng hiển thị 3D. 3DV là 1 framework mới bao gồm hiển thị thông tin đa điểm video và thông tin độ sâu để hỗ trợ thế hệ tiếp theo. Do đó, việc ước lượng chiều sâu và quá trình tổng hợp là 2 quá trình quan trọng trong 3DV vì vậy chúng ta cần 1 thuật toán chất luợng cao. Chúng ta có thể sử dụng giới hạn số lượng hình ảnh camera để sinh ra nhiều hình ảnh bằng cách sử dụng thuật toán DIBR [4] (depth image based rendering). DIBR là 1 trong những kỹ thuật phổ biến được sử dụng để biểu diễn các khung hình ảo. Một hình ảnh màu và bản đồ độ sâu cho mỗi điểm ảnh tương ứng của nó được sử dụng cho tổng hợp 3D dựa trên nguyên tắc hình học. Tuy nhiên, việc trích xuất chính xác độ lệch hay bản đồ độ sâu tiêu tốn nhiều thời gian và rất khó khăn. Hơn nữa, sẽ tồn tại các hố và nhiễu biên (boundary noise) [5] trong hình ảnh tổng hợp do các occlusion và sai số độ lệch. Các nhiễu biên xảy ra do không chính xác biên giữa độ sâu và vân ảnh trong suốt quá trình tổng hợp 3D và điều này đã gây ra những điểm bất thường trong khung hình ảo được sinh ra. Ngoài ra, các hố thông thường (common-holes) [6] cũng được tạo ra trong khi tổng hợp lên khung hình ảo. Các hố thông thường này được khắc phục dựa trên thông tin các vùng xung quanh hố. Tuy nhiên, việc khắc phục các hố thông thường là khó khăn về quá trình thực hiện và về mặt thị giác. Do đó chúng ta cần cách mới để thực hiện lấp đầy các hố này với hiệu suất cao nhất. Để lấp đầy các hố thông thường, phương pháp nội suy tuyến tính và phương pháp inpainting được đề xuất. Phương pháp inpainting [7] ban đầu được sử dụng để khôi phục các vùng hư hại của ảnh bằng cách ước lượng giá trị từ thông tin màu sắc được cung cấp. Phương pháp nàythường được dùng để khắc phục các vùng hư hại của ảnh. Phương pháp nội suy tuyếntính là việc thêm hoặc trừ đi các giá trị điểm ảnh ở vị trí đối diện xung quanh vùng cáchố. Tiến trình này yêu cầu ít thời gian nhưng chất lượng hiện tại của các hố là không hiệu quả. Chính vì vậy, việc nghiên cứu một phương pháp nội suy mới nhằm nâng cao chất lượng video là điều cần thiết. Thuật toán Hole filling SWA là thuật toán dựa trên trọng số trung bình về độ sâu và sử dụng các thông tin về gradient để lấp đầy các hố trong video. Thuật toán này đã đáp ứng yêu cầu cấp thiết, nhằm nâng cao chất lượng video thực tế. Trong luận văn này, luận văn sẽ nghiên cứu các vấn đề về 3DTV, TV, các phần mềm tham chiếu, cài đặt thuật toán Hole filling SWA (Spiral weighted average algorithm) [6] và cuối cùng so sánh hiệu suất so với các thuật toán Hole filling khác

MỤC LỤC
LỜI CAM ĐOAN 2
LỜI CẢM ƠN 3
MỤC LỤC 4
DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT .6
DANH MỤC HÌNH VẼ .7
DANH MỤC BẢNG BIỂU .9
MỞ ĐẦU .10
CHƯƠNG 1: ĐẶT VẤN ĐỀ .13
1.1. Lý do chọn đề tài .13
1.2. Mục tiêu của luận văn .13
1.3. Cấu trúc luận văn 13
CHƯƠNG 2: CÁC KHÁI NIỆM CƠ BẢN .15
2.1. Các ứng dụng video giả lập 3D 15
2.1.1. Tivi 3D (3DTV) 15
2.1.2. Tivi Free Viewpoint (FTV) .16
2.2. Các định dạng biểu diễn video 3D .17
2.2.1. Video đa khung hình (MVV) và Video đa khung hình với độ sâu
(MVVD) 18
2.2.2. Bản đồ độ sâu 20
2.3. Biểu diễn dựa trên bản đồ độ sâu (DIBR) 23
2.3.1. Tổng hợp 3D .23
2.3.2. Sáp nhập khung hình .27
2.3.3. Hole filling các vùng Disocclusions .28
2.4. Phần mềm tham chiếu tổng hợp khung hình (VSRS) 30
5
2.4.1. Trạng thái tổng quát 30
2.4.2. Trạng thái 1D 32
2.5. Thuật toán tổng hợp khung hình Fast 1-D 33
2.5.1. Chuẩn hóa mẫu 35
2.5.2. Tổng hợp, nội suy và hole filling 35
2.5.3. Tạo bản đồ xác thực 37
2.5.4. Tăng cường sự đồng nhất 37
2.5.5. Kết hợp 38
CHƯƠNG 3: THUẬT TOÁN HOLE FILLING SWA 39
3.1. Giới thiệu thuật toán Hole filling SWA 39
3.2. Thuật toán Hole filling SWA .39
3.2.1. Phát hiện nhiễu biên 39
3.2.2. Xác định thứ tự Hole filling đối với vùng nền . . 42
3.2.3. Thuật toán trọng số trung bình đường xoắn ốc .43
3.2.4. Thuật toán tìm kiếm Gradient .45
CHƯƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ THỰC NGHIỆM 46
4.1. Cài đặt thực nghiệm 46
4.2. Kết quả tổng hợp khung hình .48
KẾT LUẬN 57
TÀI LIỆU THAM KHẢO .58