Luận Văn Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh

LỜI NÓI ĐẦU

Ngày nay, thuật ngữ hệ thống giám sát bằng video đã ngày càng trở nên phổ biến và dần trở thành quen thuộc với chúng ta, những người đang sống trong thời đại mới, thời đại của nền kinh tế tri thức, trong đó những thành tựu rực rỡ của công nghệ thông tin đóng vai trò chủ đạo.
Ra đời từ những năm 1960 qua quá trình hoàn thiện và phát triển, ngày nay một hệ thống giám sát thông minh tự động [6] là một trong những hệ thống trợ giúp đắc lực nhất cho con người thực hiện theo dõi, giám sát. Với một bài toán giám sát giao thông một hệ thống giám sát thông minh có thể cho chúng ta biết được số lượng phương tiện lưu thông qua đoạn đường, đưa ra thông tin về tốc độ chuyển động, đường đi của đối tượng được theo dõi. Với một bài toán phát hiện, dự đoán, hệ thống giám sát thông minh có thể phát hiện một đám cháy, tự động cảnh báo cháy ở nơi được quan sát và theo dõi.

Trong thời đại phát triển cao của công nghệ tự động, nhu cầu về các hệ thống giám sát theo dõi thông minh ngày càng trở nên cấp thiết đặc biệt trong các lĩnh vực an ninh, quân sự. Chính bởi vậy việc nghiên cứu và xây dựng một hệ thống giám sát thông minh bằng hình ảnh với hiệu quả và tính tin cậy cao đang là mục tiêu của nhiều nhà khoa học.
Ý thức được những lợi ích mà hệ thống giám sát thông minh mang lại, chúng tôi chọn đề tài khóa luận là: ”Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh” để từ đó có thể áp dụng giải quyết bài toán theo dõi giám sát giao thông – một vấn đề bức bách hiện nay.

Một hệ thống theo dõi giám sát thông minh bằng hình ảnh hoàn chỉnh là một tập các công nghệ thu, truyền, xử lý hình ảnh với kỹ thuật cao. Trong đó quá trình xử lý hình ảnh và đưa ra thông tin là khâu cốt lõi của hệ thống. Quá trình này được thực hiện tuần tự qua việc giải quyết các bài toán: Phát hiện đối tượng, phân loại đối tượng và theo dõi đối tượng chuyển động.

Trong phạm vi khóa luận tốt nghiệp này, chúng tôi tập trung trình bày và giải quyết cốt lõi của hệ thống – quá trình xử lý hình ảnh và đưa ra thông tin. Thực chất của quá trình này là việc giải quyết bài toán khai phá dữ liệu đa phương tiện - dữ liệu hình ảnh.

Khóa luận tốt nghiệp của chúng tôi được trình bày theo cấu trúc như sau:
Chương 1: Tổng quan về bài toán giám sát thông minh
Trình bày các vấn đề đặt ra cần giải quyết trong hệ thống theo dõi thông minh, giới thiệu bài toán phát hiện, phân loại, theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh.
Chương 2: Một số kỹ thuật cho bài toán phát hiện, phân loại và theo dõi đối tượng chuyển động.
Trình bày một số kỹ thuật giải quyết vấn đề phát hiện, phân loại, theo dõi đối tượng chuyển động. Từ đó đề xuất các phương pháp giải quyết cho từng bài toán.
Chương 3: Các giải pháp lựa chọn cho vấn đề đặt ra
Trình bày cụ thể phương pháp giải quyết cho từng bài toán theo hướng thiết kế các khối xử lý cụ thể.
Chương 4: Thực nghiệm và đánh giá
Trình bày về việc cài đặt chương trình, xây dựng dữ liệu thực nghiệm, các quá trình thực nghiệm, kết quả thực nghiệm và các kết quả đánh giá, nhận xét các xử lý từ thực nghiệm.
Kết luận:
Tổng kết bài toán, những kết quả đã đạt được và chưa đạt được. Từ đó, đề xuất mục tiêu hướng tới, hướng nghiên cứu, phát triển tiếp theo.





MỤC LỤC

LỜI CẢM ƠN i
TÓM TẮT iii
MỤC LỤC iv
DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU viii
LỜI NÓI ĐẦU 1
CHƯƠNG 1 4
TỔNG QUAN VỀ BÀI TOÁN GIÁM SÁT THÔNG MINH 4
1.1. Giới thiệu 4
1.1.1. Giới thiệu hệ thống theo dõi giám sát thông minh 4
1.1.2. Các bài toán cần giải quyết 4
1.2. Khái quát các bài toán cần giải quyết 5
CHƯƠNG 2 8
MỘT SỐ KỸ THUẬT CHO BÀI TOÁN PHÁT HIỆN, PHÂN LOẠI VÀ THEO DÕI ĐỐI TƯỢNG CHUYỂN ĐỘNG 8
2.1. Tổng quan bài toán phát hiện, phân loại, theo dõi đối tượng chuyển động 8
2.1.1. Bài toán phát hiện đối tượng chuyển động 8
2.1.1.1. Các khái niệm cơ bản về video 8
2.1.1.1.1 Color 9
2.1.1.1.2. Texture 10
2.1.1.1.3. Shape 10
2.1.1.1.4. Motion 10
2.1.1.2. Phát hiện đối tương chuyển động là gì? 11
2.1.1.2.1. Phát hiện các vùng ảnh nổi 11
2.1.1.2.2. Xử lý các vùng ảnh nổi 12
2.1.1.3. Các vấn đề phải giải quyết 13
2.1.1.3.1. Phát hiện các vùng ảnh nổi 13
2.1.1.3.1.1. Các phương pháp trừ ảnh nền (Background subtraction) 13
2.1.1.3.1.2. Các phương pháp thông kê (Statistical Methods) 14
2.1.1.3.1.3. Phương pháp chênh lệch tạm thời (Temporal Differencing) 15
2.1.1.3.2. Xử lý các vùng ảnh nổi 16
2.1.2. Bài toán phân loại đối tượng 18
2.1.2.1 Phân loại đối tượng là gì? 18
2.1.2.1.1. Phân loại dựa trên hình dạng( Shape- based Classification) 18
2.1.2.1.2. Phân loại dựa trên chuyển động( Motion- based Classification) 19
2.1.2.2. Một số phương pháp phân loại phổ biến. 20
2.1.2.2.1. Phương pháp dựa trên hình dạng( Shape- based) 20
2.1.2.2.1.1. Cấu trúc tổng quát của phương pháp 21
2.1.2.2.1.2. Phân loại đối tượng 22
2.1.2.2.1.3. Nhất quán thời gian( Temporal Consistency). 23
2.1.2.2.1.4. Độ đo phân loại. 23
2.1.2.2.1.5. Phân loại mục tiêu 25
2.1.2.2.2. Phương pháp phân loại dựa trên chuyển động. 26
2.1.2.2.3. Phương pháp phân loại kết hợp các đặc trưng dựa trên bề ngoài và chuyển động. 28
2.1.3. Bài toán theo vết đối tượng 29
2.1.3.1. Theo vết đối tượng là gì? 29
2.1.3.1.1. Chính xác hoá đối tượng tương ứng( Object matching) 30
2.1.3.1.2. Xử lý nhập nhằng – Occlusion 31
2.1.3.1.3. Dự đoán chuyển động 32
2.1.3.2. Các vấn đề phải giải quyết 34
2.1.3.2.1. Chính xác hoá đối tượng tương ứng – Object matching 34
2.1.3.2.2. Dự đoán chuyển động của đối tượng 35
2.1.3.2.2.1. Kalman Filtering 35
2.1.3.2.2.2. Mean – shift tracking 36
2.2. Đề xuất phương pháp giải quyết 38
CHƯƠNG 3 40
CÁC GIẢI PHÁP LỰA CHỌN CHO VẤN ĐỀ ĐẶT RA 40
3.1. Bài toán phát hiện đối tượng chuyển động 40
3.1.1. Thiết kế các khối xử lý 41
3.1.1.1. Khối phát hiện các vùng ảnh nổi 42
3.1.1.1.1. Mô hình trừ ảnh nền thích hợp 43
3.1.1.1.2. Mô hình của Stauffer và Grimson 44
3.1.1.1.3. Mô hình chênh lệch tạm thời 47
3.1.1.2. Khối xử lý các vùng ảnh nổi 48
3.1.1.2.1. Tiền xử lý mức điểm ảnh 49
3.1.1.2.2. Phát hiện các sự liên kết giữa các khối 53
3.1.1.2.3. Tiền xử lý ở mức khối ảnh nổi 54
3.1.1.2.4. Đưa ra tính chất của các đối tượng được phát hiện 55
3.1.2. Kết luận 56
3.2. Bài toán phân loại đối tượng 56
3.2.1. Phân loại dựa trên các mẫu hình chiếu 57
3.2.1.1. Trích rút hình chiếu của đối tượng 58
3.2.1.2. Cơ sở dữ liệu mẫu các hình chiếu 58
3.2.1.3. Độ đo phân loại 61
3.2.1.4. Sự nhất quán thời gian 63
3.3. Bài toán theo vết đối tượng chuyển động 65
3.3.1. Khối chính xác hoá đối tượng tương ứng 66
3.3.2. Khối xử lý nhập nhằng giữa các đối tượng 70
3.3.2.1. Phát hiện đối tượng kết hợp 70
3.3.2.2. Phát hiện các đối tượng tách nhau ra 71
3.3.2.3. Xác định nhập nhằng dựa vào biểu đồ màu 71
3.3.3. Khối dự đoán chuyển động của đối tượng 73
3.3.3.1. Áp dụng thuật toán Kalman Filter, Mean – shift, SSD vào bài toán dự đoán chuyển động của đối tượng 73
3.3.3.1.1. Dự đoán các tham số chuyển động của đối tượng trong mô hình SSD – MS 75
3.3.3.1.2. Độ lớn tỉ lệ 77
3.3.3.1.3. Cập nhật mô hình mục tiêu 78
3.3.3.1.4. Tổng kết thuật toán SSD - MS 78
3.4. Kết chương 79
CHƯƠNG 4 80
THỰC NGHIỆM 80
4.1. Môi trường thực nghiệm 80
4.2. Dữ liệu thực nghiệm 80
4.2.1. Dữ liệu thực nghiệm cho module phát hiện đối tượng chuyển động 81
4.2.1.1 Các dữ liệu trong điều kiện quan sát ít nhiễu 81
4.2.1.2. Các dữ liệu trong điều kiện quan sát nhiều nhiễu 83
4.2.2. Dữ liệu thực nghiệm cho module theo dõi đối tượng chuyển động 83
4.2.2.1. Dữ liệu thực nghiệm chính xác hóa đối tượng chuyển động 83
4.2.2.2. Dữ liệu thực nghiệm về sự nhập nhằng trong chuyển động của nhiều đối tượng 84
4.2.2.3. Dữ liệu thực nghiệm vẽ đường chuyển động của đối tượng 84
4.3. Cài đặt và thực nghiệm 85
4.3.1. Cài đặt chương trình 85
4.3.2. Giao diện chương trình 86
4.3.3. Kết quả thực nghiệm 88
4.3.2.1. Thực nghiệm 1: Phát hiện đối tượng chuyển động 88
4.3.2.1.1. Với dữ liệu trong điều kiện quan sát ít nhiễu 88
4.3.2.1.2. Với dữ liệu trong điều kiện quan sát nhiều nhiễu 90
4.3.2.2. Thực nghiệm 2: Theo dõi đối tượng chuyển động 90
4.3.2.2.1. Chính xác hóa đối tượng 90
4.3.2.2.2. Các vấn đề về chuyển động chồng chéo, nhập nhằng 92
4.3.2.2.3. Vẽ đường chuyển động của đối tượng 93
4.4. Đánh giá kết quả thực nghiệm 93
4.4.1. Thực nghiệm phát hiện đối tượng chuyển động 93
4.4.1.1. Các dữ liệu ít nhiễu 93
4.4.1.2. Các dữ liệu nhiều nhiễu 94
4.4.2. Thực nghiệm theo dõi đối tượng chuyển động 95
KẾT LUẬN 96
Các kết quả đã đạt được 96
Hạn chế 96
Hướng phát triển trong tương lai 97
TÀI LIỆU THAM KHẢO 98