Đồ Án Xây dựng hệ thống tương tác giữa người và máy thông qua nhận dạng cử chỉ của bàn tay

ĐỒ ÁN TỐT NGHIỆP HỆ ĐẠI HỌC
Ngành: Công Nghệ Thông Tin

XÂY DỰNG HỆ THỐNG TƯƠNG TÁC GIỮA
NGƯỜI VÀ MÁY THÔNG QUA NHẬN DẠNG
CỬ CHỈ CỦA BÀN TAY

Năm 2009

MỤC LỤC
MỤC LỤC . i
DANH MỤC CÁC HÌNH VẼ . ii
DANH MỤC CÁC BẢNG v
THUẬT NGỮ VIẾT TẮT . vi
MỞ ĐẦU vii
CHƯƠNG 1. TỔNG QUAN . 1
1.1 Nhận dạng dáng điệu trong tương tác giữa người-máy 1
1.2 Ứng dụng và những khó khăn . 2
1.3 Tổng quan về phương pháp tiếp cận 2
CHƯƠNG 2. CƠ SỞ LÝ THUYẾT 7
2.1 Nhận dạng hình dáng tĩnh của bàn tay (hand-posture) 7
2.1.1 Mô hình màu . 7
2.1.2 Trừ nền bằng mô hình CodeBook . 12
2.1.3 Tìm đường viền (contour) và biến đổi hình thái học . 20
2.1.4 Phát hiện vùng da . 27
2.1.5 Mô tả hình dạng (Shape Descriptor) 27
2.1.6 Tìm láng giềng gần nhất theo phép tính xấp xỉ (ANN) . 35
2.1.7 Dynamic Time Warping . 39
2.1.8 Phương pháp nhận dạng Support Vector Machine (SVM) 43
2.2 Nhận dạng dáng điệu của tay (hand-gesture) 58
2.2.1 Tìm kiếm theo tỉ lệ vàng (Golden Section Search) 58
2.2.2 Nhận dạng gesture với DTW và GSS . 61
CHƯƠNG 3. THỰC NGHIỆM . 64
3.1 Giới thiệu . 64
3.2 Công cụ và thiết bị 67
3.2.1 Phần cứng 67
3.2.2 Phần mềm, thư viện và môi trường phát triển 67
3.3 Thiết kế và phát triển . 68
3.4 Mục đích và phương pháp . 70
3.5 Kết quả thu được 70
KẾT LUẬN 74
TÀI LIỆU THAM KHẢO 75


MỞ ĐẦU
Hình ảnh tương lai trong phim Minority Report của Steven Spielberg cho chúng ta
thấy, Tom Cruise mở lên một màn hình kỹ thuật số với kích thước bằng bức tường chỉ
đơn giản bằng cách giơ tay lên, đôi bàn tay mang găng màu đen và được kết nối mạng
không dây. Tựa như một người chỉ huy dàn nhạc, anh ta cử động tay trong không trung
để ra hiệu ngắt, chơi tiếp tục, phóng đại và kéo bằng cách lướt tay và xoay cổ tay.
Minority Report xảy ra vào năm 2054. Công nghệ cảm ứng không tiếp xúc mà
Minority Report cho thấy có thể diễn ra sớm hơn nhiều thập niên bởi lẽ ngành thị giác
máy (computer vision) đã đạt được những tiến bộ đáng kể trong những năm gần đây.
Từ xa xưa, ngôn ngữ cơ thể (hay dáng điệu, cử chỉ) luôn kèm theo một ý nghĩa nhất
định, và đóng một vai trò quan trọng trong quá trình trao đổi thông tin. Cử chỉ tay
mang một tình thái bổ sung riêng biệt vào lời nói để bày tỏ những quan điểm. Thông
tin kết hợp với cử chỉ tay trong đối thoại ở góc độ nào đó chính là sự kết hợp tổng thể
không gian và thời gian. Vì vậy, việc tương tác tự nhiên giữa con người và các thiết bị
máy móc có thể đạt được bằng cách sử dụng cử điệu tay trong việc giao tiếp. Cảm ứng
không tiếp xúc sẽ chính là một cuộc cách mạng kế tiếp, sau sự thành công của hệ
thống tương tác bằng cảm ứng đơn điểm hay đa điểm (multi-touch) hiện nay. Hãy thử
tưởng tượng chúng ta điều khiển các thiết bị điện tử trong gia đình mà không cần dùng
đến remote hay điều khiển một thiết bị nào đó mà do điều kiện khách quan khó có thể
nhấn các phím điều khiển (điều khiển robot thông minh, vừa lái xe vừa chỉnh hệ thống
phần mềm-giải trí trong xe, ). Đó quả thực là một viễn cảnh hết sức hấp dẫn và mang
lại nhiều trải nghiệm thú vị.
Cũng chính vì bị hấp dẫn bởi viễn cảnh đó, đề tài này chính là một sự tìm hiểu các
công trình nghiên cứu hiện nay liên quan đến vấn đề trên. Sử dụng những kết quả tìm
hiểu được để xây dựng thử nghiệm một hệ thống tương tác giữa người và ứng dụng
giải trí đa phương tiện Windows Media Center trên máy thông qua các hình ảnh cử chỉ
của một bàn tay thu được từ webcam.
Do đây còn là một vấn đề rất mới với chúng em nên trong quá trình thực hiện đề tài
không tránh khỏi những điểm chưa hoàn chỉnh, kính mong quý thầy cô và các bạn
đóng góp ý kiến để đề tài được hoàn thiện hơn.
Em xin chân thành cảm ơn.