Thạc Sĩ Nhận dạng cử chỉ bàn tay ứng dụng trong điều khiển thiết bị điện gia dụng

5

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

MỤC LỤC

DANH MỤC CÁC HÌNH VẼ . 7
DANH MỤC CÁC BẢNG BIỂU . 8
CHƯƠNG I: TỔNG QUAN VỀ NHẬN DẠNG CỬ CHỈ 9
1.1. Khái niệm về nhận dạng cử chỉ . 10
1.2. Phân loại cử chỉ: 10
1.3. Mô hình bài toán nhận dạng cử chỉ: 11
1.4. Một số đặc trưng sử dụng biểu diễn cử chỉ bàn tay: 13
1.4.1. Đặc trưng các thành phần chính PCA: 13
1.4.2. Đặc trưng HOG . 15
1.4.3. Đặc trưng SIFT . 15
1.4.4. Đặc trưng Haar like . 19
CHƯƠNG II: CÁC KỸ THUẬT NHẬN DẠNG CỬ CHỈ BÀN TAY TRONG
VIDEO 23
2.1. Kỹ thuật sử dụng mạng nơron . 23
2.2. Kỹ thuật SVM (Suport Vector Machine) 25
2.3. Kỹ thuật sử dụng Boosting và mô hình Cascade . 31
2.3.1. Tiếp cận Boosting . 31
2.3.2. AdaBoost 32
2.3.3 Thuật toán AdaBoost trong mô hình Cascade sử dụng Boosting cho bộ
nhận dạng cử chỉ: 35
2.3.4. Mô hình Cascade 39
CHƯƠNG III: NHẬN DẠNG CỬ CHỈ BÀN TAY ỨNG DỤNG TRONG ĐIỀU
KHIỂN THIẾT BỊ ĐIỆN GIA DỤNG . 48
3.1. Bài toán nhận dạng cử chỉ bàn tay ứng dụng trong điều khiển thiết bị điện
gia dụng: 48
Một số tập cử chỉ tay đã tồn tại 54
Tập cử chỉ đề xuất: . 57
Xây dựng cơ sở dữ liệu và thử nghiệm 59 6

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

Xây dựng tập ảnh positive 60
Xây dựng tập dữ liệu ảnh negative . 63
Xây dựng tập dữ liệu ảnh thử nghiệm 63
Xây dựng chương trình ứng dụng 64
3.2. Cài đặt hệ thống điều khiển thiết bị điện gia dụng bằng cử chỉ bàn tay thông
qua camera kỹ thuật số 65
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI . 67
TÀI LIỆU THAM KHẢO . 69


7

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

DANH MỤC CÁC HÌNH VẼ

Hình 1. 1 - Sơ đồ tổng quát của bài toán nhận dạng cử chỉ 11
Hình 1. 2 - 10 vector đặc trưng có ý nghĩa và 5 vector không mang thông tin 14
Hình 1. 3 - Ảnh sau khi tính gradient chia thành các cell . 15
Hình 1. 4 - Đặc trưng SIFT biểu diễn các điểm đặc biệt trong ảnh 16
Hình 1. 5 - Xác định điểm cực trị trong không gian tỉ lệ 17
Hình 1. 6a,b,c - Các đặc trưng đường . 20
Hình 1. 7 Đặc trưng Haar cho bàn tay 21
Hình 1. 8 - Cách tính tổng các điểm ảnh trong một hình chữ nhật bất kì . 21

Hình 2. 1 - Mô hình mạng nơron theo Rowley 24
Hình 2. 2 - Ánh xạ dữ liệu từ không gian gốc sang không gian đặc trưng cho phép
phân chia dữ liệu bởi siêu phẳng . 26
Hình 2. 3 - Siêu phẳng tách với khoảng cách lề cực đại . 27
Hình 2. 4 - Support Vectors 30
Hình 2. 5 - Minh họa Support Vectors 30
Hình 2. 6 - Minh họa Boosting 32
Hình 2. 7 - Minh họa thuật toán AdaBoost . 33
Hình 2. 8 - Bộ phân loại mạnh H(x) xây dựng bằng AdaBoost 34
Hình 2. 9 - Bộ phân lớp CBC 35
Hình 2. 10 - Cách chọn bộ phân loại yếu của AdaBoost 37
Hình 2. 11 - Các ngưỡng θ 38
Hình 2. 12 - Mô hình Cascade 39
Hình 2. 13 - Các vùng không liên quan sẽ bị loại ngay từ những tầng đầu tiên . 46
Hình 2. 14 - Khắc phục trường hợp nhiều vùng ảnh kế cận nhau bằng cách lấy vùng
ảnh trung bình . 46
Hình 2. 15 - Vùng ảnh lồng nhau 47

Hình 3. 1 - Sơ đồ khối của hệ thống . 48
Hình 3. 2 - Khối nhận dạng cử chỉ 49
Hình 3. 3 - Sơ đồ nguyên lý hoạt động của khối điều khiển thiết bị 50
Hình 3. 4 - Sơ đồ thiết kế phần nhận tín hiệu điều khiển từ cổng COM của máy tính
và phát sóng RF . 51
Hình 3. 5 - Sơ đồ thiết kế bộ thu tín hiệu và điều khiển thiết bị . 52
Hình 3. 6 - Quy trình thiết kế cử chỉ . 53
Hình 3. 7 - Ảnh chụp bằng webcam cho các cử chỉ 60 8

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

Hình 3. 8 - Ảnh chụp cử chỉ “Sang trái” . 61
Hình 3. 9 - Tiêu điểm của cử chỉ “Sang trái” 61
Hình 3. 10 - Vùng ảnh hình chữ nhật chứa cử chỉ “sang trái” 62
Hình 3. 11 - Các mẫu cử chỉ “sang trái” sau khi cắt . 62

DANH MỤC CÁC BẢNG BIỂU

Bảng 3. 1 - Một số tập cơ sở dữ liệu cử chỉ đã tồn tại : 54
Bảng 3. 2 - Ưu và nhược điểm của một số tập cử chỉ đã tồn tại : . 55
Bảng 3. 3 - Tập cử chỉ đề xuất: . 58
Bảng 3. 4 - Tập cơ sở dữ liệu ảnh positive: 63
Bảng 3. 5 - Tâp cơ sở dữ liệu ảnh thử nghiệm: . 64












9

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

CHƯƠNG I

TỔNG QUAN VỀ NHẬN DẠNG CỬ CHỈ

Nhận dạng là một ngành thuộc lĩnh vực học máy đã có lịch sử khá lâu, trong
thập kỷ 60 của thế kỷ XX, hầu hết vấn đề nhận dạng chỉ dừng lại ở việc nghiên cứu
lí thuyết thống kê. Về sau với sự phát triển mạnh mẽ của máy tính thì phần thực
nghiệm đã trở nên đơn giản hơn. Trong bối cảnh xã hội đang phát triển từ thời kỳ
công nghiệp sang hậu công nghiệp, đối với vấn đề tự động hóa thì việc thông tin
được nhận và xử lý một cách tự động là rất cần thiết. Khuynh hướng này làm cho
vấn đề nhận dạng mẫu trở nên rất quan trọng trong ứng dụng kỹ thuật và trong
nghiên cứu ngày nay. Nhận dạng mẫu tích hợp hầu hết vào các hệ thống máy móc
thông minh, có khả năng tự đưa ra quyết định để giải quyết vấn đề.
Nhận dạngnhằm mục đích phân loại dữ liệu dựa trên thông tin thống kê được
trích rút từ các mẫu có sẵn. Các mẫu cần phân loại thường được biểu diễn thành các
nhóm của các dữ liệu đo đạc hay quan sát được, mỗi nhóm là một điểm ở trong một
không gian đa chiều phù hợp. Không gian đa chiều này là không gian của các đặc
tính để dựa vào đó ta có thể phân loại.
Một hệ thống nhận dạng hoàn thiện gồm một thiết bị cảm nhận (sensor) để
thu thập các quan sát cần cho việc phân loại hay miêu tả; một cơ chế trích rút đặc
trưng (feature extraction) để tính toán các thông tin dưới dạng số hay dạng tượng
trưng (symbolic) từ các dữ liệu quan sát được; và một bộ phân loại nhằm thực hiện
công việc phân loại dựa vào các đặc tính đã được trích rút.
Việc phân loại thường dựa vào sự có sẵn của một tập các mẫu mà đã được
phân loại sẵn. Tập các mẫu này được gọi là tập huấn luyện và chiến lược học nhằm
phân loại mẫu vào một trong các lớp có sẵn được gọi là học có giám sát. Việc học
cũng có thể là không có giám sát, theo nghĩa là hệ thống không được cung cấp các
mẫu được đánh nhãn (phân loại) trước, mà nó phải tự đưa ra các lớp để phân loại
dựa vào tính ổn định trong thống kê của các mẫu. 10

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

Việc phân loại thường dùng một trong hai hướng tiếp cận sau là thống kê
(hay còn gọi là lí thuyết quyết định) và cú pháp. Nhận dạng mẫu dùng thống kê
là dựa vào các đặc tính thống kê của các mẫu, chẳng hạn các mẫu được tạo bởi
một hệ thống xác suất. Nhận dạng dùng cấu trúc là dựa vào tương quan cấu trúc
giữa các mẫu.
Các ứng dụng phổ biến là nhận dạng tiếng nói tự động, phân loại văn bản
thành nhiều loại khác nhau (ví dụ : những thư điện tử nào là thư rác và không phải
thư rác), nhận dạng tự động các mã bưu điện viết tay trên các bao thư, hay hệ thống
nhận dạng danh tính dựa vào mặt người v.v . Trong khuôn khổ luận văn này, lý
thuyết nhận dạng sẽ được áp dụng vào việc nhận dạng cử chỉ trong video ứng dụng
trong điều khiển thiết bị điện gia dụng.
1.1. Khái niệm về nhận dạng cử chỉ
Cử chỉ là tất cả các cử động của cơ thể nhằm
- Thể hiện, truyền đạt một thông tin nào đó.
- Tương tác với môi trường.
Cử chỉ là một phương thức giao tiếp hữu hiệu giữa con người - con người.
Ngay cả đối với các giao tiếp qua giọng nói, người ta vẫn sử dụng cử chỉ để tăng
khả năng truyền thụ.
Trong tương tác người - máy, một trong những cách thức hiệu quả mà máy
có thể thực hiện yêu cầu của người hoặc đưa ra các đáp ứng với môi trường xung
quanh là nhận ra các cử chỉ của người.
1.2. Phân loại cử chỉ:
Cử chỉ được chia thành hai loai : cử chỉ tĩnh và cử chỉ động. Một cử chỉ tĩnh
được mô tả bởi một hình trạng duy nhất của cơ thể hoặc một bộ phận của cơ thể.
Một cử chỉ động là một chuỗi các hình trạng liên tiếp theo một quỹ đạo nhất định.
Dựa vào các bộ phận của cơ thể, người ta phân ra các lớp cử chỉ sau :
Cử chỉ của tay và cánh tay : Trợ giúp nói bằng tay, ứng dụng trong giải
trí (trò chơi tương tác), điều khiển máy móc thông qua các cử chỉ. 11

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

Dữ liệu
huấn luyện
Dữ liệu
nhận dạng
Tiền xử lý
Trích trọn
đặc trưng
Huấn
luyện
Nhận dạng
và phân loại
Mô hình
huấn luyện
Kế quả
Phân loại
Positive
Negative
Cử chỉ của đầu và gương mặt : Hướng nghiêng của đầu, hướng nhìn của
mắt, hướng của lông mày, độ mở của miệng được sử dụng trong các bài
toán nhận dạng cảm xúc của con người (ứng dụng trong các hệ thống giao
tiếp thông minh).
Cử chỉ của cơ thể : Theo dõi toàn bộ chuyển động của người, phân tích
chuyển động của người nhảy để sinh ra nhạc và chiếu sáng tương ứng,
nhận dạng phân tích dáng đi trong huấn luyện điền kinh, v.v
Như vậy, cử chỉ của một con người rất phong phú và đa dạng. Có nhiều cách
thức để thể hiện một cử chỉ, và một cử chỉ có thể truyền đạt nhiều thông tin khác
nhau, đưa ra các đáp ứng khác nhau với môi trường.