Thạc Sĩ Nghiên cứu về mô hình thống kê học sâu và ứng dụng trong nhận dạng chữ viết tay hạn chế

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

MỤC LỤC
LỜI CAM ĐOAN . i
MỤC LỤC . iv
DANH MỤC HÌNH ẢNH vi
DANH MỤC BẢNG BIỂU . vii
LỜI MỞ ĐẦU 1
Chương 1: GIỚI THIỆU ĐỀ TÀI 3
1.1. Giới thiệu về bài toán nhận dạng 3
1.1.1. Các giai đoạn phát triển . 3
1.1.2. Tình hình nghiên cứu trong nước 4
1.1.3. Tình hình nghiên cứu ở nước ngoài . 4
1.2. Các bước xử lý cho bài toán nhận dạng hoàn chỉnh . 6
1.3. Kết luận chương . 8
Chương 2: MÔ HÌNH SVM VÀ MÔ HÌNH THỐNG KÊ HỌC SÂU . 9
2.1. Tổng quan về mô hình SVM (Support Vector Machine) . 9
2.1.1. Cơ sở lý thuyết . 9
2.1.1.1. Giới thiệu bài toán phân lớp nhị phân . 9
2.1.1.2. Máy SVM tuyến tính . 10
2.1.1.3. Máy SVM phi tuyến 17
2.1.2. Các thuật toán huấn luyện SVM 19
2.1.2.1. Thuật toán chặt khúc . 19
2.1.2.2. Thuật toán phân rã . 19
2.1.2.3. Thuật toán cực tiểu tuần tự 20
2.2. Cơ sở lý thuyết mô hình thống kê học sâu . 23
2.2.1. Một số lý thuyết về mạng Neuron . 23
2.2.1.1. Giới thiệu về mạng Neuron . 23
2.2.1.2. Cấu trúc và hoạt động của mạng Neuron 23
2.2.1.3. Quá trình huấn luyện mạng và các thuật toán học mạng 28 v


Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

2.2.2. Hopfield Network 31
2.2.2.1. Cấu trúc mạng Hopfield 31
2.2.2.2. Mạng Hopfield rời rạc . 33
2.2.2.3. Mạng Hopfield liên tục . 34
2.2.3. Boltzmann Machines . 36
2.2.4. Restricted Boltzmann Machines 39
2.2.3. Thuật toán lan truyền ngược 40
2.3. Kết luận chương . 42
Chương 3: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 43
3.1. Môi trường thực nghiệm 43
3.2. Dữ liệu thực nghiệm . 43
3.3. Kết quả thực nghiệm với mô hình SVM . 44
3.4. Huấn luyện mô hình và kết quả thực nghiệm với mô hình thống kê
học sâu 45
3.4.1. Huấn luyện mô hình . 45
3.4.1.1. Cấu trúc mô hình . 45
3.4.1.2. Phương pháp huấn luyện và quy trình nhận dạng . 47
3.4.2. Giao diện chính của chương trình 48
3.4.3. Kết quả thực nghiệm 49
3.5. Đánh giá kết quả thực nghiệm của hai mô hình. . 50
3.6. Kết luận chương . 51
KẾT LUẬN CHUNG 52
TÀI LIỆU THAM KHẢO 54
PHỤ LỤC: HUẤN LUYỆN MÔ HÌNH 56


vi


Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

DANH MỤC HÌNH ẢNH

Hình 1-1: Các bước trong nhận dạng chữ viết tay 6
Hình 2-1: Các siêu phẳng 1
H , 2
H phân cách giữa hai lớp . 9
Hình 2-2: Siêu phẳng tách tuyến tính . 10
Hình 2-3: Không thể phân hoạch tập mẫu trên bằng một siêu phẳng . 13
Hình 2-4: Một mặt phân chia phi tuyến có thể trở thành một siêu phẳng trong không
gian lớn hơn. 17
Hình 2-5: Cấu trúc của một neuron 24
Hình 2-6: Cấu trúc chung của mạng neuron . 26
Hình 2-7: Cấu trúc của mạng Hopfield . 31
Hình 2-8: Đồ thị hàm satlins . 32
Hình 2-9: Mạng Hopfield liên tục sử dụng mạch điện tử. 35
Hình 2-10: Một Boltzmann Machine với 3 nút ẩn 36
Hình 2-11: Một RBM đơn giản với 3 hidden units và 2 visible units. 39
Hình 3-2: Giao diện chính của chương trình nhận dạng chữ viết tay hạn chế . 48
Hình 3-3: Chương trình khi nhận dạng 1 ảnh bất kỳ 48
Hình 3-4: Nhận dạng và thống kê nhiều ảnh 49






vii


Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

DANH MỤC BẢNG BIỂU

Bảng 2-1: Các hàm truyền cơ bản . 27
Bảng 3-1: Kết quả thực nghiệm mô hình SVM trên 2 tập dữ liệu MNIST và Tuyển
Sinh . 44
Bảng 3-2: Kết quả thực nghiệm mô hình SVM trên tập dữ liệu MNIST . 44
Bảng 3-3: Kết quả thực nghiệm mô hình SVM trên tập dữ liệu Tuyển Sinh . 45
Bảng 3-4: Kết quả thực nghiệm trên 2 tập dữ liệu MNIST và Tuyển Sinh 49
Bảng 3-5: Kết quả thực nghiệm trên tập dữ liệu Tuyển sinh 50
Bảng 3-6: Bảng so sánh kết quả giữa hai mô hình . 50




1


Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

LỜI MỞ ĐẦU

Nhận dạng chữ viết tay là bài toán khó trong lớp các bài toán nhận dạng chữ, và
vẫn luôn thu hút được nhiều sự quan tâm nghiên cứu của các nhà khoa học. Đặc
biệt là trong vài thập niên gần đây, do sự thúc đẩy của quá trình tin học hóa trong
mọi lĩnh vực, ứng dụng nhận dạng chữ càng có nhiều ý nghĩa khi được sử dụng cho
các bài toán trong thực tế. Cũng như nhiều bài toán nhận dạng tiếng nói, hình
ảnh khác, thì độ chính xác của hệ thống vẫn tiếp tục cần phải cải thiện nhằm
vươn tới khả năng nhận dạng giống như con người.
Tuy nhiên, với bài toán nhận dạng chữ viết tay thì vấn đề trở nên phức tạp hơn
nhiều so với bài toán nhận dạng chữ in thông thường ở những vấn đề sau đây [3]:
 Với chữ viết tay thì không thể có các khái niệm font chữ, kích cỡ chữ. Các
kí tự trong một văn bản chữ viết tay thường có kích thước khác nhau. Thậm
chí, cùng một kí tự trong một văn bản do một người viết nhiều khi cũng có
độ rộng, hẹp, cao, thấp khác nhau, .
 Với những người viết khác nhau chữ viết có độ nghiêng khác nhau (chữ
nghiêng nhiều/ít, chữ nghiêng trái/phải .).
 Các kí tự của một từ trên văn bản chữ viết tay đối với hầu hết người viết
thường bị dính nhau vì vậy rất khó xác định được phân cách giữa chúng.
 Các văn bản chữ viết tay còn có thể có trường hợp dính dòng (dòng dưới bị
dính hoặc chồng lên dòng trên).
Trong những năm gần đây, mô hình mạng Neuron theo hướng học sâu đã cho
thấy những kết quả tốt trong nhiều bài toán khác nhau, trong đó có nhận dạng chữ.
Xuất phát từ yêu cầu thực tế, đang rất cần có nhưng nghiên cứu về vấn đề này.
Chính vì vậy học viên đã chọn đề tài “Nghiên cứu về mô hình thống kê học sâu
và ứng dụng trong nhận dạng chữ viết tay hạn chế” làm luận văn tốt nghiệp với
mong muốn phần nào áp dụng vào bài toán thực tế.
Bài toán đã đặt ra phải giải quyết được những yêu cầu sau:
 Nhận dạng được các ký tự từ ảnh đầu vào 2


Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/

 Tiến hành nhận dạng kí tự đơn lẻ sử dụng mạng Neuron nhân tạo
theo phương pháp học sâu Restricted Boltzmann machine (RBM).
 Đánh giá kết quả và so sánh với mô hình Support Vector Machine
Với nhưng yêu cầu đã đặt ra ở trên, cấu trúc của luận văn sẽ bao gồm những
nội dung sau đây:
 Chương 1:Tổng quan về đề tài
Giới thiệu về bài toán nhận dạng chữ viết tay, tình hình nghiên cứu trong và
ngoài nước, quy trình chung để giải quyết bài toán và các phương pháp điển
hình trong việc huấn luyện nhận dạng, phạm vi của đề tài.
 Chương 2: Mô hình SVM và mô hình thống kê học sâu
Trình bày về cơ sở lý thuyết của mô hình SVM (Support Vector Machine)
và huấn luyện trong bài toán nhận dạng chữ viết tay. Cơ sở lý thuyết của mô
hình thống kê học sâu: Hopfield network, Boltzmann Machines, Restricted
Boltzmann Machines và thuật toán lan truyền ngược.
 Chương 3: Kết quả thực nghiệm và đánh giá
Trình bày các kết quả thực nghiệm của hai mô hình SVM và mô hình thống
kê học sâu, đưa ra kết quả đánh giá nhận dạng chữ viết tay hạn chế giữa mô
hình SVM và mô hình thống kê học sâu.