Đồ Án Phương pháp trích chọn đặc trưng ảnh trong học máy tìm kiếm ảnh và ứng dụng trong trong tìm kiếm sản

Tóm tắt

Sự phát triển mạnh mẽ của công nghệ ảnh số làm lượng ảnh lưu trữ trên web tăng
lên một cách nhanh chóng đòi hỏi phải có các công cụ hỗ trợ tìm kiếm ảnh hiệu quả và
tiện lợi. Mặc dù các công cụ tìm kiếm ảnh theo văn bản đi kèm ảnh ra đời cho phép
người dùng tìm kiếm ảnh với thời gian đáp ứng khá nhanh, tuy nhiên, các công cụ này
vẫn còn hạn chế trong việc giải quyết nhập nhằng giữa nội dung câu truy vấn và nội
dung hiển thị của ảnh trả về. Sự ra đời của các công cụ tìm kiếm ảnh theo nội dung ảnh
đã giải quyết được những nhập nhằng trên.
Mục tiêu của khóa luận là nghiên cứu các phương pháp biểu diễn đặc trưng ảnh
để nâng cao chất lượng tìm kiếm ảnh. Đầu tiên, khóa luận khảo sát phương pháp trích
chọn đặc trưng ảnh trong tìm kiếm và xếp hạng ảnh. Tiếp đó, dựa theo phương pháp
lượng tử hóa tích của Hervé Jégou và cộng sự [12], khóa luận đưa ra một mô hình tìm
kiếm k láng giềng gần nhất kết hợp độ đo tương đồng về khoảng cách giữa các vector
đặc trưng và tiến hành thực nghiệm mô hình. Thực nghiệm ban đầu cho thấy, từ một
ảnh truy vấn đầu vào hệ thống trả về 10 ảnh tương đồng nhất đối với mỗi truy vấn với
độ chính xác 80.4% và đây là một kết quả khả quan.


Mục lục

Mở đầu . 1
Chương 1. Khái quát về trích chọn đặc trưng ảnh và tìm kiếm theo đặc
trưng ảnh . 3
1.1. Đặt vấn đề . 3
1.2. Đặc trưng văn bản đi kèm ảnh và tìm kiếm ảnh theo văn bản đi kèm ảnh. . 3
1.3. Đặc trưng nội dung ảnh và tìm kiếm theo đặc trưng nội dung. . 5
Tổng kết chương 1 . 8
Chương 2. Các phương pháp lựa chọn đặc trưng và độ đo tương đồng
giữa các ảnh . . 10
2.1. Đặt vấn đề . 10
2.2. Đặc trưng màu sắc 11
2.2.1. Đặc trưng màu sắc 11
2.2.2. Độ đo tương đồng cho màu sắc . 11
2.3. Đặc trưng kết cấu 12
2.3.1. Đặc trưng kết cấu 12
2.3.2. Độ đo tương đồng cho kết cấu 12
2.4. Đặc trưng hình dạng 13
2.4.1. Đặc trưng hình dạng 13
2.4.2. Độ đo tương đồng cho hình dạng 13
2.5. Đặc trưng cục bộ bất biến 13
2.5.1. Đặc trưng cục bộ bất biến . 14
2.5.2. Độ đo tương đồng cho đặc trưng cục bộ bất biến 18
2.6. Lựa chọn đặc trưng . 18
Tổng kết chương 2 . 20
Chương 3. Một số phương pháp tìm kiếm ảnh theo nội dung 21
3.1. Phương pháp PageRank cho tìm kiếm ảnh sản phẩm . 21
3.2. CueFlik: Một phương pháp xếp hạng lại ảnh dựa trên luật của người dùng . 22
3.3. Phương pháp tìm kiếm ảnh dựa trên màu sắc, hình dạng, kết cấu của ảnh . 24
3.3.1. Lưới 25
3.3.2. Tích hợp các đối sánh ảnh . 25
3.3.3. Hình dạng: 26
3.4. Phương pháp tìm kiếm ảnh dựa vào nội dung sử dụng các phân vùng ảnh như
mẫu truy vấn 26
Tổng kết chương 3 . 27
Chương 4. Mô hình k láng giềng gần nhất sử dụng bộ lượng tử hóa . 28
4.1. Đặt vấn đề . 28
4.2. Cơ sở lý thuyết 28
4.2.1. Các ký hiệu và khái niệm 28
4.2.2. Tìm kiếm sử dụng lượng tử hóa 30
4.2.3. Tìm kiếm không toàn bộ . 31
4.3. Mô hình bài toán . 33
4.3.1. Trích chọn đặc trưng ảnh 33
4.3.2. Tìm kiếm K láng giềng gần nhất . 34
Tổng kết chương 4 . 35
Chương 5. Thực nghiệm và đánh giá . 36
5.1. Môi trường và các công cụ sử dụng cho thực nghiệm 36
5.2. Xây dựng tập dữ liệu ảnh 37
5.3. Quy trình, phương pháp thực nghiệm 38
5.4. Kết quả thực nghiệm . 38
Tổng kết chương 5 . 41
Kết luận . 42
Tài liệu tham khảo . 43


Danh sách các bảng
Bảng 1. Cấu hình phần cứng sử dụng trong thực nghiệm 36
Bảng 2. Công cụ phần mềm sử dụng trong thực nghiệm . 36
Bảng 3. Một số thư viện sử dụng trong thực nghiệm . 37
Bảng 4. Kết quả độ chính xác trung bình của 10 truy vấn . 40
Bảng 5. Độ chính xác mức k của một số truy vấn . 40

Danh sách các hình vẽ
Hình 1. Ví dụ hiển thị một ảnh 4
Hình 2. Ví dụ truy vấn của Google 5
Hình 3. Ví dụ truy vấn của Google 5
Hình 4. Ví dụ về một số lọai kết cấu . 6
Hình 5. Một kết quả trả về của Google Image Swirl 7
Hình 6. Một kết quả trả về của Tiltomo . 7
Hình 7. Một kết quả trả về của Byo Image Search 8
Hình 8. Biểu đồ mô phỏng việc tính toán các DoG ảnh từ các ảnh kề mờ . 15
Hình 9. Mỗi điểm ảnh được so sánh với 26 láng giềng của nó . 16
Hình 10. Quá trình lựa chọn các điểm hấp dẫn 17
Hình 11. Biểu diễn các vector đặc trưng . 18
Hình 12. Ví dụ các ảnh sản phẩm trả về từ hệ thống của Jing . 22
Hình 13. Tổng quan về mô hình của hệ thống tìm kiếm theo màu sắc, kết cấu và hình
dạng 25
Hình 14. Mô hình hệ thống IVFADC 33
Hình 15. Mô hình giải quyết bài toán 34
Hình 16. 10 kết quả trả về đầu tiên của hệ thống với truy vấn Apple . 41




Mở đầu

Cùng với sự bùng nổ thông tin trên web và sự phát triển của công nghệ kỹ thuật
số, lượng ảnh lưu trữ trên Web cũng tăng một cách nhanh chóng. Vì vậy, việc xây
dựng các hệ thống tìm kiếm và xếp hạng ảnh là rất cần thiết và thực tế đã có nhiều
công cụ tìm kiếm ảnh thương mại xuất hiện. Các công cụ tìm kiếm ảnh thường dựa
vào hai đặc trưng chính là văn bản đi kèm ảnh hoặc nội dung ảnh. Một số công cụ tìm
kiếm ảnh theo văn bản đi kèm như Google Image Search, Yahoo!, MSN, Một số
công cụ tìm kiếm ảnh dựa vào nội dung ảnh như Google Image Swirl, Bing, Tiltomo,
Tineye, Tuy nhiên, việc tìm kiếm chỉ dựa vào văn bản đi kèm còn có nhiều nhập
nhằng giữa nội dung hiển thị ảnh và nội dung văn bản đi kèm ảnh trong quá tình tìm
kiếm. Ví dụ, với truy vấn “Apple”, máy tìm kiếm khó phân biệt được người dùng
muốn tìm hình ảnh quả táo hay logo của hãng Apple. Những công cụ tìm kiếm ảnh
theo nội dung của các bức ảnh ra đời tỏ ra ưu thế vì hạn chế được những nhập nhằng
trên.
Tìm kiếm ảnh theo nội dung đã nhận được nhiều sự quan tâm của các nhà khoa
học. Nhiều công trình nghiên cứu về tìm kiếm ảnh theo nội dung được đăng trên các
tạp chí như International Journal of Computer Vision, IEEE conference Nhóm
nghiên cứu chúng tôi đã tiến hành một số nghiên cứu bước đầu liên quan đến xếp hạng
ảnh dựa vào độ tương đồng theo nội dung ảnh trong công tác sinh viên nghiên cứu
khoa học.
Khóa luận “Phương pháp trích chọn đặc trưng ảnh trong học máy tìm kiếm ảnh và
ứng dụng trong trong tìm kiếm sản phẩm” nhằm khảo sát, phân tích một số phương
pháp trích chọn đặc trưng ảnh phổ biến và tìm kiếm ảnh theo ảnh mẫu, thử nghiệm hệ
thống trong ứng dụng tìm kiếm sản phẩm.
Ngoài phần MỞ ĐẦU này, khóa luận bao gồm các nội dung sau:
 Chương 1. Khái quát về lựa chọn đặc trưng cho tìm kiếm ảnh. Các đặc trưng về
về văn bản đi kèm ảnh và đặc trưng về nội dung ảnh.
 Chương 2. Các phương pháp lựa chọn đặc trưng và độ đo tương tự giữa ảnh.
Trình bày một số đặc trưng về nội dung ảnh và một số độ đo tương đồng tương
ứng với các đặc trưng.

 Chương 3. Một số phương pháp tìm kiếm và xếp hạng ảnh dựa trên nội dung
của ảnh. Giới thiệu một số công trình nghiên cứu liên quan đến tìm kiếm ảnh
theo nội dung ảnh.
 Chương 4. Mô hình tìm kiếm K láng giềng gần nhất. Giới thiệu mô hình tìm
kiếm K láng giềng gần nhất, phương pháp lưu trữ và đánh chỉ mục trong tìm
kiếm.
 Chương 5. Thực nghiệm. Trình bày quá trình thực nghiệm, kết quả, nhận xét,
đánh giá khi áp dụng mô hình K láng giềng gần nhất với các đặc trưng trích
chọn trong tìm kiếm ảnh sản phẩm.
 Cuối cùng là phần KẾT LUẬN. Tổng kết các kết quả chính của khóa luận và
phương hướng nghiên cứu tiếp theo.