Luận Văn Nghiên cứu các phương pháp phân loại , thu thập thông tin văn bản tiếng Việt bằng Text Mining

Nghiên cứu các phương pháp phân loại , thu thập thông tin văn bản tiếng Việt bằng Text Mining
MỤC LỤC
​MỤC LỤC 1
BẢNG DANH MỤC HèNH HOẠ 3
LỜI GIỚI THIỆU 4
I. Đặt vấn đề 6
II. Cơ sở lý thuyết 7
1. Khỏi niệm Text Mining 7
a. Khai phá dữ liệu (Data Mining) 7
b. Khai phá dữ liệu văn bản (Text Mining) 8
2. Bài toán phân loại văn bản (Text categorization) 10
a. Khái niệm phân loại văn bản 10
b. Cỏc phương pháp phân loại văn bản 11
b.1. Sử dụng từ điển phân cấp chủ đề 11
b.1.1. Giải thuật phân lớp và phân cấp chủ đề 11
b.1.2. Sự phự hợp và sự phõn biệt của cỏc trọng số 12
b.2. Phương pháp cây quyết định (Decision tree) 13
3. Bài toỏn thu thập thụng tin (Information retrieval - IR) 14
a. Khỏi niệm thu thập thụng tin 14
b. Cỏc phương pháp thu thập thông tin 16
b.1. Các phương pháp chuẩn 16
b.1.1. Mụ hỡnh Boolean 16
b.1.2. Mụ hỡnh khụng gian vec-tơ (Vector space model - VSM) 18
b.2. Các phương pháp dựa trí tuệ nhân tạo (AI-based method) 21
b.2.1 Kỹ thuật mạng Nơ-ron (Neural network) 22
4. Một số công cụ phân tích văn bản tiếng Anh 26
III. Cỏc giải phỏp ỏp dụng cho Vietnamese Text Mining 29
1. Đặc trưng của văn bản tiếng Việt 29
a. Các đơn vị của tiếng Việt 29
a.1. Tiếng và đặc điểm của tiếng 29
a.1.1. Tiếng và giá trị ngữ âm 29
a.1.2. Tiếng và giá trị ngữ nghĩa 29
a.1.3. Tiếng và giá trị ngữ pháp 29
a.2. Từ và các đặc điểm của từ 30
a.2.1. Từ là đơn vị nhỏ nhất để đặt câu 30
a.2.2. Từ có nghĩa hoàn chỉnh và cấu tạo ổn định 30
a.3. Câu và các đặc điểm của câu 30
a.3.1. Câu có ý nghĩa hoàn chỉnh 30
a.3.2. Câu có cấu tạo đa dạng. 30
b. Các phương tiện ngữ pháp của tiếng việt. 31
b.1. Trong phạm vi cấu tạo từ. 31
b.2. Trong phạm vi cấu tạo câu. 31
c. Từ tiếng việt 32
c.1. Từ đơn - từ ghép 32
c.2. Từ loại 32
c.3. Dùng từ cấu tạo ngữ 33
d. Câu tiếng việt 34
d.1. Câu đơn 34
d.2. Câu ghép 35
d.2.1. Câu ghép song song 35
d.2.2. Câu ghép qua lại 35
d.2.3. Các thành phần câu. 35
e. Các đặc điểm chính tả và văn bản tiếng Việt 36
2. Các giải pháp, đánh giá hiệu quả, đề ra giải pháp cho phân tích văn bản tiếng Việt 36
a. Bài toán phân loại văn bản tiếng Việt 36
b. Bài toán thu thập thông tin từ văn bản tiếng Việt 37
IV. Xây dựng thử chương trỡnh tách thuật ngữ tiếng Việt theo phương pháp cổ điển 38
1. Chương trỡnh và bài toỏn được giải quyết 38
2. Kết quả chạy chương trỡnh 38
TÀI LIỆU THAM KHẢO 39
PHỤ LỤC 40
Các thông tin về báo cáo 40
Cách chạy chương trỡnh demo 40
TỪ ĐIỂN THUẬT NGỮ 41

BẢNG DANH MỤC HèNH HOẠ
Hỡnh 1: Một vớ dụ về cõy quyết định
Hỡnh 2. Mụ hỡnh thu thập thụng tin chuẩn
Hỡnh 3. Đồ thị biểu diễn cỏc vec-tơ của bài bỏo D1 và D2
Hỡnh 4: Đồ thị biểu diễn quan hệ giữa truy vấn (query) và cỏc tài liệu D1, D2
Hỡnh 5. Mạng nơ-ron: toỏn tử AND (a) và toỏn tử OR (b)
Hỡnh 6. Mạng nơ-ron với lớp ẩn: toỏn tử NOR
Hỡnh 7: Mụ hỡnh biểu diễn mạng nơ-ron
Hỡnh 8: Minh hoạ cụng cụ TextAnalyst
Hỡnh 9: Minh hoạ cụng cụ TextAnalyst nhỳng trờn Internet Explorer



LỜI GIỚI THIỆU
​Ngày nay, cơ sở dữ liệu đó trở thành một phần khụng thể thiếu của xó hội loài người. Trong kỉ nguyên thông tin này, các thông tin được lưu trữ và xử lý hiệu quả hầu hết là thụng qua cơ sở dữ liệu. Sau gần 50 năm phát triển, cơ sở dữ liệu đã có những bước tiến vô cùng quan trọng trong lịch sử Công nghệ thông tin. Từ mô hình Cơ sở dữ liệu quan hệ do E.Codd đề xuất từ những năm 60, các ứng dụng công nghệ thông tin đã thực sự biến việc lưu trữ dữ liệu trở thành lưu trữ thông tin thông qua các công cụ quản lý và xử lý cơ sở dữ liệu. Ngày nay, nhu cầu lưu trữ và xử lý thụng tin cú mặt ở khắp mọi nơi. Ở bất cứ một tổ chức nào, với bất kỳ một mô hình hay quy mô nào cũng đều có những nhu cầu về lưu trữ và khai thác thông tin. Khái niệm thông tin ở đây bao gồm cả thông tin về nội tại của tổ chức và thông tin về môi trường và tổ chức hoạt động.
Việc nghiờn cứu lý thuyết về cơ sở dữ liêu đó trở thành một ngành khoa học ứng dụng. Do những tiến bộ vượt bậc trong nghiên cứu lý thuyết cũng như cài đặt thực tế, các hệ quản trị cơ sở dữ liệu đã trở thành nền tảng, là phần cốt yếu trong hoạt động của các tổ chức. Nhờ chúng mà các tổ chức hoạt động hiệu quả hơn. Việc ứng dụng cơ sở dữ liệu đó giỳp làm giảm rất nhiều công sức lao động của con người và nhờ đó hiệu suất lao động của họ cao hơn. Hệ quản trị cơ sở dữ liệu ngày nay không còn đơn thuần chỉ là một cơ cấu cho phép lưu trữ số liệu mà còn kèm theo đó là các công cụ, tiện ích hay các phương pháp luận để chuyển đổi số liệu thành thông tin. Tập tất cả các công cụ do người dùng phát triển hoặc do các nhà cung cấp phần mềm tung ra để phục vụ cho mục đích hoạt động của tổ chức, được tối ưu theo những yêu cầu nghiệp vụ của tổ chức được gọi là các ứng dụng hỗ trợ xử lý tác nghiệp. Cao hơn nữa, khi các nhu cầu sử dụng thông tin ở mức cao cấp hơn để hỗ trợ các nhu cầu phân tích của các nhà lãnh đạo, các nhà lập chiến lược trong một tổ chức, một loại ứng dụng mới ra đời phục vụ cho các mục đích này với tên gọi “hệ phân tích và xử lý trực tuyến”. Ở cỏc ứng dụng này, thụng tin được lưu trữ, xử lý và kết xuất theo cỏc mục đích cụ thể dưới dạng hướng chủ đề. Nhờ các thông tin ở dạng này mà các phân tớch, cỏc nhà lónh cú thể đưa ra các quyết định hoạt động một cách hiệu quả nhất.
Khi cỏc mụ hỡnh dữ liệu phỏt triển ở mức độ cao hơn, các thông tin lưu trữ dưới dạng dữ liệu phong phú đa dạng hơn, người ta nhận ra cũn rṍt nhiều tri thức còn tiềm ẩn trong dữ liệu mà các mức phân tích trước đó không phát hiện ra. Lý do của vấn đề này là các phân tích trước đó chỉ mới hướng mục đích cụ thể của con người. Các mục đích này là cố định và các phân tích này hoàn toàn do con người đưa ra trong hoàn cảnh cụ thể. Khi các thông tin phản ánh môi trường thay đổi thỡ con người không nhận ra để điều chỉnh các phân tích và đưa ra các phân tích mới. Các tri thức đó có thể là hướng kinh doanh, các dự báo thị trường, cũng có thể là mối quan hệ giữa các trường hay nội dung dữ liệu . mà con người không hình dung ra được khi tiến hành mô hình hoá các hệ thống. Vì thế, ngành nghiên cứu về Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Database) ra đời với bài toán Khai phá dữ liệu (DataMining) làm trung tâm nghiên cứu. Các tư tưởng nghiên cứu và các thuật toán về Trí tuệ nhân tạo và Hệ chuyên gia đã được áp dụng và thu được những kết quả rất quan trọng như: cây quyết định, mạng nơ-ron .
Hầu hết các thuật toán nghiên cứu cho DataMining là tập trung trên các nguồn số liệu có cấu trúc (structured data). Nhưng phần lớn thông tin mà chúng ta lưu trữ và trao đổi hằng ngày lại được lưu trữ dưới các dạng dữ liệu bán cấu trúc (semi-structured data) hoặc phi cấu trúc (non-structured data). Ví dụ như trong các nhà xuất bản, hệ thống các trang web trờn một website, tập các công văn, giấy tờ, báo cáo, thư tín điện tử trong một công ty. Thậm chí ta có thể nhận thấy rằng trong một hệ quản trị cơ sở dữ liệu (nơi mà dữ liệu được lưu trữ có cấu trúc) thì dữ liệu kiểu text vẫn chiếm một tỷ lệ cao. Do đó một vấn đề đặt ra là làm thế nào để có thể tìm kiếm và khai thác tri thức từ nguồn dữ liệu như vậy. Các kỹ thuật để giải quyết vấn đề này được gọi là kỹ thuật "TextMining" hay Khai phá dữ liệu văn bản. Bài toán Khai phá dữ liệu văn bản không chỉ tập trung vào một hay một nhóm các thông tin được lưu trữ dưới dạng văn bản, vấn đề đặt ra là làm thế nào có thể Khai phá được các thông tin theo lịch sử, từ quá khứ hướng dự đoán tương lai. Những tri thức tưởng trừng như vô ích trong quá khứ nhưng có thể được phát hiện để sử dụng cho các mục đích sau này.
Một số bài toán quan trọng trong Khai phá dữ liệu văn bản hay được xét đến như là các bài toán “Text Classification”, “Text Sumarization”, và “Text Categorization”.
Trên thế giới đã có rất nhiều thành công trong đề tài phân lớp văn bản như các nghiên cứu của hãng IBM, trong các phòng thí nghiệm ở MIT hay ở các viện nghiên cứu của các trường đại học ở Mỹ, Pháp, Nhật Bản, Canada. Tuy nhiên, các thành công đó chủ yếu tập trung vào vấn đề nghiên cứu về các văn bản tiếng Anh, tiếng Pháp. Những ngôn ngữ này là các ngôn ngữ tương đối thuận lợi khi xử lý.
Hiện nay, chưa có một công cụ nào được coi là hiệu quả trong lĩnh vực khai phá văn bản tiếng Việt. Nền Công nghệ thông tin của nước ta được phát triển hết sức mạnh mẽ. Do nhu cầu hội nhập, nhu cầu phát triển kinh tế, văn hoá, Xó hội ngày càng tăng, các thông tin được xử lý thông qua văn bản điện tử, qua web, qua email phát triển với tốc độ chóng mặt. Từ đó, nhu cầu nghiờn cứu và xõy dựng cỏc cụng cụ Khai phá dữ liệu văn bản tiếng Việt đang được hết sức coi trọng.
Trong đề tài thực tập này, em xin trỡnh bày cỏc nghiờn cứu tổng quan của em về Text Mining và cỏc ứng dụng của nú về thu thập thông tin từ dữ liệu văn bản và phân loại dữ liệu văn bản. Mục đích của đề tài là hướng tới phát triển các công cụ phân loại văn bản tiếng Việt ở các nghiên cứu sau trong đề tài luận văn tốt nghiệp.
Em xin chân thành cảm ơn thầy Nguyễn Ngọc Bỡnh đó giỳp em rất nhiều trong quỏ trỡnh hướng dẫn em nghiên cứu về đề tài. Em xin cảm ơn anh Lưu Anh Tuấn đó giỳp em một số định hướng trong quá trỡnh nghiờn cứu đề tài.
I. Đặt vấn đề
Như chúng ta đó biết, hầu hết cỏc thụng tin được trao đổi hiện nay nằm dưới dạng tài liệu văn bản. Các thông tin đó có thể là các bài báo, các tài liệu kinh doanh, các thông tin kinh tế, các bài nghiên cứu khoa học. Dù áp dụng Cơ sở dữ liệu vào trong hoạt động của tổ chức là rất phổ biến và đem lại nhiều lợi ích khi lưu trữ và xử lý, nhưng ta không thể quên được rằng cũn rất nhiều dạng thông tin khác được lưu trữ dưới dạng văn bản. Thậm chí ngay cả trong các thông tin được lưu trong các cơ sở dữ liệu thỡ phần lớn trong số chỳng cũng được tổ chức dưới dạng văn bản. Hiện nay, các tổ chức đã áp dụng công nghệ thông tin vào quản lý hệ thống công văn giấy tờ, ví dụ các hệ thống sử dụng Lotus Node. Tuy nhiên đó chỉ thực sự là cách quản lý luồng dữ liệu văn bản, cung cấp các công cụ kho chứa, còn dữ liệu vẫn thực sự nằm dưới dạng văn bản. Chúng ta chưa có các giải thuật phân loại, tìm kiếm tài liệu, các công cụ trích lọc thông tin nhằm mục đích thống kê, phát hiện tri thức, ra quyết định trực tiếp trên các nguồn dữ liệu kiểu này.
Với thực tế đó, vấn đề đặt ra là làm thế nào chúng ta có thể khai thác được những thông tin hữu ích từ các nguồn tài liệu văn bản nói chung. Các nguồn dữ liệu này phải được xử lý như thế nào để người dùng có thể có những công cụ tự động hoá trợ giúp trong việc phát hiện tri thức và khai thác thông tin. Rõ ràng, chúng ta phải hiểu rõ bản chất của dữ liệu văn bản, hiểu rõ các đặc trưng của các dữ liệu loại này để có thể có được những phương pháp luận cần thiết.
Việc khai thác thông tin từ các nguồn dữ liệu văn bản trong các tổ chức Việt Nam chắc chắn phải dựa vào những kết quả nghiên cứu về văn bản nói chung, về dữ liệu văn bản và các kỹ thuật xử lý đã được phát triển trên thế giới. Tuy nhiên, những văn bản tiếng Việt lại có những đặc trưng riêng của nó. Ta có thể nhận thấy được ngay sự khác biệt về mặt kí pháp, cú pháp và ngữ pháp tiếng Việt trong các văn bản so với các ngôn ngữ phổ biến trên thế giới như tiếng Anh, tiếng Pháp. Vậy thì những đặc trưng này ảnh hưởng thế nào đến các kỹ thuật khai phá dữ liệu văn bản, ta cần phải có những ký thuật mới nào để có thể tận dụng được những ưu thế của tiếng Việt cũng như giải quyết được những phức tạp trong tiếng Việt.
Để trả lời được những câu hỏi này, đồ án sẽ đi từ những bước nghiên cứu về Khai phá dữ liệu văn bản, tìm hiểu những đặc trưng của tiếng Việt, từ đó đề ra phương hướng giúp giải quyết bài toán phân loại văn bản tiếng Việt phức tạp ở các nghiên cứu cao hơn. Các kết quả của nghiên cứu trong đề tài thực tập này sẽ là nhưng bước tiến đầu tiên cho luận văn tốt nghiệp của em với đề tài “Phõn loại văn bản tiếng Việt bằng phương pháp phõn tớch cỳ phỏp.”


​