Luận Văn Về xử lý tiếng Việt trong công nghệ thông tin

1. Mở đầu
Gần đây khi có dịp nói chuyện về xử lý Ngôn ngữ (XLNN) và xử lý tiếng Việt (XLTV) trong
Công nghệ thông tin (CNTT) với một số nhà quản lý khoa học và công nghệ hoặc một số đồng
nghiệp, chúng tôi thấy có sự khác nhau giữa nhiều người về cách hiểu một số khái niệm cũng
như giữa những nhìn nhận về tình hình nghiên cứu-phát triển trong lĩnh vực này. Điều này cũng
tự nhiên, tự nhiên như hầu hết chúng ta không thật rõ về bệnh tim, hay không rõ protein được
tổng hợp ra như thế nào. Khi chuẩn bị dự án về xử lý tiếng Việt, chúng tôi bỗng thấy cần giải
thích cho nhiều người không làm chuyên môn về xử lý Ngôn ngữ rõ hơn về các câu chuyện của
lĩnh vực này. Và thay vì viết ngay đề cương, chúng tôi bắt đầu các việc của dự án bằng bài viết
này.
2. Những khái niệm cơ bản
Tiếng nói và chữ viết là hai yếu tố cơ bản nhất của bất kỳ Ngôn ngữ nào. Trong sự Phát triển của
Công nghệ thông tin (CNTT) ở Việt Nam, một số việc liên quan đến “tiếng Việt” đã được làm và
ít nhiều có kết quả ban đầu:
(a) Trước hết là các bộ gõ chữ Việt và thành công của việc đưa được bộ mã chữ Việt vào
bảng mã Unicode, cũng như việc chọn Unicode cho bộ mã chuẩn tiếng Việt (nhân đây
cũng xin nói thêm, do chưa ý thức về chuẩn, rất nhiều cán bộ CNTT, nhiều cơ quan nhà
nước vẫn chưa chịu đổi thói quen cũ để dùng bộ mã chuẩn Unicode, một việc rất quan
trọng của xử lý tiếng Việt). Bảo tồn chữ Nôm trên máy tính cũng là một việc đầy nỗ lực
và nhiều ý nghĩa được nhiều người theo đuổi lâu nay, cần được nhà nước tiếp tục ủng hộ
lâu dài (VNPF: Chữ Nôm Vietnamese English Electronic Dictionary - 會 保 存 遺 産 喃).
(b) Tiếp theo có thể kể đến các chương trình nhận dạng chữ Việt in (OCR: optical character
recognition), như hệ VnDOCR của Viện Công nghệ Thông tin, Viện Khoa học và Công 2
nghệ Việt Nam. Các chương trình nhận dạng chữ in nhằm chuyển các tài liệu in trên giấy
thành các tài liệu Điện tử (dưới dạng các tệp Văn bản trên máy tính).
(c) Các phần mềm hỗ trợ việc sử dụng tiếng nước ngoài, tiêu biểu là các từ điển song ngữ
trên máy tính, thí dụ như các từ điển Điện tử của Lạc Việt đã được dùng rộng rãi trên máy
tính để tra cứu từ Anh-Việt, Việt-Anh. Điều ta cần phân biệt là các từ điển Điện tử này
dành cho con người sử dụng, khác với từ điển Điện tử dành cho máy tính sử dụng trong
xử lý Ngôn ngữ tự nhiên (sẽ được đề cập ở phần sau).
(d) Các nỗ lực trong việc làm các phần mềm dịch Anh-Việt,Việt-Anh, chẳng hạn như các hệ
dịch EVTRAN và VETRAN.
(e) Một loại việc nữa là Việt hóa các phần mềm mà gần đây tiêu biểu là kết quả Việt hóa
Windows và Microsoft Office của Microsoft. Việc này có thể xem như việc “dịch” các
thông báo Tiếng anh cố định trong các phần mềm thành các thông báo tiếng Việt.
Tuy liên quan đến tiếng Việt, không phải tất cả các việc kể trên đều thuộc về lĩnh vực xử lý ngôn
ngữ tự nhiên nói chung và xử l ý tiếng Việt nói riêng theo nghĩa thông thường trong CNTT, vốn
chủ yếu nhằm vào những vấn đề liên quan đến xử lý Văn bản (text) và tiếng nói (speech)
[Jurafsky and Martin, 2000].
Để làm sáng tỏ điều này ta thử xem xét lại khái niệm “xử l ý thông tin”, một khái niệm cốt lõi của
Công nghệ thông tin và là khái niệm rộng hơn “xử l ý ngôn ngữ”. Về bản chất, xử l ý thông tin là
quá trình biến đổi dữ liệu từ dạng này thành dạng khác để có thể thu được thông tin và tri thức.
Trong giai đoạn đầu, CNTT tập trung vào các dữ liệu dạng số, biểu diễn bởi các dạng được cấu
trúc (structured) như các vectơ (vector) hay bảng biểu (tables). Trong hơn nửa thế kỷ phát triển,
CNTT dần dần “xử lý” nhiều kiểu dữ liệu khác, như hình ảnh (image), âm thanh (voice, speech),
Văn bản (text), k í hiệu hình thức (symbols), đồ thị (graph), và gần đây là nhiều kiểu dữ liệu
phức tạp như dữ liệu Sinh học (genomic data). Phương pháp xử l ý cũng ngày càng phong phú, từ
tính toán (computing) đến suy luận (reasoning), và nhiều kiểu khác nữa. Xử lý Ngôn ngữ chính là
xử lý thông tin khi đầu vào là “dữ liệu ngôn ngữ” (dữ liệu cần biến đổi), tức dữ liệu “văn bản”
hay “tiếng nói”.