Luận Văn Về xử lý tiếng Việt trong công nghệ thông tin

Thảo luận trong 'Công Nghệ Thông Tin' bắt đầu bởi Thúy Viết Bài, 5/12/13.

  1. Thúy Viết Bài

    Thành viên vàng

    Bài viết:
    198,891
    Được thích:
    170
    Điểm thành tích:
    0
    Xu:
    0Xu
    TÊN ĐỀ TÀI: Về xử lý tiếng Việt trong công nghệ thông tin
    Information
    [TABLE]
    [TR]
    [TD="width: 5%"][/TD]
    [TD="width: 90%"]1. Mở đầu
    Gần đây khi có dịp nói chuyện về xử lý ngôn ngữ (XLNN) và xử lý tiếng Việt (XLTV) trong
    Công nghệ thông tin (CNTT) với một số nhà quản lý khoa học và công nghệ hoặc một số đồng
    nghiệp, chúng tôi thấy có sự khác nhau giữa nhiều người về cách hiểu một số khái niệm cũng
    như giữa những nhìn nhận về tình hình nghiên cứu-phát triển trong lĩnh vực này. Điều này cũng
    tự nhiên, tự nhiên như hầu hết chúng ta không thật rõ về bệnh tim, hay không rõ protein được
    tổng hợp ra như thế nào. Khi chuẩn bị dự án về xử lý tiếng Việt, chúng tôi bỗng thấy cần giải
    thích cho nhiều người không làm chuyên môn về xử lý ngôn ngữ rõ hơn về các câu chuyện của
    lĩnh vực này. Và thay vì viết ngay đề cương, chúng tôi bắt đầu các việc của dự án bằng bài viết
    này.
    2. Những khái niệm cơ bản
    Tiếng nói và chữ viết là hai yếu tố cơ bản nhất của bất kỳ ngôn ngữ nào. Trong sự phát triển của
    Công nghệ thông tin (CNTT) ở Việt Nam, một số việc liên quan đến “tiếng Việt” đã được làm và
    ít nhiều có kết quả ban đầu:
    (a) Trước hết là các bộ gõ chữ Việt và thành công của việc đưa được bộ mã chữ Việt vào
    bảng mã Unicode, cũng như việc chọn Unicode cho bộ mã chuẩn tiếng Việt (nhân đây
    cũng xin nói thêm, do chưa ý thức về chuẩn, rất nhiều cán bộ CNTT, nhiều cơ quan nhà
    nước vẫn chưa chịu đổi thói quen cũ để dùng bộ mã chuẩn Unicode, một việc rất quan
    trọng của xử lý tiếng Việt). Bảo tồn chữ Nôm trên máy tính cũng là một việc đầy nỗ lực
    và nhiều ý nghĩa được nhiều người theo đuổi lâu nay, cần được nhà nước tiếp tục ủng hộ
    lâu dài (VNPF: Chữ Nôm Vietnamese English Electronic Dictionary - 會 保 存 遺 産 喃).
    (b) Tiếp theo có thể kể đến các chương trình nhận dạng chữ Việt in (OCR: optical character
    recognition), như hệ VnDOCR của Viện Công nghệ Thông tin, Viện Khoa học và Công 2
    nghệ Việt Nam. Các chương trình nhận dạng chữ in nhằm chuyển các tài liệu in trên giấy
    thành các tài liệu điện tử (dưới dạng các tệp văn bản trên máy tính).
    (c) Các phần mềm hỗ trợ việc sử dụng tiếng nước ngoài, tiêu biểu là các từ điển song ngữ
    trên máy tính, thí dụ như các từ điển điện tử của Lạc Việt đã được dùng rộng rãi trên máy
    tính để tra cứu từ Anh-Việt, Việt-Anh. Điều ta cần phân biệt là các từ điển điện tử này
    dành cho con người sử dụng, khác với từ điển điện tử dành cho máy tính sử dụng trong
    xử lý ngôn ngữ tự nhiên (sẽ được đề cập ở phần sau).
    (d) Các nỗ lực trong việc làm các phần mềm dịch Anh-Việt,Việt-Anh, chẳng hạn như các hệ
    dịch EVTRAN và VETRAN.
    (e) Một loại việc nữa là Việt hóa các phần mềm mà gần đây tiêu biểu là kết quả Việt hóa
    Windows và Microsoft Office của Microsoft. Việc này có thể xem như việc “dịch” các
    thông báo Tiếng Anh cố định trong các phần mềm thành các thông báo tiếng Việt.
    Tuy liên quan đến tiếng Việt, không phải tất cả các việc kể trên đều thuộc về lĩnh vực xử lý ngôn
    ngữ tự nhiên nói chung và xử l ý tiếng Việt nói riêng theo nghĩa thông thường trong CNTT, vốn
    chủ yếu nhằm vào những vấn đề liên quan đến xử lý văn bản (text) và tiếng nói (speech)
    [Jurafsky and Martin, 2000].
    Để làm sáng tỏ điều này ta thử xem xét lại khái niệm “xử l ý thông tin”, một khái niệm cốt lõi của
    Công nghệ thông tin và là khái niệm rộng hơn “xử l ý ngôn ngữ”. Về bản chất, xử l ý thông tin là
    quá trình biến đổi dữ liệu từ dạng này thành dạng khác để có thể thu được thông tin và tri thức.
    Trong giai đoạn đầu, CNTT tập trung vào các dữ liệu dạng số, biểu diễn bởi các dạng được cấu
    trúc (structured) như các vectơ (vector) hay bảng biểu (tables). Trong hơn nửa thế kỷ phát triển,
    CNTT dần dần “xử lý” nhiều kiểu dữ liệu khác, như hình ảnh (image), âm thanh (voice, speech),
    văn bản (text), k í hiệu hình thức (symbols), đồ thị (graph), và gần đây là nhiều kiểu dữ liệu
    phức tạp như dữ liệu sinh học (genomic data). Phương pháp xử l ý cũng ngày càng phong phú, từ
    tính toán (computing) đến suy luận (reasoning), và nhiều kiểu khác nữa. Xử lý ngôn ngữ chính là
    xử lý thông tin khi đầu vào là “dữ liệu ngôn ngữ” (dữ liệu cần biến đổi), tức dữ liệu “văn bản”
    hay “tiếng nói”.[/TD]
    [/TR]
    [/TABLE]



     
Đang tải...