Tiểu Luận Nhận diện mẫu bằng mạng Nơron

NHẬN DIỆN MẪU BẰNG MẠNG NƠRON
CHƯƠNG III: MẠNG ĐƠN LỚP
Trong chương 1 chúng tôi cho thấy rằng các nguyên tắc tối ưu để giảm xác suất nhỏ nhất của phân loại đòi hỏi một mẫu mới được giao cho lớp có xác suất lớn nhất. Chúng tôi cũng chỉ ra làm thế nào để xác suất sau có thể được liên kết với điều kiện mật độ của lớp thông qua các định lý Baye và trong Chương 2 chúng tôi mô tả một số kỹ thuật để xác định các mật độ đó. Một cách tiếp cận khác, nó tránh việc xác định mật độ xác suất, mà dựa trên ý tưởng của một hàm phân biệt, cũng được giới thiệu trong chương 1. Trong một ứng dụng thực tế của hàm phân biệt, các hình thức tham số hàm được lựa chọn và các giá trị của các tham số này sau đó được xác định từ một tập hợp các dữ liệu đào tạo bằng một thuật toán học tập phù hợp.
Lựa chọn đơn giản nhất của hàm phân biệt bao gồm một sự tổ hợp tuyến tính của các biến số đầu vào, trong đó các hệ số trong sự tổ hợp tuyến tính là các thông số của mô hình và đã được xem xét rộng rãi trong các tài liệu về phép xấp xỉ thông thường để nhận dạng mẫu. Biệt thức đơn giản có thể được khái quát bằng cách chuyển đổi sự tổ hợp tuyến tính với một hàm phi tuyến (được gọi là một hàm khởi động), điều đó dẫn đến khái niệm như hồi quy logicvà ‘perceptron’. Phần mở rộng liên quan đến việc chuyển đổi các biến đầu vào có hàm phi tuyến cố định trước khi tạo thành sự tổ hợp tuyến tính để khái quát hóa biệt thức tuyến tính. Như chúng ta sẽ thấy, những dạng khác nhau của biệt thức tuyến tính có thể được coi là dạng của mạng nơron, trong đó có một lớp duy nhất của trọng số phù hợp giữa các yếu tố đầu vào và đầu ra.
Các kỹ thuật khác nhau tồn tại để xác định các giá trị trọng số trong mạng một lớp và trong chương này, chúng tôi sẽ xem xét một vài chi tiết của chúng. Đặc biệt, chúng ta sẽ nghiên cứu học tập ‘perceptron’, phương pháp bình phương nhỏ nhất và biệt thức Fisher. Cũng như hình thành một nhóm kỹ thuật quan trọng, mạng một lớp cung cấp những hiểu biết hữu ích vào các thuộc tính của mạng nhiều lớp phức tạp hơn. Mạng một lớp được nghiên cứu rộng rãi trong những năm 1960 và lịch sử của các mạng lưới như vậy được xem xét bởi Widrow và Lehr (1990) . Hai cuốn sách hữu ích từ thời kỳ này là Nilsson (1965) và Lewis và Coates (1967) .
3.1 Hàm biệt thức tuyến tính
Trong chương 1, chúng ta đã thấy rằng các hàm biệt thức tối ưu có thể được xác định từ nhóm điều kiện mật độ thông qua định lý Bayes. Tuy nhiên, thay vì thực hiện tính toán mật độ, chúng ta có thể qui định các tham số hàm cho hàm biệt thức và sử dụng dữ liệu để thiết lập giá trị phù hợp cho các thông số. Trong phần này, chúng ta xem xét các dạng khác nhau của biệt thức tuyến tính và thảo luận về các thuộc tính của chúng.
3.1.1 Lớp hai
Chúng tôi bắt đầu bằng xem xét vấn đề phân loại hai mục. Trong chương 1, chúng tôi giới thiệu các khái niệm về một hàm y(x) sao cho vector x là giao cho lớp C[SUB]1[/SUB] nếu y(x)>0 và lớp C[SUB]2[/SUB] nếu y(x)<0. Lựa chọn đơn giản của hàm biệt thức là 1 hàm tuyến tính trong các thành phần của x và do đó nó có thể được viết là
(3.1)
Trong đó, chúng tôi sẽ đề cập đến vector w d chiều như vector trọng số và tham số w[SUB]o[/SUB] như độ nghiêng. Đôi khi - w[SUB]o [/SUB]được gọi là một ngưỡng. Lưu ý rằng việc sử dụng của độ dốc là khá khác biệt với khái niệm độ dốc thống kê được thảo luận ngắn gọn trên trang 41 và tại đoạn mục 9.1. Từ mục 2.1.3, chúng ta biết rằng, đối với nhóm điều kiện mật độ có phân phối bình thường với ma trận hiệp phương sai bằng nhau, một biệt thức tuyến tính dạng (3.1) là tối ưu.