Tiểu Luận Các phép biến đổi tuyến tính dùng trong mạng Neural

Các phép biến đổi tuyến tính dùng trong mạng Neural
Nội dung:
Các mục tiêu
Lý thuyết và các ví dụ:
- Các phép biến đổi tuyến tính
- Các biểu diễn bằng ma trận
- Biến đổi cơ sở
- Vector riêng và giá trị riêng
- Diagonalization
Tóm tắt các kết quả
Các vấn đề đã được giải quyết
Phần kết
Xem thêm
Bài tập
Mục tiêu:
Chương này sẽ tiếp tục công việc của chương 5 trong việc trình bày các cơ sở toán học cho việc phân tích các mạng Neural của chúng ta. Trong chương 5 chúng ta đã xem xét lại các không gian vectơ; trong chương này chúng ta sẽ khám phá các phép biến đổi tuyến tính khi chúng ap dụng cho các mạng nơron.
Như chúng ta đã thấy trong các chương trước, việc nhân một véc tơ với một ma trận trọng số là một trong những phép toán cơ bản được thực hiện bởi các mạng nơron. Phép toán này là một phép biến đổi tuyến tính. Chúng ta sẽ tìm hiểu các phép biến đổi tuyến tính nói chung và xác định các đặc điểm cơ bản của chúng. Các khái niệm trong chương này, như giá trị riêng, vector riêng và biến đổi cơ bản, sẽ rất quan trọng cho việc hiểu các chủ đề mạng neural như thế khi học thực thi (bao gồm cả luật Widrow-Hoff và lan truyền ngược lại) và sự hội tụ mạng Hopfield.
Lý thuyết và các ví dụ:
Nhớ lại mạng Hopfield được thảo luận trong chương 3. (xem hình 6.1) đầu ra của mạng được cập nhập một cách đồng bộ theo phương trình
a(t +l) = satlin(Wa(t) + b) (6.1)
Chú ý rằng tại mỗi lặp lại đầu ra của mạng được nhân lại với một ma trận trọng số W. Hiệu quả của phép phép toán lặp lại này là gì? Chúng ta có thể xác định được đầu ra của mạng sẽ hội tụ tại một vài giá trị trạng thái ổn định, dẫn đến vô cùng, hay là là dao động? Trong chương này chúng ta sẽ trình bày cơ sở để trả lời các câu hỏi này, cùng với nhiều vấn đề khác về các mạng neural được mô tả trong cuốn sách này.
[​IMG]
Các phép biến đổi tuyến tính
Chúng ta bắt đầu vơi một vài định nghĩa chung
∗ Phép biến đổi tuyến tính
Một phép biến đổi tuyến tính gồm 3 phần
1. Một tập các thành phần X= {[​IMG]}, gọi là miền (domain),
2. Một tập các thành phần Y = {[​IMG]}, gọi là dải (range), và
3. Một quy tắc liên kết [​IMG] với một thành phần [​IMG]
∗ Phép biến đổi tuyến tính: một phép biến đổi A được gọi là tuyến tính nếu