Tiểu Luận Tín hiệu và vec tơ trọng số

Mục tiêu . 2
Lý thuyết và ví dụ . 3
Không gian vector tuyến tính 3
Độc lập tuyến tính . 5
Mở rộng một không gian 6
Sản phẩm bên trong (Inner product) 7
Chuẩn hóa . 8
Trực giao 8
Trực giao Gram-Schmidt 9
Mở rộng vec tơ 10
Vector nghịch đảo cơ bản .11
Tổng hợp kết quả .14
Giải quyết vấn đề .17
Lời kết . 25
Đọc thêm .25
Bài tập . 26
Mục tiêu
Từ chương 3 và 4, chúng ta thấy rằng sẽ thuận lợi nếu coi dữ liệu đầu vào, ra của mạng nơ-ron,
và các hàng của ma trận trọng số như là các vector. Trong chương này, chúng ta sẽ khảo sát chi
tiết những đặc tính nhất đối với phân tích mạng nơ-ron của không gian vector. Chúng ta sẽ bắt
đầu với những định nghĩa tổng quan, sau đó áp dụng chúng vào những vấn đề của mạng nơ-ron. Những khái niệm được thảo luận trong chương này và chương 6 sẽ được sử dụng rất rộng
rãi trong phần còn lại của quyển sách này, chúng rất quan trọng cho việc nắm bắt hoạt động
của mạng nơ-ron.
Lý thuyết và ví dụ
Đại số tuyến tính là công cụ toán học cốt lõi để hiểu mạng nơ-ron. Trong chương 3 và 4 chúng
ta đã thấy lợi ích từ việc biểu diễn đầu vào và đầu ra của mạng nơ -ron bằng các vector. Thêm
vào đó, chúng ta cũng đã thấy rằng thường sẽ tiện lợi hơn nếu coi các hàng của ma trận trọng
số như các vector trong cùng không gian vector với các vector đầu vào.
Khi phân tích mạng Hamming trong chương 3, chúng ta thấy rằng các hàng của ma trận trọng
số trong lớp nơ-ron không có hồi tiếp tương ứng với các vector mẫu. Trên thực tế, mục đích
của lớp không hồi tiếp là tính toán nội tích giữa các vector mẫu với các vector đầu vào.
Trong mạng Perceptron đơn, chúng ta để ý rằng ngưỡng quyết định luôn trực giao với ma trận
trọng số ( một vector hàng ).
Trong chương này, chúng tôi sẽ nhắc lại những khái niệm cơ bản của không gian vector ( như
trực giao, nội tích, .) trong ngữ cảnh của các mạng nơ-ron. Chúng tôi sẽ bắt đầu với định
nghĩa chung của các không gian vector, sau đó là những tham số cơ bản của các vector có ích
nhất với các ứng dụng của mạng nơ-ron.
Trước khi bắt đầu, chúng tôi muốn nhắc lại rằng tất cả những vector được đưa ra thảo luận
trong tài liệu này đều có bậc n, chứa các bộ số thực, ký hiệu bằng một chữ cái in đậm. (ví dụ :
x = [x1, x2, x3 , ., xn]T). Đó là những vector trong Rn , không gian Euclid n chiều. Trong
chương này, chúng ta sẽ thảo luận về các không gian vector nói chung hơn là Rn . Các vector
nói chung sẽ được biểu diễn với một kiểu chữ kịch bản như χ . Chúng tôi sẽ trình bày trong
chương này cơ chế của việc biểu diễn các vector dưới dạng các cột số.