Báo Cáo Một thuật toán về huấn luyện mạng neural networks trên cơ sở phương pháp conjugate gradient

AN ALGORITHM FOR TRAINING OF NEURAL NETWORKS BASED ON CONJUGATE GRADIENT
BẢN TÓM TẮT
​

Mạng Neuron nhân tạo có cấu trúc gồm nhiều neuron nằm trong các lớp khác nhau. Tín hiệu ở lớp vào và lớp ra liên hệ với nhau qua các neuron trung gian nằm trên một hay một số lớp ẩn thông qua ma trận trọng số mạng. Quá trình huấn luyện mạng, hay còn gọi là quá trình học của mạng trong học gíam sát bao hàm việc điều chỉnh, cập nhật ma trận trọng số sao cho ứng với tâp tín hiệu vào xác định, tín hiệu ra của mạng tiệm cận tới giá trị mong muốn. Một trong những vấn đề cần quan tâm trong huấn luyện mạng, đặc biệt trong huấn luyện trực tuyến là tốc độ hội tụ của quá trình huấn luyện. Trong nghiên cứu này, chúng tôi xây dựng một thuật toán mới (TT*) được xây dựng trên cơ sở phương pháp Conjugate Gradient, theo đó, bước dịch chuyển tại mỗi vòng lặp trong [1],[2],[3] được điều chỉnh bởi một hệ số hiệu chỉnh nhằm đưa bước dịch chuyển trọng số tiến gần hơn điểm cực tiểu theo hướng dịch chuyển cận tối ưu đã xác định. Kết quả thí nghiệm kiểm chứng cho thấy nếu ma trận trọng số của mạng không lớn, sử dụng thuật toán TT* có tốc độ hội tụ cao hơn thuật toán [1],[2],[3].

ABSTRACT
​

Feed forward neural networks are composed in which the input layer of neurons is connected to the output layer through one or more hidden layers of intermediate neurons. The training process of neural networks involves adjusting the weights till a desired input, output relationship is obtained. The paper presents our research on application of the Conjugate Gradient method so that, we found out the algorithm to be as fit as possible to reach the minimized point at each iteration of neural network training. A coefficient to adjust the step of training to be used. Simulation results showed that new algorithm could reach the global optimal point faster then the algorithm of [1],[2],[3] if the H matrix is not too large.