Tiến Sĩ Nghiên cứu ứng dụng Mạng nơ ron tế bào CNN trong việc giải phương trình vi phân đạo hàm riêng

Luận án tiến sĩ năm 2011
Đề tài: Nghiên cứu ứng dụng Mạng nơ ron tế bào CNN trong việc giải phương trình vi phân đạo hàm riêng

MỤC LỤC
Lời cảm ơn 1
Lời cam đoan 2
Mục lục 3
Danh mục các ký hiệu, các chữ viết tắt 5
Danh mục các bảng 7
Danh mục các hình vẽ đồ thị 8
CHƯƠNG 1: MỞ ĐẦU 10
1.1. Các bài toán tính toán khoa học và công nghệ mạng nơ ron tế bào 10
1.2. Những nội dung nghiên cứu trong luận án 12
1.3. Phương pháp nghiên cứu 13
1.4. Ý nghĩa khoa học và thực tiễn 14
CHƯƠNG 2: TỔNG QUAN VỀ MẠNG NƠ RON TẾ BÀO VÀ
PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG 15
2.1. Giới thiệu công nghệ Mạng nơ ron tế bào. 15
2.2. Các khái niệm cơ bản về công nghệ mạng nơ ron tế bào 22
2.3. Kiến trúc của máy tính mạng nơ ron tế bào CNN-UM. 32
2.4. Một số thao tác xử lý trên CNN-UM. 37
2.5. Khái quát về phương trình đạo hàm riêng 39
2.6. Mối quan hệ động học giữa CNN và PDE 42
2.7. Giải phương trình đạo hàm riêng Burger sử dụng công nghệ CNN 48
2.8. Hạn chế của công nghệ CNN và giải pháp 49
2.9. Phương pháp huấn luyện CNN bằng mẫu học 51
2.10. Kết luận 53
CHƯƠNG 3: PHÁT TRIỂN PHƯƠNG PHÁP GIẢI PHƯƠNG
TRÌNH ĐẠO HÀM RIÊNG BẰNG CÔNG NGHỆ CNN 54
5
3.1. Khái quát hoá các dạng PDE giải trên CNN 54
3.2. Bài toán phương trình dòng chảy thuỷ lực 63
3. 3. Bài toán thuỷ lực hai chiều 83
3.4. Bài toán thuỷ lực hỗn hợp 94
3.5. Bài toán ô nhiễm khí quyển 100
3.6. Kết luận. 109
CHƯƠNG 4: KẾT QUẢ VÀ BÀN LUẬN 110
4.1. Tóm tắt các kết quả đạt được 110
4.2. Các đóng góp mới của luận án 111
4.3. Kết luận và kiến nghị 111
DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ 113
TÀI LIỆU THAM KHẢO 115
PHỤ LỤC 121

Chương 1. Mở đầu
1.1. Các bài toán tính toán khoa học và công nghệ mạng nơ ron tế bào
Trong sự phát triển của nhiều lĩnh vực khoa học, công nghệ hiện nay, việc
tính toán phức tạp như giải các phương trình đại số, phương trình vi phân, phương
trình đạo hàm riêng, mô phỏng cho các hệ thống, cơ sở dữ liệu lớn đang đặt ra
những nhu cầu về những giải pháp tính toán mới. Các nhà khoa học cần có những
công cụ tính toán mạnh, có kích thước số lớn và tốc độ cao để có thể đáp ứng yêu
cầu tính toán. Với các bài toán trong kỹ thuật có những xử lý với tín hiệu liên tục,
tương tác trong thời gian thực, trong các hệ điều khiển, kết quả tính toán là tín hiệu
đưa ra cho các hệ thứ cấp chấp hành thì quá trình tính toán này cần sử dụng những
công cụ tính toán sao cho kịp thời với các tiến trình của giới tự nhiên.
Hiện nay tốc độ của máy tính PC đã được cải thiện đáng kể. Mặt khác, ý
tưởng xây dựng một mạng toàn cầu (global) liên kết nhiều máy tính cùng tham gia
tính toán đã được đề xuất và đang triển khai thực hiện tại nhiều nước trên thế giới
cũng như tại Việt Nam để có thể giải quyết những bài toán khoa học lớn có quy mô
rộng, quá trình tính toán liên tục, lâu dài xử lý cho những kho dữ liệu lớn phức tạp.
12
Tuy vậy, với những bài toán quy mô nhỏ nhưng cũng cần tính toán nhiều, tốc
độ nhanh trong một hệ thống nhỏ gọn ONCHIP thì mô hình global trên không phù
hợp. Hơn nữa, khi đầu vào của hệ thống là một luồng thông tin biến đổi nhanh (như
luồng tín hiệu video) thì việc tính toán của máy PC có thể không đáp ứng được, vì
khi xử lý xong thì kết quả không còn giá trị do tính không kịp thời. Có thể nói máy
tính PC (có một hay nhiều lõi) hiện nay đã đạt đến giới hạn vật lý về kích thước và
tốc độ của mạch tích hợp VLSI nên khó đáp ứng cho những bài toán yêu cầu cao
hơn. Người ta cần tìm kiếm một phương thức tính toán mới thích hợp, có hiệu quả
thoả mãn các nhu cầu tính toán.
Nghiên cứu về cấu tạo và sự hoạt động của hệ thần kinh người ta đã thấy cấu
trúc của hệ thần kinh gồm các nơ ron xử lý phân tán rải khắp cơ thể đến cơ quan
thần kinh trung ương. Khi xử lý các nơ ron liên kết cục bộ với nhau để vừa xử lý,
vừa truyền tín hiệu từ bất cứ phần nào của cơ thể đến não bộ, do vậy quá trình xử lý
song song diễn ra cực kỳ nhanh làm cho con người có những phản xạ thích ứng kịp
thời khi gặp các tác nhân kích thích từ môi trường. Từ những tham khảo về mô hình
mạng nơ ron sinh học và lý thuyết về mạng nơ ron thông thường (mạng Hopfield),
năm 1988 Leon O Chua và Lin Yang đưa ra ý tưởng về một kiến trúc tính toán mới
trở thành một công nghệ xử lý, tính toán song song vật lý đó là công nghệ mạng nơ
ron tế bào (Cellular Neural Network-CNN) [12],[13]. Năm 1993, Tamás Roska và
L. O Chua đưa ra mô hình kiến trúc của máy tính mạng nơ ron tế bào (CNN
Universal Machine-CNN UM) làm cơ sở cho việc chế tạo phần cứng. Từ đó, với sự
phát triển của công nghệ vi mạch mật độ cao VLSI các nhà sản xuất đã nghiên cứu
chế tạo ra các chip CNN thương mại. Chip CNN ban đầu là một hệ thống ONCHIP
có 8x8 phần tử xử lý (gọi là cell-tế bào) liên kết cục bộ với nhau xử lý song song và
chỉ xử lý giá trị nhị phân. Đến nay với công nghệ vi mạch số các nhà nghiên cứu đã
xây dựng chip CNN có tên gọi là Programmable Optical Array Computer (POAC)
có kích thước lớn tới 500x500 [37]. Nếu cấu hình bằng công nghệ chip FPGA có
thể đạt 512x512 thậm chí 1028x1028 tế bào [23], [34].
Nhiều thế hệ chip khác nhau dựa trên công nghệ CNN đã được chế tạo phục
13
vụ các bài toán ứng dụng trong nhiều lĩnh vực. Đặc điểm quan trọng của công nghệ
CNN là kích thước mạng nhỏ gọn, không cần sự điều khiển kết nối, trao đổi dữ liệu
phức tạp như trong mạng máy tính thông thường.
Hàng năm các hội thảo về CNN được tổ chức để trao đổi chia xẻ những
thành tựu trong nghiên cứu và phát triển ứng dụng công nghệ này. Hội thảo về
CNN2008 (từ 14-16/07/2008 tại Tây Ban Nha) đã có gần 250 báo cáo được trình
bày; Hội thảo CNNA2010 được tổ chức tại đại học Berkeley (California-US) từ
ngày 3-5 tháng 02/2010 có khoảng trên 100 báo cáo. Trong đó, vấn đề nổi trội là
ứng dụng vật liệu mới memristor để xây dựng bộ nhớ trong các hệ CNN; các bài
toán ứng dụng xử lý song song trong việc tạo khả năng “nhìn” cho các rô bốt, hệ
điều khiển tự động; các hệ CNN đa lõi, đa lớp .cũng được giới thiệu nhiều. Hiện
nay các trung tâm nghiên cứu về CNN có ở châu Âu (Hungary, Tây ban nha, Italia,
Anh, Thổ Nhĩ kỳ), Mỹ. Tại châu Á đã có một số nước tham gia nghiên cứu như
Trung Quốc, Hàn Quốc, Nhật Bản . Tại Việt Nam, hiện nay mới chỉ có một nhóm
nghiên cứu tại Viện Công nghệ thông tin - Viện KH&CN Việt Nam, và một số
trường đang triển khai đào tạo và nghiên cứu như ĐHBK Hà Nội, ĐHQG Hà Nội,
đại học Thái Nguyên. Trong các Hội thảo, tạp chí trong nước mới có một số ít bài
nói về công nghệ CNN [3],[4].
1.2. Những nội dung nghiên cứu trong luận án
Trong lĩnh vực tính toán khoa học đang cần giải quyết rất nhiều bài toán liên
quan đến giải phương trình đạo hàm riêng xuất hiện trong thực tế. Một số bài toán
về môi trường như sự ô nhiễm khí quyển, ô nhiễm nguồn nước trong các dòng sông,
hồ chứa ., các hiện tượng biến động khí quyển xảy ra trong không gian vũ trụ, trong
các đại dương, sông hồ như giông, bão, sóng thần, động đất . là những bài toán
được nhiều người quan tâm nghiên cứu. Nhất là trong tình hình hiện nay, sự ấm lên
của trái đất, hiệu ứng nhà kính gây ra những thảm hoạ thiên nhiên rất nghiêm trọng
đối với môi trường và sự sống, chúng ta cần có những tính toán dự báo chính xác để
phòng tránh, hạn chế thiệt hại do thiên tai. Xuất phát từ thực tế đó, cùng với việc
nghiên cứu công nghệ CNN, Luận án thực hiện nghiên cứu áp dụng giải một số
14
PDE mô tả bài toán thuỷ lực và bài toán ô nhiễm khí quyển.
Để nghiên cứu tiếp cận một lĩnh vực tính toán khoa học với những công cụ
mạnh, hiệu quả, Luận án tiến hành nghiên cứu nắm bắt những cơ sở toán học, kiến
trúc mạch phần cứng, thuật toán xử lý, khả năng ứng dụng của CNN. Qua đó, lựa
chọn, đề xuất phương pháp giải một số phương trình đạo hàm riêng và thực hiện
giải theo các thuật toán của CNN, cụ thể:
-Luận án đã đề xuất nghiên cứu giải phương trình dòng chảy một chiều:
Nghiên cứu mô hình toán học, thiết kế mẫu, chứng minh sự ổn định của mạng với
tập mẫu tìm được. Chứng minh sự tương đương toán học giữa mô hình sai phân và
mô hình CNN. Mô phỏng tính toán theo thuật toán CNN trên Matlab, thiết kế mạch
và cấu hình trên chip EP2C35 tạo thành mạng CNN cho bài toán; so sánh kết quả
tính toán trên máy PC và tính toán bằng mạng CNN xây dựng trên chip FPGA. Nội
dung này được trình bày trong Mục 3.2 của Luận án. Những kết quả nghiên cứu này
có trong các tài liệu ở mục [1], [2], [4], trong Danh mục công trình của tác giả.
-Luận án nghiên cứu phương trình thuỷ lực hai chiều bao gồm: Đề xuất mô
hình thuật toán, thiết kế mẫu, xây dựng mô hình kiến trúc phần cứng, chứng minh
sự ổn định của mạng và sự tương đương giữa mô hình sai phân và mô hình mạng
CNN. Cài đặt mô phỏng thuật toán trên Matlab, phân tích tài nguyên chip cần cho
chế tạo phần cứng. Các nội dung này được trình bày tại Mục 3.3 của Luận án và có
trong mục [3], [6] phần Danh mục công trình của tác giả.
-Luận án đề xuất thuật toán CNN giải phương trình thuỷ lực hỗn hợp và cài
đặt mô phỏng tính toán trên Matlab trong Mục 3.4 của Luận án và trong mục [5],
Danh mục công trình của tác giả.
- Luận án nghiên cứu thuật toán, thiết kế mẫu, phân tích sự ổn định của mạng
CNN 3D giải phương trình mô tả hiện tượng ô nhiễm khí quyển, tiến hành cài đặt
thực nghiệm mô phỏng tính toán cho bài toán trên Matlab và thiết kế kiến trúc tính
toán trên công nghệ FPGA. Nội dung này được trình bày trong Mục 3.5 của Luận
án và có trong các tài liệu ở mục [8], [9] Danh mục công trình của tác giả.
1.3. Phương pháp nghiên cứu
15
Để đạt được mục đích nghiên cứu, luận án đã sử dụng các phương pháp:
Phương pháp luận nghiên cứu về công nghệ CNN (mô hình toán học, lý thuyết về
kiến trúc mạch điện tử, kiến trúc phần cứng CNN, điều kiện ổn định, ngôn ngữ đặc
tả phần cứng để cấu hình mạng, các thuật toán, công cụ hỗ trợ); phương pháp sai
phân giải các phương trình đạo hàm riêng (lược đồ sai phân, điều kiện tồn tại duy
nhất nghiệm, sự ổn định, độ chính xác của nghiệm); phương pháp thiết kế, sử dụng
ngôn ngữ mô tả phần cứng VHDL, Verilog lập trình cấu hình và lập trình tính toán
trên chip FPGA thông qua giao diện của máy PC.
1.4. Ý nghĩa khoa học và thực tiễn
Về mặt khoa học luận án đã đề xuất một phương pháp mới dựa trên công
nghệ tính toán song song CNN để giải một số phương trình PDE cụ thể, qua đó phát
triển tập mẫu trong thư viện mẫu CNN phục vụ cho việc giải PDE.
Về mặt thực tiễn: từ những nghiên cứu ban đầu này hình thành các cơ sở lý
luận, các kỹ năng, kinh nghiệm triển khai áp dụng công cụ CNN vào giải PDE; góp
phần giới thiệu công nghệ CNN tại Việt Nam, kết quả nghiên cứu là những tài liệu
phục vụ giảng dạy, học tập nghiên cứu tại các cơ sở đào tạo, tạo cơ hội trao đổi học
hỏi với các nhà nghiên cứu trong nước và thế giới.
16
Chương 2.
Tổng quan về Mạng nơ ron tế
bào và phương trình đạo hàm riêng
2.1. Giới thiệu công nghệ mạng nơ ron tế bào
2.1.1. Lịch sử phát triển của máy tính mạng nơ ron tế bào
Năm 1988, Leon O Chua và Lin Yang đưa ra ý tưởng về kiến trúc máy tính
mạng nơ ron tế bào (Cellular Neural Network) [12],[13]. Trong đó, các tác giả đã
nêu những nội dung cơ bản cho một mô hình tính toán song song, bao gồm kết cấu
mạch điện, phương trình toán học mô tả hoạt động của hệ thống. Bài báo cũng phân
tích, chứng minh sự làm việc ổn định của mạng bằng các cơ sở toán học, đưa ra mô
hình mô phỏng thuật toán với những ví dụ cụ thể. Đây là những khái niệm, nguyên
tắc cơ bản, làm nền tảng cho việc nghiên cứu về công nghệ CNN. Mô hình mạch
điện của Chua đã trở thành kiến trúc lõi cho việc thiết kế các chip CNN sau này.
Sau đó là một loạt các bài viết về việc thiết kế chip CNN ứng dụng cho bài toán xử
lý ảnh và nhận dạng là lĩnh vực đầu tiên được ứng dụng công nghệ CNN.
Năm 1993, Tamás Roska và Leon Chua lần đầu tiên giới thiệu kiến trúc của
máy tính mạng nơ ron tế bào (CNN-UM) [33] với những chip analog lập trình theo
thuật toán. Các nhà nghiên cứu thuộc Office of Naval Research, National Science

TÀI LIỆU THAM KHẢO
1. Tiếng Việt
1. Hoàng Văn Lai, Nguyễn Thế Hùng (2006) " Áp dụng tính toán song song trong
mô hình thủy lực hai chiều”, Kỷ yếu Hội thảo kỷ niệm 30 năm thành lập
Viện Công nghệ thông tin- Viện KH&CN Việt Nam, Tr. 59-66.
2. Hoàng Văn Lai, Nguyễn Tuấn Anh, Nguyễn Tiến Cường, Trần Thu Hà, Lê Thu
Hoài, Nguyễn Bá Hưng, Dương Thị Thanh Hương và Lê Hồng Phong,
(2010), “Xây dựng và áp dụng các phần mềm thuỷ văn, thuỷ lực phục vụ
kiểm soát lũ lụt ở đồng bằng sông Hồng”, Kỷ yếu Hội nghị khoa học Kỷ
niệm 35 năm thành lập Viện Khoa học và Công nghệ Việt Nam, Tr. 62-71.
3. Phạm Thượng Cát, (2006), “Công nghệ mạng nơ ron tế bào và khả năng ứng
dụng trong các hệ cơ điện tử” Tuyển tập Hội nghị toàn quốc lần thứ 3 về
Cơ điện tử VCM2006, NXB Đại học Quốc gia Hà nội, Tr. 33-42.
4. Phạm Thượng Cát, (2007), “Máy tính vạn năng mạng nơ ron tế bào CNN UM:
Một hướng phát triển mới của công nghệ thông tin”, Kỷ yếu Hội nghị Khoa
học 30 năm thành lập Viện Công nghệ Thông Tin. NXB Khoa học Tự nhiên
và Công nghệ, Tr. 239-250.
5. Tạ Văn Đĩnh, (2002) ”Phương pháp sai phân và phương pháp phần tử hữu hạn”
NXB Khoa học và Kỹ thuật. Hà Nội.
6. Nguyễn Thương Ngô, (2003), “Lý thuyết điều khiển tự động thông thường và
hiện đại” , NXB Khoa học Kỹ thuật. Hà Nội.
2. Tiếng Anh
7. A Dang Q.,Ehrhardt M. (2006) “Adequate Numerical Solution of Air-Pollution
Problems by Positive Difference Schemes on Unbounded Domains”,
Mathematical and Computer Modelling, 44, PP. 834-856.
8. Arena P., Fortuna L.,Lombardo D., Pantané L., (2008), “CNN and Collective
perception” Proceeding of 11
th
Internatonal Workshop on CNN and their
Applications, (CNNA2008), PP. 186-191.
9. Besancon G.,Dulhoste J.F.,Georges D. (2001), “Nonlinear Observer Design for
Water Level Control in Irrigation Canals” Proceedings of the 40th IEEE
Conference on Decision and Control, Orlando, Florida USA, PP. 4968-4973.
117
10. Boroushaki M.,Ghofrani M.B.,Lucas C. (2005), "Simulation of Nuclear Reactor
Core Kinetics Using Multilayer 3-D Cellular Neural Networks", IEEE
Transactions on Nuclear Science, 52(3), PP. 719-728.
11. Chen J., Shi Z., Hu Y. (2008), "A Comparative Study of High- Resolution
Central Scheme for Solving the 2D Shallow Water Equations" Bioinformatics and Biomedical Engineering. ICBBE2008, International Conf., 2, PP.
4629-4632.
12. Chua L. O., Yang L. (1988), "Cellular Neural Networks: Theory", IEEE
Transaction on Circuits and System,35 (10), pp. 1257-1272.
13. Chua L.O., L. Yang, (1988), "Cellular Neural Networks: Application", IEEE
Trans. Circuits and System 35, PP. 1273-1290.
14. Funabash M.,Haruna K. (1971), “A Mathematical Model for Air Pollution
Control in Urban Area”, Conf. on Decision and Control 10,(1), PP. 591-595.
15. Geese M., Tetzlaff R., Carl D., Blug A., Hõfler H. (2008), “ High-speed Visual
Control of Laser Welding Process by Celluar Neural Networks”, Proceeding
of 11
th
Internatonal Workshop on CNN and their Applications, (CNNA2008),
PP. 196-2001.
16. Georges D. (1995), “Nonlinear Implicit State-Observer Design for the
Monitoring of Open-Channel Hydraulic System” IEEE International
Conference on Systems, Man and Cybernetics, 4, PP. 3772-3777.
17. Georges D.,Dulhoste I.F.,Besancon G. (2002), “A note on feedback Linearizing
Control for Open-Channel Hydraulic System”, Conference on Control
Application, Glasgow, Scotland UK, PP. 675-680.
18. Gilli M.,Roska T.,Chua L.O.,Civalleri P.P (2002), “CNN dynamics represents a
broader class than PDEs” International Journal of Bifurcation and Chaos,
2(10) World Scientific Publishing Company, PP. 2051-2068.
19. Gollas F., Tetzlaff R. (2008), “Analysis of EEG Signals in Epilepsy: SpationTemporal Models”, Proceeding of 11
th
Internatonal Workshop on CNN and
their Applications, (CNNA2008), PP. 96-101