Tiến Sĩ Dùng phương pháp Monte Carlo để giải một lớp bài toán điều khiển ngẫu nhiên tổng hợp liên quan đến q

LUẬN ÁN TIẾN SĨ
NĂM 2014

Mục lục
Mở đầu 1
CHƯƠNG 1 MỘT SỐ CÔNG CỤ GIẢI TÍCH VÀ NGẪU NHIÊN CÓ LIÊN QUAN 7
1.1 Phương trình vi phân 7
1.1.1 Phương trình vi phân thường . 7
1.1.2 Phương trình vi phân suy rộng 11
1.1.3 Bất đẳng thức Gronwall 19
1.2 Phương pháp số giải bài toán điều khiển tối ưu 20
1.2.1 Bài toán điều khiển tối ưu suy rộng 20
1.2.2 Giải số bài toán Mayer không có ràng buộc thông thường 22
1.2.3 Giải số bài toán Mayer có ràng buộc trạng thái cuối thông thường . 26
1.3 Các công cụ ngẫu nhiên hỗ trợ . 28
1.3.1 Mô hình hợp lý cực đại 28
1.3.2 Mô hình dò tìm ngẫu nhiên 30
CHƯƠNG 2. THUẬT TOÁN MONTE CARLO GIẢI 1 LOẠI BÀI TOÁN MAYER SUY RỘNG KHÔNG LỒI 33
2.1 Đặt bài toán và các chú ý mở đầu . 35
2.2 Nghiệm tựa tối ưu và sự hội tụ của nó . 39
2.3 Thuật toán Monte Carlo giải bài toán . 51
2.4 Kết luận . 66
Chương 3. Giải một loại bài toán Mayer không lồi mở rộng với ràng buộc trạng thái 67
3.1 Đặt bài toán và một số chú ý mở đầu 69
3.2 Sự hội tụ của dãy điều khiển tựa tối ưu 75
3.3 Quy trình Monte Carlo giải bài toán 99
3.4 Kết luận . 107
CHƯƠNG 4. ÁP DỤNG VÀO MÔ HÌNH HỢP LÝ CỰC ĐẠI 108
4.1 Mô hình hợp lý cực đại liên tục hóa 108
4.2 Mô hình hợp lý cực đại ước lượng tham hàm 113
4.3 Mô hình hợp lý cực đại liên tục hóa ước lượng tham số 120
4.4 Kết luận . 128
Kết luận chung 129
MỞ ĐẦU
Các bài toán điều khiển tối ưu (ĐKTƯ) dạng tất định (deterministic op-timal control) xuất hiện trên quốc tế đã quá nửa thế kỷ nay, gắn với tên tuổi của Pontriagin (1959), Bellman (1957) và với những mô hình ứng dụng phong phú trong điều khiển học của nhiều lãnh vực kỹ thuật và quản lý kinh tế. Trong bài toán này, vào mỗi thời điểm t ∈ [t o , T] ⊂ R 1 (thời gian điều khiển) đối tượng được điều khiển y(t) ∈ R n (gọi là biến trạng thái) liên hệ với yếu tố điều khiển u(t) ∈ R m (gọi là biến điều khiển) bởi 1 hệ phương trình vi phân (PTVP) thường (hoặc đạo hàm riêng) theo ẩn hàm y(t) (t o ≤ t ≤ T) (gọi là hệ động lực) và biến điều khiển có thể không phụ thuộc biến trạng thái (gọi là điều khiển theo chương trình – programme control) hoặc phụ thuộc biến trạng thái u(t) = u t; y(s) (t o ≤ s ≤ t) (gọi là điều khiển tổng hợp - synthetic, feedback control). Ngoài ra, biến điều khiển u(t) (t o ≤ t ≤ T) còn cần phải thỏa mãn một số điều kiện ràng buộc nào đó, để nó trở thành điều khiển chấp nhận được (CNĐ). Việc giải bài toán ĐKTƯ nói trên đồng nghĩa với việc lựa chọn trong số các điều khiển CNĐ một điều khiển tối ưu, làm cho hàm mục tiêu của bài toán đạt mức cực đại (hoặc cực tiểu). Do tầm quan trọng của các bài toán ĐKTƯ nói trên đối với thực tiễn ứng dụng nên từ khi ra đời cho đến nay, việc giải số các bài toán này đã nhận được sự quan tâm của không ít tác giả trong và ngoài nước. Đã có nhiều phương pháp được sử dụng, tuy nhiên mỗi phương pháp chỉ giải được một lớp bài toán nhất định. Ta có thể điểm sơ lược 1 số phương pháp tiếp cận chính với vấn đề này như dưới đây.
- Phương pháp gián tiếp [21] (tr.240): Đối với các bài toán điều khiển theo chương trình, xét bài toán điều khiển lồi, trong đó hàm mục tiêu có dạng Bolza, hệ động lực có dạng tuyến tính, tập hợp các điều khiển CNĐ không phụ thuộc thời gian và là một tập hợp lồi, đóng. Cơ sở của phương pháp gián tiếp dùng để giải bài toán này là nguyên lý cực đại Pontryagin (dưới2 dạng điều kiện cần và đủ của ĐKTƯ [21] (240-258)), dùng để chuyển bài toán ĐKTƯ thành các bài toán cực đại trung gian. Liên quan đến việc giải số các bài toán cực đại này là bài toán giá trị biên 2 điểm. Các kỹ thuật Neuton - Raphson (Quasilinearization technique [21] tr.188-189) và bắn (Shooting method [21] tr.187-188) của giải tich số có thể thực hiện điều trên một cách gần đúng. Nhằm hữu hạn hóa số (không đếm được) các bài toán cực đại cần giải trong nguyên lý Pontryagin, ta có thể chọn biến điều khiển thuộc lớp hàm bậc thang (hoặc tuyến tính từng khúc) trên [t o , T] với lưu ý rằng: Do hàm mục tiêu trong các bài toán cực đại là hàm lõm (theo u) trên miền lồi, nên ta có thể sử dụng công cụ của quy hoạch lồi (xem, chẳng hạn [40]) để giải bằng số các bài toán đặt ra. Khi vượt ra ngoài khuôn khổ của những bài toán điều khiển lồi nói trên, nguyên lý Pontryagin (trong dạng điều kiện cần của điều khiển "tối ưu") cũng đã được phát biểu ([21] tr.231-232) cho bài toán điều khiển không có tính lồi và không có điều kiện ràng buộc, với hàm mục tiêu có dạng Mayer và biến điều khiển thuộc lớp những hàm liên tục từng khúc. Tuy nhiên, do bài toán điều khiển (theo chương trình) này không có tính lồi và do nguyên lý cực đại nói trên chỉ là điều kiện cần, nên khái niệm "tối ưu" trong trường hợp này chỉ được hiểu theo nghĩa địa phương (không phải là tối ưu toàn cục). Ngoài ra, do bài toán cực đại trong nguyên lý Pontryagin nói chung không có dạng của bài toán quy hoạch lồi nên phải dùng phương pháp Monte Carlo [13] (tr.271-309) để giải nó.
- Phương pháp ẩn : Phương pháp này thường sử dụng cho bài toán điều khiển tổng hợp Mayer có biến trạng thái hoặc điều khiển là bình phương khả tích và có điều kiện ràng buộc đối với biến trạng thái. Cơ sở của phương pháp ẩn dùng để giải bài toán này là nguyên lý quy hoạch động Bellman [29] (Mục IV.3), mà liên quan đến việc thiết lập các bài toán cực đại trong nguyên lý này ta cần giải phương trình quy hoạch động (trong dạng phương trình đạo hàm riêng đối với ẩn hàm Bellman. Larson (1968) và Lamarechal (1972) đã dùng phương pháp lưới (sai phân) [21] (tr.184-185) để giải quyết3 vấn đề này nhưng cũng gập nhiều khó khăn, khi phải nội suy kết quả tính toán trên lưới nhất là khi số chiều n lớn; thậm chí có khó khăn không khắc phục được như trường hợp n ≥ 4. Michailevich và Shor đã tránh được
phần nào khó khăn nói trên bằng cách sử dụng phương pháp chổi Kiev [1] (tr.97-104). Nhưng phương pháp này cũng có nhược điểm bởi tính địa phương của những điều khiển "tối ưu" mà nó thu được và cũng bị hạn chế về số chiều n của biến trạng thái, khi sử dụng các phương pháp này trên các máy tính tuần tự (do sử dụng nhiều bộ nhớ cùng thời gian tính toán).
- Phương pháp trực tiếp : Khác với các phương pháp ẩn và gián tiếp (chuyển bài toán điều khiển về các bài toán cực đại và giải các bài này), trong các phương pháp trực tiếp ta có thể dùng cách tiếp cận giải tích hàm hoặc tham số hóa (TSH) hàm điều khiển để giải trực tiếp bài toán ĐKTƯ.
+ Đối với cách tiếp cận giải tích hàm [21] (tr.193-195), người ta thường xét bài toán Mayer với hàm mục tiêu là một phiếm hàm xác định trên không gian hàm U nào đó của các hàm điều khiển, thông qua biến trạng thái vào thời điểm cuối T. Trên cơ sở này, thiết lập bài toán cực tiểu phiếm hàm. Các công cụ của phép tính biến phân [29] (Mục I.2-I.6) hoặc của giải tích số như: phương pháp đường dốc nhất [35] (Mục XV.4), gradient [21] (tr.192-195) đã được sử dụng để giải các bài toán cực tiểu phiếm hàm đã thiết lập. Đương nhiên là cách tiếp cận này không có điều kiện xét tới những ràng buộc trạng thái và ràng buộc hỗn hợp giữa biến trạng thái và điều khiển, cũng không xét tới bài toán điều khiển tổng hợp.
+ Đối với cách tiếp cận của phương pháp TSH hàm điều khiển, tuy ta có thể xét bài toán điều khiển theo chương trình với những điều kiện ràng buộc hỗn hợp nói trên trong bài toán điều khiển, nhưng cần chỉ ra rằng hàm điều khiển có thể TSH bởi các tham số để cho số không đếm được những điều kiện ràng buộc (phụ thuộc thời gian) được thay bằng một số hữu hạn các ràng buộc theo các tham số. Khi đó ta có thể chuyển bài toán trên về bài toán điều khiển theo tham số. Trong những năm gần đây nhiều tác giả trong và ngoài nước như [9], [30], [15], [17], [10], [14], [43] thường4
quan tâm đến cách tiếp cận này.
- Phương pháp sai phân : Khi chia thời đoạn [t o , T] bởi lưới điểm cách đều { t n := t o + nh } N n=0
với bước lưới h và thay thế đạo hàm (thường hoặc riêng phần) trong hệ động lực của bài toán ĐKTƯ (trong mô hình liên tục) bởi sai phân tương ứng, ta có thể rời rạc hóa hệ động lực nói trên thành
phương trình sai phân (gọi là hệ động lực rời rạc) và rời rạc hóa bài toán ĐKTƯ thành mô hình ĐKTƯ rời rạc ứng với bài toán ĐKTƯ ban đầu.
Trong những điều kiện nhất định về hàm mục tiêu và hệ động lực của bài toán Mayer (có hoặc không có ràng buộc trạng thái), người ta đã chỉ ra [27] (tr.12-33) sự hội tụ (theo mục tiêu) của hàm điều khiển hằng từng khúc (còn gọi là điều khiển bậc thang (BT)) lập từ lời giải bài toán rời rạc về lời giải của bài toán ĐKTƯ (liên tục) tương ứng. Khi đó, nếu bài toán ĐKTƯ có tính lồi thì bài toán rời rạc tương ứng là 1 bài toán quy hoạch lồi và ta có thể dùng các phương pháp sai phân trực tiếp, như gradien, hướng có thể, Errou - Gurvitz .[27] (tr.83-90) của quy hoạch phi tuyến để giải bài toán điều khiển rời rạc này. Ta cũng cũng có thể sử dụng các phương pháp của quy hoạch ngẫu nhiên như: phạt ngẫu nhiên [26](tr.212-214), tựa gradient ngẫu nhiên [26](tr.101-104) . để giải nó. Ngoài ra, người ta còn dùng các
phương pháp sai phân gián tiếp để giải bài toán trên dựa vào nguyên lý cực đại rời rạc [27] (tr.61-83).
- Phương pháp Monte Carlo (PPMC) :
+ Trong các bài toán ĐKTƯ có tính lồi, phương pháp TSH hàm điều khiển đã được sử dụng kết hợp với việc mô phỏng nghiệm của hệ động lực (tuyến tính) ngẫu nhiên hóa để chuyển nó về một bài toán cực tiểu phiếm hàm [31] hoặc quy hoạch ngẫu nhiên lồi [6] (tr.33-57) và dùng phương pháp xấp xỷ ngẫu nhiên để giải nó.
+ Trong các bài toán điều khiển rời rạc, phương pháp PPMC được xem là một loại phương pháp sai phân trực tiếp dùng để giải các bài toán quy hoạch đo được (không có tính lồi) [6], [5], [2] hoặc ngẫu nhiên hóa các bài toán này [9] để sử dụng các mô hình dò tìm ngẫu nhiên.
Tài liệu tham khảo
[1] P.K. Anh (2001) Phương pháp số trong lý thuyết điều khiển tối ưu, NXB Đại học QG Hà Nội.
[2] T. Cảnh (2000) Chuyển một loại bài toán điều khiển về bài toán điều khiển đơn giản trên đơn hình, Kỷ yếu Hội nghị ƯD Toán học TQ lần I, T. III (867-876), NXB Đại hoc QG Hà Nội.
[3] T. Cảnh, B.Q. Hoàn, N.Đ. Xuyên (2003) Dự báo một loại quá trình điểm gắn mã và ứng dụng vào nghiên cứu động đất, Tạp chí ƯD Toán học, T.I, 1 (79-104).
[4] T. Cảnh, T.Đ. Quỳ (2005) Mô phỏng gradient và ứng dụng để giải bài toán điều khiển phi tuyến bằng phương pháp gián tiếp, Tạp chí ƯD Toán học, T. III, 1 (tr.1-27).
[5] T. Cảnh, M.V. Được, T.Đ. Quỳ (2008) Mô phỏng gradient và ứng dụng để giải bài toán điều khiển phi tuyến bằng phương pháp trực tiếp, Tạp chí ƯD Toán học, T. VI, 2 (tr.1-28).
[6] M.V. Được (2011) Các phương pháp Monte Carlo giải 1 số lớp bài toán ĐK và ứng dụng, Luận án TS Toán học, Trường ĐHBK Hà Nội.
[7] M.V. Được (1999) Mô phỏng nghiệm của bài toán điều khiển tối ưu dạng toàn phương và đánh giá sai số, Tuyển tập BCKH Hội nghị NC-ƯD & GD Toán học, Hà Nội.
[8] M.V. Được Hệ phương trình vi phân ngẫu nhiên trong 1 loại bài toán biên 2 điểm, Proc. Conf. Math. Mech. Inf., VNUHCNS Hà Nội 1996. 131132
[9] M.V. Được, N.Q. Hỷ (2009) Giải một loại bài toán điều khiển thiếu thông tin bằng phương pháp quy hoạch ngẫu nhiên, Tạp chí ƯD Toán học, T.VII , 2 (1-44).
[10] M.V. Được, N.Q. Hỷ, V.T. Việt (2008) Thuật toán bắn ngẫu nhiên Markov và phần mềm VSAM-3 giải bài toán vận hành HTTĐ 3-bậc thang trên sông Đà, Tạp chí ƯD Toán học, T. VI, Số 2 (tr.75-110).
[11] N.X. Liêm (1994) Tô pô đại cương - Độ đo và tích phân, NXB Giáo dục, Hà Nội.
[12] N.Q. Hỷ, T. Cảnh, N.V. Hữu, N.Đ. Xuyên (2002) Ứng dụng mô hình toán học phục vụ Công trình thủy điện Sơn La, Đề tài KH & CN Liên hiệp các Hội KH & KT Việt Nam, Hà Nội.
[13] N.Q. Hỷ (2004) Phương pháp mô phỏng số Monte Carlo, NXB Đại học QG Hà Nội.
[14] N.Q. Hỷ, M.V. Được (2009) Phương pháp Monte Carlo trong việc giải một loại bài toán điều khiển ngẫu nhiên tổng hợp, Tạp chí ƯD Toán học, T. VII, Số 1 (tr.15-52).
[15] N.Q. Hỷ, M.V. Được, T.M. Toàn (2007) Về một bài toán điều khiển tổng hợp trong vận hành an toàn hợp lý hệ thống thủy điện bậc thang, Tạp chí ƯD Toán học, T. V, Số 1(tr.65-101).
[16] N.Q.Hỷ, N.Đ. Hóa, T.Đ. Quỳ, N.Đ. Xuyên (2000) Về một bài toán biến phân để ước lượng một loại mặt hồi quy có số quan sát bé, Kỷ yếu Hội nghị ƯD Toán học TQ lần I , T. III (637-644), NXB Đại hoc
QG Hà Nội.
[17] N.Q. Hỷ, T.T. Thủy, M.V. Được, N.D. Phương, V.T. Việt (2008) Cơ sở toán học của các phần mềm VSAM 4 & 5 trong bài toán giảm thiểu độ rủi ro lũ lụt cho CTTĐ Sơn La, Tạp chí ƯD Toán học, T. VI, Số
1 (tr.57-92).
[21] A. Bensoussan, E. Gerald Hurst, JR.B. Nasluand (1974) Management applications of modern control theory, North-Holland Publ. Comp., Amsterdam.
[22] Ram P. Kanwal (1983) Generalized function: Theory and technique, Academic Press.
[23] P. Bremaud (1981) Point processes and Queues - Martingale dynamics, Springer - Verlag, New York.
[24] N. Dunford and J.T. Schwartz (1958) Linear operators, Intersci. Publ., New York-London.
[25] R.E. Edwards (1965) Functional analysis - Theory and applications, Holt - Rinehart & Winston, New York - London.
[26] JU.M. Ermolev (1976) Các phưìng pháp quy ho¤ch ng¨u nhiên (Ti¸ng Nga), Izd. Nauka, Moskva.
[27] JU.M. Ermolev, V.P. Gulenko, T.I. Carenko (1978) Phưìng pháp sai phân trong các bài toán KT× (Ti¸ng Nga), Izd. Nauk. Dumka, Kiev.
[28] V.V. Fedorov, W.J. Studden, E. M. Klimko (1972) Theory of Optima Experiments (Probability and mathematical statistics), Academic Press Inc., USA. 134
[29] W.H. Fleming, R.W. Rishel ( 1975) Deterministic and stochastic optimal control, Springer - Velarge, Berlin - New York.
[30] N.Q. Hy, N.V. Huu, N.V. Ho, T.D. Quy, M.V. Duoc (2001) The Monte Carlo method in theory of reliability and its application to a hydroelectric system, Proc. ISTAEM, Hong Kong 8-11 January (pp. 85-88).
[31] N.Q. Hy and N.T. Minh (1992) A simulation of integral and derivative of the soluotion of a stochastic integral equation, Ann.Pol.Math., Vol. LVII, N.1 (31-33).
[32] N.Q. Hy and N.T. Minh, Application of Monte Carlo method for solving a class of optimal control problems, XX Ogolnopolska Konf. Zast. Mat., Warszawa 1991 (31-33).
[33] Wu Jiekang, Zhu Jianquan, Chen Goutong, Zhang Hongliang (2008) A hybrid me thod for optimal scheduling of short-term electric power generation of cascaded hydroelectric plants based on particle swarm optimization and chance-constrained, Trans. Power syst. , Vol. 23, 4 (pp.1570-1579).
[34] D. Jackson, Y. Kagan (1999) Testable Earthquake Forecasts for 1999, Seism. Res. Lett. 70 (4), pp. 393-403.
[35] L.V. Kantorovich, G.P. Akilov (1982) Functional analysis, Pergamon Pr; 2 edition.
[36] A.N. Kolmogorov, S.V. Fomin (1999) Elements of the Theory of Functions and Functional Analysis, Volume 1, Courier Dover Publications.
[37] V.S. Koroljuc (1978) C©m nang v· Lý thuy¸t xác su§t và Thèng kê toán håc (ti¸ng Nga), Izd. Naukova Dumka, Kiev.
[38] Yeosun Kyung, Joowoong Kim, Sungbooung Jung and Kihwan Eom (2010) Optimal control method of electric power generation in multi leven water dams, Inter. J. Control Aut., Vol.3, 3. 135
[39] In Jae Myung (2003) Tutorial on maximum likelihood estimation, Journal of Mathematical Psychology 47: 90-100 .
[40] B.N. Pschenichny and Yu.M. Danilin (1978) Numerical methods in extremal problems, Mir Publ. Moscow.
[41] T.D. Quoc, C. Savorgnan and M. Diehl (2009) Real-time sequential convex programming for optimal control application, In bock M. Diehl et al (eds.), Modeling, simulation and optimization of convex processes application in Engineering, Spinger-Verlag, Berlin-Heidelberg.
[42] T.D. Quoc and M. Diehl (2010) Local convergence of sequential convex programming for nonlinear optimization, In M. Diehl, F. Glineur and E. Jarlebring (eds.), Recent advances in optimization and its application in Engineering, pp.93-102, Spinger-Verlag, Berlin-Heidelberg.
[43] T.D. Quy, N.Q. Hy, T. Canh (2001) On a stochastic approximation for estimating a regression and its application, Proc.Inter.Symp.TAEM, Hong Kong (113-116).
[44] V.Sharmaa, R. Jhab and R. Naresha (2007) Optimal multi-reservoir network control by augmented Lagrange programming neuron network, Appl. Soft Comp., Vol.7, 3 (pp.783-790).
[45] G.E. Shilov (1971) Mathematical analysis (functions of one variable), part 1-2, Yu. M. Gaiduk, Uspekhi Mat. Nauk, 26:1(157).
[46] Nizar Touzi (2010) Deterministic and stochastic optimal control application in finance, Ecole Polytechnique Paris, Département de Mathématiques Appliquées.
[47] Guangzhi Zhao and M. Davison (2009) Optimal control of hydroelectric facility incorporating pump storage, Ren. Energy, Vol. 34, 4 (pp.1064-1077).