本發(fā)明涉及電液伺服控制領(lǐng)域，尤其涉及一種泵閥并聯(lián)電液伺服系統(tǒng)及其控制方法。

背景技術(shù)：

1、電液伺服控制系統(tǒng)因其功率密度高、控制精度高、響應(yīng)速度快等優(yōu)勢(shì)，廣泛應(yīng)用于航空航天和民用工業(yè)等領(lǐng)域。

2、電液伺服控制系統(tǒng)有閥控和泵控兩種基本回路類(lèi)型。閥控系統(tǒng)有著響應(yīng)速度快，控制精度高等優(yōu)點(diǎn)，但節(jié)流帶來(lái)系統(tǒng)巨大的能量損失，能效低；泵控系統(tǒng)響應(yīng)速度慢，控制精度低，但能效高。因此當(dāng)系統(tǒng)在大流量情況或者較大外部負(fù)載時(shí)，為了滿(mǎn)足系統(tǒng)提高能效、節(jié)約成本，響應(yīng)速度快以及控制精度高等要求，泵閥并聯(lián)控制方案具有重要的理論意義和應(yīng)用價(jià)值。

3、中國(guó)專(zhuān)利cn111219372a的專(zhuān)利公開(kāi)了一種泵閥復(fù)合回路及控制方法，實(shí)現(xiàn)了液壓缸在不同的運(yùn)動(dòng)狀態(tài)下泵閥兩回路的直接切換。除此之外，有學(xué)者提出通過(guò)控制策略實(shí)現(xiàn)泵閥之間的切換控制，例如，宋亦靜，柏艷紅，趙志誠(chéng)，等.模糊切換在泵閥并聯(lián)電液伺服系統(tǒng)中的應(yīng)用[j]機(jī)床與液壓,2022，50(06)：84-87.公開(kāi)了一種基于模糊切換的泵閥并聯(lián)控制系統(tǒng)，通過(guò)模糊切換得出兩個(gè)回路的切換系數(shù)，實(shí)現(xiàn)泵閥兩回路控制信號(hào)分配。

4、對(duì)于強(qiáng)化學(xué)習(xí)在電液伺服領(lǐng)域的應(yīng)用，中國(guó)專(zhuān)利cn117348403a的專(zhuān)利公開(kāi)了一種基于強(qiáng)化學(xué)習(xí)自適應(yīng)魯棒控制的雙閥液壓系統(tǒng)的控制方法通過(guò)強(qiáng)化學(xué)習(xí)算法調(diào)節(jié)自適應(yīng)魯棒控制參數(shù)實(shí)現(xiàn)在雙閥液壓系統(tǒng)的控制。但上述發(fā)明有以下不足：第一個(gè)發(fā)明通過(guò)泵閥直接切換分配方式，會(huì)使得泵閥在切換工作模式過(guò)程中產(chǎn)生壓力波動(dòng)和流量沖擊，系統(tǒng)難以及時(shí)調(diào)整，導(dǎo)致出現(xiàn)抖動(dòng)和震蕩。第二個(gè)文獻(xiàn)由于現(xiàn)代控制算法缺乏自我學(xué)習(xí)能力，當(dāng)內(nèi)部參數(shù)發(fā)生變化或者受到外部擾動(dòng)時(shí)，控制器難以有效協(xié)調(diào)兩個(gè)回路之間的控制關(guān)系，系統(tǒng)則會(huì)出現(xiàn)一定程度上的抖動(dòng)和震蕩。第三個(gè)發(fā)明當(dāng)強(qiáng)化學(xué)習(xí)不在先驗(yàn)知識(shí)的引導(dǎo)下，訓(xùn)練過(guò)程較為緩慢且容易出現(xiàn)算法收斂性等問(wèn)題，使得系統(tǒng)在訓(xùn)練過(guò)程的較長(zhǎng)時(shí)間內(nèi)出現(xiàn)一定范圍的抖動(dòng)或震蕩。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明旨在提供一種不僅實(shí)現(xiàn)加快強(qiáng)化學(xué)習(xí)智能體訓(xùn)練速和提高算法的收斂穩(wěn)定性，還能實(shí)現(xiàn)控制回路高精度和高能效的基于引導(dǎo)強(qiáng)化學(xué)習(xí)的泵閥并聯(lián)電液伺服系統(tǒng)控制方法；本發(fā)明的另一目的是提供一種泵閥并聯(lián)電液伺服系統(tǒng)。

2、技術(shù)方案：本發(fā)明所述的泵閥并聯(lián)電液伺服系統(tǒng)，包括泵控回路、閥控回路、液壓缸、位移傳感器和控制器，泵控回路包括變量柱塞泵，三位四通換向閥和電機(jī)，閥控回路包括定量柱塞泵、三位四通伺服閥和電機(jī)；變量柱塞泵的進(jìn)油口連接油箱，出油口通過(guò)單向閥連接三位四通換向閥；所述定量柱塞泵出油口通過(guò)單向閥連接三位四通伺服閥；三位四通伺服閥和三位四通換向閥的出油口通過(guò)管路與液壓缸相連，回油口通過(guò)管路與通過(guò)溢流閥和過(guò)濾器與油箱相連；所述位移傳感器的輸入端連接液壓缸的活塞桿，輸出端連接到控制器的輸入端；所述三位四通伺服閥、三位四通換向閥和變量柱塞泵的輸入端與控制器的輸出端連接。

3、進(jìn)一步的，兩個(gè)單向閥通過(guò)回油支路與油箱連接。

4、本發(fā)明所述泵閥并聯(lián)電液伺服系統(tǒng)的控制方法，包括以下步驟：

5、(1)基于泵閥并聯(lián)電液伺服系統(tǒng)，定義自適應(yīng)控制參數(shù)構(gòu)建液壓系統(tǒng)模型；

6、(2)引入包括自適應(yīng)補(bǔ)償項(xiàng)qa和魯棒補(bǔ)償項(xiàng)qr的自適應(yīng)魯棒控制器，構(gòu)建智能體sac?i，根據(jù)位移精準(zhǔn)度、流量精度和運(yùn)動(dòng)平穩(wěn)度構(gòu)建sac?i的獎(jiǎng)勵(lì)函數(shù)，結(jié)合外層自適應(yīng)魯棒算法arc?i和模糊邏輯控制算法flc?i進(jìn)行引導(dǎo)強(qiáng)化學(xué)習(xí)訓(xùn)練優(yōu)化，確定空間a1，輸入到內(nèi)層自適應(yīng)魯棒算法arc?ii，計(jì)算液壓系統(tǒng)所需總流量；

7、(3)構(gòu)建智能體sac?ii，狀態(tài)空間s2＝[e，qv，qp，us，ud，at]，其中，e液壓缸活塞桿的實(shí)際位移跟蹤誤差，qv為閥控回路流量，qp為泵控回路流量，us為伺服閥輸入信號(hào)，ud為換向閥輸入信號(hào)，結(jié)合模糊邏輯控制算法flc?ii強(qiáng)化學(xué)習(xí)訓(xùn)練優(yōu)化輸出空間a2，得到泵閥流量平滑切換系數(shù)和切換換向閥輸入信號(hào)，確定泵閥回路平滑切換策略，通過(guò)泵閥兩回路協(xié)調(diào)配合控制液壓缸的精準(zhǔn)移動(dòng)，實(shí)現(xiàn)液壓系統(tǒng)的流量分配。

8、進(jìn)一步的，步驟(2)中，sac?i的獎(jiǎng)勵(lì)函數(shù)r1為

9、r1＝ωa1ra1+ωa2ra2+ωa3ra3

10、其中，ωa1，ωa2，ωa3分別表示位移精度，流量精度和運(yùn)動(dòng)平穩(wěn)度的權(quán)重，ra1為位移精準(zhǔn)度的獎(jiǎng)勵(lì)值函數(shù)，ra2為流量精度的獎(jiǎng)勵(lì)函數(shù)，ra3為運(yùn)動(dòng)平穩(wěn)度的獎(jiǎng)勵(lì)函數(shù)；

11、位移精準(zhǔn)度的獎(jiǎng)勵(lì)值函數(shù)ra1如下：

12、

13、式中，ma1為負(fù)增益系數(shù)，et為t時(shí)刻產(chǎn)生的跟蹤誤差；

14、流量精度的獎(jiǎng)勵(lì)函數(shù)ra2如下：

15、

16、其中，ma2為負(fù)增益系數(shù)，eqt為t時(shí)刻產(chǎn)生的流量誤差，eqt-1為t-1時(shí)刻產(chǎn)生的流量誤差；

17、運(yùn)動(dòng)平穩(wěn)度的獎(jiǎng)勵(lì)函數(shù)ra3如下：

18、

19、其中，ma3為負(fù)增益系數(shù)，at為t時(shí)刻加速度。

20、進(jìn)一步的，步驟(2)中，外層自適應(yīng)魯棒算法arc?i中自適應(yīng)補(bǔ)償項(xiàng)qa1為

21、

22、其中，η為回歸向量矩陣，為自適應(yīng)控制參數(shù)的估計(jì)值，其更新方式為

23、

24、其中，為的初值，γ為正定對(duì)角矩陣，τ為自適應(yīng)映射函數(shù)，·仁γτ，映射函數(shù)表示為

25、

26、進(jìn)一步的，步驟(2)中，空間a1為

27、

28、其中，qflc?i為aflc?i輸入critic?i網(wǎng)絡(luò)得到的價(jià)值函數(shù)，aflc?i為flc?i的輸出的動(dòng)作；qsac?i為asac?i輸入critic?i網(wǎng)絡(luò)得到的價(jià)值函數(shù)，asac?i為sac?i的actor?i網(wǎng)絡(luò)輸出的動(dòng)作；aqa1為arc?i的輸出的動(dòng)作，qqa1為aqa1輸入critic?i網(wǎng)絡(luò)得到的價(jià)值函數(shù)；α1為權(quán)重系數(shù)。

29、進(jìn)一步的，sac?ii的獎(jiǎng)勵(lì)函數(shù)r2為

30、r2＝ωb1rb1+ωb2rb2+ωb3rb3+ωb4rb4

31、其中，ωb1，ωb2，ωb3，ωb4分別表示位移精度，泵閥兩回路流量和泵閥兩回路流量方向的權(quán)重；rb1為位移精準(zhǔn)度的獎(jiǎng)勵(lì)值函數(shù)，泵閥兩回路流量的獎(jiǎng)勵(lì)函數(shù)rb2，rb3，泵閥兩回路流量方向獎(jiǎng)勵(lì)函數(shù)rb4；

32、泵閥兩回路流量的獎(jiǎng)勵(lì)函數(shù)獎(jiǎng)勵(lì)函數(shù)rb2，rb3如下：

33、

34、式中，mb2，mb3為負(fù)增益系數(shù)，qv為閥控回路流量，qp為泵控回路流量；

35、泵閥兩回路流量方向獎(jiǎng)勵(lì)函數(shù)rb4如下：

36、

37、式中，mb4為負(fù)增益系數(shù)。

38、進(jìn)一步的，步驟(3)中，空間a2為

39、

40、其中，qflc?ii為aflc?ii輸入critic?ii網(wǎng)絡(luò)得到的價(jià)值函數(shù)，aflc?ii為flc?ii的輸出的動(dòng)作；qsac?ii為asac?ii輸入critic?ii網(wǎng)絡(luò)得到的價(jià)值函數(shù)，asac?ii為sac?ii的actor?ii網(wǎng)絡(luò)輸出的動(dòng)作；α2為權(quán)重系數(shù)。

41、進(jìn)一步的，權(quán)重系數(shù)α1和α2如下：

42、

43、λ1(i)＝λ0·(1+α·e(t))·(1-β·r1(t))

44、λ2(i)＝λ0·(1+α·e(t))·(1-β·r2(t))

45、其中，α0為初始權(quán)重，λ(t)為衰減速率，i為當(dāng)前訓(xùn)練步數(shù)，λ0為初始衰減速率，α，β為調(diào)節(jié)因子，e(t)實(shí)際位移跟蹤誤差，r1(t)為sac?i當(dāng)前獎(jiǎng)勵(lì)值，r2(t)為sac?ii當(dāng)前獎(jiǎng)勵(lì)值。

46、進(jìn)一步的，泵閥回路平滑切換策略如下：

47、sac?ii輸出的動(dòng)作x為泵閥流量平滑切換系數(shù)，通過(guò)總流量qy與x泵閥流量平滑切換系數(shù)相乘，得到閥控回路流量qv＝xqy，泵控回路流量qp＝(1-x)qy，故泵閥回路平滑切換策略具體如下：

48、當(dāng)x∈[0，0.1]區(qū)間時(shí)，此時(shí)泵控回路單獨(dú)工作。

49、當(dāng)x∈(0.1，0.5)區(qū)間時(shí)，此時(shí)泵控回路工作為主要回路，閥控回路工作為輔助回路。

50、當(dāng)x∈[0.5，0.9)區(qū)間時(shí)，此時(shí)閥控回路工作為主要回路，泵控回路工作為輔助回路。

51、當(dāng)x∈[0.9，1]區(qū)間時(shí)，此時(shí)閥控回路單獨(dú)工作。

52、有益效果：本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)是：1、本發(fā)明通過(guò)引入自適應(yīng)魯棒算法和模糊邏輯控制算法引導(dǎo)智能體的訓(xùn)練探索過(guò)程，幫助智能體快速掌握現(xiàn)代控制算法的優(yōu)勢(shì)，可以顯著加快智能體訓(xùn)練速度，并提高了算法的收斂精度；2、當(dāng)系統(tǒng)受到外部干擾和內(nèi)部擾動(dòng)時(shí)，本發(fā)明采用強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)自適應(yīng)參數(shù)更新，克服了自適應(yīng)魯棒算法在未知環(huán)境下適應(yīng)性和魯棒性較弱，以及依賴(lài)人工調(diào)整的局限性，從而顯著提升系統(tǒng)的自適應(yīng)性和魯棒性；3、本發(fā)明通過(guò)強(qiáng)化學(xué)習(xí)智能體實(shí)現(xiàn)泵閥兩回路的流量平滑切換，有效避免了直接切換引起的回路壓力過(guò)大或流量快速變化等導(dǎo)致的壓力波動(dòng)和系統(tǒng)沖擊，同時(shí)進(jìn)一步提高了系統(tǒng)的動(dòng)態(tài)性能和運(yùn)行效能。