本發(fā)明涉及機(jī)器人視覺(jué)領(lǐng)域，特別是涉及一種多軸搬運(yùn)機(jī)器人視覺(jué)識(shí)別方法。

背景技術(shù)：

1、傳統(tǒng)的工業(yè)機(jī)器人都是由中央系統(tǒng)控制進(jìn)行機(jī)械和重復(fù)的動(dòng)作，電氣自動(dòng)化生產(chǎn)線上工業(yè)機(jī)器人可以對(duì)產(chǎn)品進(jìn)行統(tǒng)一規(guī)范的加工，但加工的過(guò)程中極容易出現(xiàn)不可預(yù)測(cè)的隨機(jī)失誤，造成不必要的經(jīng)濟(jì)損失。以往的機(jī)械傳感器具有較大的局限性，隨著市場(chǎng)對(duì)產(chǎn)品的要求逐漸提高，工業(yè)機(jī)器人也應(yīng)當(dāng)提升自身的生產(chǎn)效率與質(zhì)量來(lái)迎合社會(huì)和市場(chǎng)的發(fā)展。近年來(lái),隨著圖像處理技術(shù)、計(jì)算機(jī)技術(shù)的快速發(fā)展,視覺(jué)技術(shù)被廣泛的應(yīng)用于機(jī)器人領(lǐng)域中?；谝曈X(jué)的機(jī)器人能夠自主的獲取周圍環(huán)境信息,可以用來(lái)進(jìn)行機(jī)器人的自主定位、姿態(tài)測(cè)量、路徑規(guī)劃、導(dǎo)航、控制等。本發(fā)明多軸機(jī)器人的基礎(chǔ)上增加視覺(jué)單元，設(shè)計(jì)相應(yīng)的視覺(jué)控制系統(tǒng)融入機(jī)器視覺(jué)技求。將采集到的圖像轉(zhuǎn)化為分揀產(chǎn)品種類和坐標(biāo)值，并將這些信息直接或間接傳遞給機(jī)器人，以實(shí)現(xiàn)多軸機(jī)器人的自動(dòng)抓取。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問(wèn)題，本發(fā)明提出了一種多軸搬運(yùn)機(jī)器人視覺(jué)識(shí)別方法，具體步驟如下，其特征在于：

2、步驟1，多軸搬運(yùn)機(jī)器人使用ccd圖像傳感器采集需要被搬運(yùn)的物體圖像，通過(guò)wifi和藍(lán)牙上傳至應(yīng)用層系統(tǒng)的圖像識(shí)別數(shù)據(jù)存儲(chǔ)區(qū)中；

3、步驟2，設(shè)計(jì)多軸搬運(yùn)機(jī)器人目標(biāo)檢測(cè)系統(tǒng)：使用yolov5目標(biāo)檢測(cè)算法對(duì)檢測(cè)目標(biāo)進(jìn)行識(shí)別，通過(guò)讀取數(shù)據(jù)存儲(chǔ)區(qū)ccd圖像傳感器采集的畫面訓(xùn)練yolov5目標(biāo)檢測(cè)模型；

4、步驟3，對(duì)于檢測(cè)目標(biāo)出錯(cuò)的情況，目標(biāo)檢測(cè)系統(tǒng)會(huì)將識(shí)別錯(cuò)誤的樣本作為訓(xùn)練樣本送入檢測(cè)模型中，對(duì)yolov5目標(biāo)檢測(cè)模型進(jìn)行增量學(xué)習(xí)，從而不斷提升yolov5目標(biāo)檢測(cè)模型的準(zhǔn)確率。

5、步驟4，設(shè)計(jì)多軸搬運(yùn)機(jī)器人控制模型：在多軸搬運(yùn)機(jī)器人控制系統(tǒng)中引入了電機(jī)的電流負(fù)反饋信號(hào)、速率負(fù)反饋信號(hào)和位置反饋信號(hào)，分別設(shè)計(jì)基多軸搬運(yùn)機(jī)器人的電流反饋閉環(huán)、速率閉環(huán)和位置閉環(huán)控制，形成一個(gè)完整的多軸搬運(yùn)機(jī)器人三環(huán)控制系統(tǒng)；

6、步驟5，設(shè)計(jì)多軸搬運(yùn)機(jī)器人的控制軟件：多軸搬運(yùn)機(jī)器人視覺(jué)識(shí)別方法軟件具有通用功能和方便友好的界面，分為手動(dòng)和自動(dòng)兩種控制模式，同時(shí)兼顧多軸搬運(yùn)機(jī)器人控制任務(wù)的調(diào)度、數(shù)據(jù)存儲(chǔ)、用戶交互界面和通訊功能。

7、進(jìn)一步，步驟2中設(shè)計(jì)多軸搬運(yùn)機(jī)器人目標(biāo)檢測(cè)系統(tǒng)的過(guò)程可以表示如下：

8、本發(fā)明的多軸搬運(yùn)機(jī)器人目標(biāo)檢測(cè)系統(tǒng)主要由yolov5目標(biāo)檢測(cè)算法完成機(jī)器人對(duì)目標(biāo)的識(shí)別，在模型的輸入端使用mosaci數(shù)據(jù)增強(qiáng)算法，采用隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式對(duì)訓(xùn)練樣本進(jìn)行拼接，訓(xùn)練訓(xùn)練樣本集時(shí)采用自動(dòng)訓(xùn)練預(yù)測(cè)框、自適應(yīng)圖片縮放等算法，在提取訓(xùn)練樣本集圖片特征的特征網(wǎng)絡(luò)中，使用focus算法和csp2結(jié)構(gòu)；在neck結(jié)構(gòu)中，采用fpn+pan的結(jié)構(gòu)，加強(qiáng)網(wǎng)絡(luò)特征融合的能力；在yolov5網(wǎng)絡(luò)的輸出端使用giou_loss作為損失函數(shù)：

9、

10、式中，iou為iou損失，ac是yolov5檢測(cè)框與樣本標(biāo)注的最小外接矩形的面積，u是檢測(cè)框與標(biāo)注并集的面積，本發(fā)明在yolov5目標(biāo)框的篩選上使用非極大值抑制來(lái)解決檢測(cè)目標(biāo)重疊的問(wèn)題；

11、yolov5模型在nvidia?cuda平臺(tái)上進(jìn)行g(shù)pu訓(xùn)練，訓(xùn)練完yolov5目標(biāo)檢測(cè)模型后，將訓(xùn)練完成的模型通過(guò)剪枝和量化處理，并移值到上位機(jī)軟件中。

12、進(jìn)一步，步驟3中對(duì)yolov5目標(biāo)檢測(cè)模型進(jìn)行增量學(xué)習(xí)的過(guò)程可以表示如下：

13、將錯(cuò)分的圖像數(shù)據(jù)正確修改其標(biāo)簽，作為訓(xùn)練集，在已訓(xùn)練好的yolov5目標(biāo)檢測(cè)模型基礎(chǔ)上對(duì)其進(jìn)行增量學(xué)習(xí)，獲得更新后的閾值和權(quán)值，并將更新后的閾值和權(quán)值傳至上位機(jī)軟件中，更新軟件中的yolov5目標(biāo)檢測(cè)模型閾值和權(quán)值，最終實(shí)現(xiàn)模型的優(yōu)化升級(jí)。

14、進(jìn)一步，步驟4中設(shè)計(jì)多軸搬運(yùn)機(jī)器人控制模型的過(guò)程可以表示如下：

15、多軸搬運(yùn)機(jī)器人的各軸系可實(shí)現(xiàn)多種運(yùn)行模式：角位置、角速率、搖擺等模式，來(lái)完成目標(biāo)的搬運(yùn)；為完成多軸搬運(yùn)機(jī)器人的搬運(yùn)動(dòng)作，本發(fā)明在電機(jī)的功率放大器在設(shè)計(jì)電流環(huán)回路，同時(shí)設(shè)計(jì)電機(jī)的速度環(huán)起來(lái)拓寬系統(tǒng)頻帶、提高速率響應(yīng)速度、抑制電機(jī)力矩波動(dòng)和干摩擦等對(duì)系統(tǒng)的影響的作用，最后在電流環(huán)和速度環(huán)的基礎(chǔ)上，在外圍加上系統(tǒng)的位置環(huán)來(lái)機(jī)器人的動(dòng)作控制；

16、為減小系統(tǒng)的超調(diào)量，其中電流環(huán)、速度環(huán)和位置環(huán)均采用積分分離的pid控制，在算法中引入邏輯功能，調(diào)節(jié)器輸出采樣點(diǎn)值為：

17、

18、其中，u(k)在電流環(huán)中表示spwm的占空比，u(k)在速度環(huán)中表示電流值，u(k)在位置環(huán)中表示速度值，k為離散時(shí)間變量，kp，ki，kd，分別是pid算法的比例系數(shù)、積分系數(shù)和微分系數(shù)，e(j)是j時(shí)刻的系統(tǒng)誤差，a為pid控制系統(tǒng)門限，當(dāng)偏差較大時(shí)，pid的積分項(xiàng)不起作用，偏差在門限之內(nèi)時(shí)，引入積分算法，來(lái)控制機(jī)器人的多軸運(yùn)行。

19、再通過(guò)遺傳算法是對(duì)積分分離pid的參數(shù)進(jìn)行整定步驟如下所示：

20、步驟4.1，模糊域編碼；多軸搬運(yùn)機(jī)器人運(yùn)行過(guò)程中角度的位置偏差e(t)的實(shí)際范圍可能到達(dá)0～360度，因此，其論域定為[0,360]，角度變化率的基本論域大致為[-40,40]，經(jīng)參數(shù)整定分析輸出量kp、ki、kd，實(shí)際論域設(shè)為[-5,5]、[-0.4，0.4]、[-1，1]；輸入、輸出的模糊論域均設(shè)為[-6,-5,-4,-3,2,-1,0,1,2,3,4,5,6]；系統(tǒng)設(shè)定負(fù)大nb、負(fù)中nm、負(fù)ns、零zo、正小ps、正中pm、正大pb的7個(gè)語(yǔ)言變量值，并用0、1、2、3、4、5、6進(jìn)行編碼表示；

21、步驟4.2，初始種群選??；通過(guò)隨機(jī)生成的方法，初始化一組初始的電流環(huán)、速度環(huán)和位置環(huán)pid參數(shù)kp，ki，kd作為種群，將初始種群最優(yōu)解參數(shù)范圍設(shè)為[-6，6]，并在設(shè)定范圍內(nèi)隨機(jī)生成規(guī)模為80的初始種群；

22、步驟4.3，適應(yīng)度函數(shù)選?。贿m應(yīng)度函數(shù)通過(guò)機(jī)器人控制性能指標(biāo)來(lái)判斷遺傳算法個(gè)體的適應(yīng)度，將個(gè)體的適應(yīng)度作為評(píng)價(jià)pid參數(shù)的好壞標(biāo)準(zhǔn)，本發(fā)明將系統(tǒng)的超調(diào)量、穩(wěn)態(tài)誤差和響應(yīng)時(shí)間指標(biāo)來(lái)設(shè)置遺傳算法的目標(biāo)函數(shù)，從而將基于適應(yīng)度函數(shù)描述為：

23、

24、式中，e1(t)是t時(shí)刻控制系統(tǒng)的穩(wěn)態(tài)誤差，e2(t)是t時(shí)刻控制系統(tǒng)的超調(diào)量，et(t)是t時(shí)刻控制系統(tǒng)的響應(yīng)時(shí)間，ω1、ω2、ω3為加權(quán)常數(shù)；

25、步驟4.4，選擇遺傳算子；根據(jù)適應(yīng)度值，使用輪盤賭選擇方法選擇一部分優(yōu)秀的個(gè)體作為“父代”，利用整體種群中個(gè)體適應(yīng)度值與整體適應(yīng)度值的比例，來(lái)確定被選擇的概率，公式如下：

26、

27、其中，pi是個(gè)體i被遺傳選擇的概率，fj是所有個(gè)體疊加的整體適應(yīng)度值，fi是個(gè)體i的適應(yīng)度值；

28、步驟4.5，交叉和變異操作；對(duì)于選中的“父代”個(gè)體，進(jìn)行交叉操作以生成新的個(gè)體，本發(fā)明采用兩點(diǎn)交叉算法，將交叉概率設(shè)為0.9，從而形成兩個(gè)新的個(gè)體；同時(shí)為提高局部搜索能力，對(duì)個(gè)體的某些基因進(jìn)行隨機(jī)擾動(dòng)或改變，將變異概率設(shè)為0.03；

29、步驟4.6，更新種群和判斷終止條件；將生成的新個(gè)體加入到原始種群中，得到更新后的種群，判斷該種群是否滿足終止條件，若不滿足則返回步驟4.4，若滿足則輸出pid閉環(huán)參數(shù)。

30、本發(fā)明一種多軸搬運(yùn)機(jī)器人視覺(jué)識(shí)別方法，有益效果：

31、1.本發(fā)明實(shí)現(xiàn)了yolov5模型的增量學(xué)習(xí)，可對(duì)yolov5模型進(jìn)行在線優(yōu)化升級(jí)，提高檢測(cè)模型的魯棒性和精確度；

32、2.本發(fā)明在機(jī)器人的控制方面提出了三閉環(huán)的控制系統(tǒng)，有效地克服多軸機(jī)器人的非線性因素和系統(tǒng)摩擦；

33、3.本發(fā)明為多軸搬運(yùn)機(jī)器人的目標(biāo)識(shí)別和控制策略提供了一種重要技術(shù)手段。