本發(fā)明涉及動作捕捉，尤其涉及一種動作捕捉系統(tǒng)及方法。

背景技術(shù)：

1、動作捕捉是一種用于記錄并處理人或其他物體動作的技術(shù)。通過特定的硬件設(shè)備，捕捉運動物體在三維空間中的運動軌跡，并將這些動作數(shù)據(jù)轉(zhuǎn)化為計算機可理解的三維模型，進而應(yīng)用于動畫制作、虛擬現(xiàn)實、游戲開發(fā)、步態(tài)分析、生物力學(xué)研究等多個領(lǐng)域。

2、專利申請?zhí)枮?02110786864.0的中國發(fā)明專利公開了一種人體動作捕捉方法：采用最少需要兩個光學(xué)相機即可準確實現(xiàn)在地面坐標系中人體的定位和動作姿態(tài)解算，在室內(nèi)和室外拍攝場景受限的情況下也能保證動作捕捉結(jié)果的精度，極大提升了動作捕捉技術(shù)的實用性、便捷性、準確性、穩(wěn)定性和適用性。

3、然而，在動畫制作領(lǐng)域，為了實現(xiàn)人體動作的精準捕捉與還原，技術(shù)人員一直致力于開發(fā)高效的動作捕捉技術(shù)。傳統(tǒng)的動畫制作往往依賴于手工繪制或關(guān)鍵幀動畫，這些方法在表現(xiàn)復(fù)雜或細膩的人體動作時存在局限性。隨著計算機技術(shù)和圖像處理技術(shù)的飛速發(fā)展，基于圖像處理和動作捕捉的技術(shù)逐漸成為動畫制作的熱門方向。

技術(shù)實現(xiàn)思路

1、本技術(shù)通過提供一種動作捕捉系統(tǒng)及方法，引入起始動作幀，準確地識別動作的像素坐標，提高捕捉精準度。

2、本技術(shù)提供了一種動作捕捉方法，所述方法包括：

3、s1，獲取動畫序列中包含人體動作的場景圖像，在圖像中的人體關(guān)鍵部位設(shè)置標記點，對動畫序列進行分幀處理；

4、s2，將分幀處理后的人體動作添加動作幀，標記跟蹤人體動作的起止動作幀，跟蹤并記錄標記點在動作幀中的像素坐標；

5、s3，根據(jù)采集到的像素坐標構(gòu)建標記點的運動軌跡，根據(jù)運動軌跡信息進行相關(guān)動作關(guān)聯(lián)組合；其中，運動軌跡為標記點編號、位置、幀數(shù)以及像素坐標(x,y)；

6、s4，將相關(guān)動作關(guān)聯(lián)組合進行動作姿態(tài)解算得到人體在坐標系下的3d坐標和空間姿態(tài)角；

7、s5，結(jié)合3d坐標和空間姿態(tài)角，計算人體在動畫場景中的精確3d位置，通過坐標系轉(zhuǎn)換將結(jié)果調(diào)整到動畫軟件使用的坐標系中。

8、優(yōu)選地，所述s2，包括：

9、a1，使用opencv計算機視覺庫來讀取和預(yù)處理分幀后處理后的動畫序列；

10、a2，基于光流場計算相鄰幀之間像素的運動來識別人體動作的起止動作幀，從而確定動作幀；其中，跟蹤人體動作起止動作幀包括動作分析開始點的起動作幀和界定動作的完整范圍結(jié)束點的止動作幀，從起動作幀到止動作幀之間的動畫幀為包含人體動作的動作幀；

11、a3，在識別出起動作幀后，跟蹤記錄動作幀中每幀每個標記點的像素坐標。

12、優(yōu)選地，所述s3，包括：

13、b1，將動作幀的每幀圖像的每個標點的像素坐標整理成時間連續(xù)的數(shù)據(jù)結(jié)構(gòu)；

14、b2，對于每個標記點的數(shù)據(jù)結(jié)構(gòu)，依次處理其在動作幀中的像素坐標，按照幀數(shù)順序?qū)擞淈c的像素坐標連接起來，形成該標記點的運動軌跡；

15、b3，將標記點間的運動軌跡組合，得到相關(guān)動作關(guān)聯(lián)組合。

16、優(yōu)選地，所述a2，確定動作幀還包括：

17、a21，將識別出的動作幀進行動畫序列分割，并對分割后動畫序列的分割動作幀進行單獨命名；

18、a22，識別單獨命名的動作幀中人體的運動軌跡，將運動幀中存在幀圖像重疊無法識別標記點的動作幀進行重疊的遮蓋影響度計算，判斷遮蓋影響度對運動軌跡的影響；

19、a23，若遮蓋影響度小于閾值則忽略幀圖像重疊對運動軌跡的影響；

20、a24，若遮蓋影響度大于閾值則計算幀圖像重疊的運動軌跡的特征點匹配度。

21、優(yōu)選地，所述a22，遮蓋影響度計算包括：

22、

23、acover為以像素為單位的遮蓋畫面的面積，atotal為被遮蓋的標記點個數(shù)，為遮蓋畫面占人體畫面區(qū)域的比例；ncovered為遮蓋動作幀的幀數(shù)，ntotal為動作幀中整個運動軌跡中的總標記點個數(shù)，為被遮蓋的標記點占整個軌跡中標記點的比例；fcovered為遮蓋的動作幀的幀數(shù)，ftotal為整個動作幀的總幀數(shù)，為遮蓋幀數(shù)占整個動作幀幀數(shù)的比例；δd為遮蓋前后軌跡銜接處的差異度量，定義為遮蓋前后軌跡在銜接處的平均位移差直接反映遮蓋前后軌跡銜接處的差異；∝為一個調(diào)整系數(shù)調(diào)整不同因素在影響度計算中的相對重要性，用于反映不同因素在影響度計算中的相對重要性。

24、優(yōu)選地，所述a24，計算幀圖像重疊的運動軌跡的特征點匹配度包括：

25、a241，在重疊前的運動軌跡和重疊后的運動軌跡上突出標記點，作為跟蹤重疊的特征點；

26、a242，提取重疊前的運動軌跡t1和重疊后的運動軌跡t2，根據(jù)遮蓋影響度通過差值法假設(shè)一條可能的運動軌跡ts；

27、a243，將ts上的特征點與重疊前和重疊后的運動軌跡上的特征點進行匹配，根據(jù)計算出的匹配度，評估假設(shè)運動軌跡與重疊前和重疊后的軌跡的匹配程度；

28、s244，若ts中是單個特征點匹配度高于p，則認為運動軌跡ts是合理的；若ts中存在多個特征點，特征點中匹配度高于p的特征點個數(shù)超過重疊運動軌跡上特征點個數(shù)70％,則認為運動軌跡ts是合理的；若運動軌跡ts是不合理的則重新假設(shè)運動軌跡ts；

29、a245，將t1、ts和t2按照動作幀的時間順序連接起來，形成完整的運動軌跡。

30、優(yōu)選地，所述a243，匹配度計算的公式包括：

31、匹配度計算公式為：

32、n是用于計算匹配度的特征點數(shù)量,si是第i個特征點的形狀相似度(可以通過形狀描述符如hough變換、邊緣檢測等來計算)di是第i個特征點的方向相似度(可以通過方向向量或角度差來計算),vi是第i個特征點的速度相似度(可以通過速度矢量或速度差來計算)；α,β,γ是權(quán)重系數(shù)，用于調(diào)整不同特征在匹配度計算中的相對重要性。

33、優(yōu)選地，所述a22，還包括：

34、a221，根據(jù)身材體態(tài)、穿著類型、畫面比例和遮擋關(guān)系，調(diào)整特征點的采集策略；

35、a222，根據(jù)身材體態(tài)、穿著類型、畫面比例和遮擋關(guān)系，動態(tài)調(diào)整遮蓋影響度閾值；

36、所述動態(tài)調(diào)整遮蓋影響度閾值，包括：

37、idynamic＝kbody*kclothing*kratio*kocclusion*i

38、kbody為身材體態(tài)系數(shù)，根據(jù)人體的身材體態(tài)進行調(diào)整；kclothing為穿著系數(shù)，根據(jù)人體的穿著類型進行調(diào)整；kratio為畫面比例系數(shù)，根據(jù)人體在畫面中的比例大小進行調(diào)整；kocclusion為遮擋關(guān)系系數(shù)，根據(jù)人體在畫面中的前后遮擋關(guān)系進行調(diào)整。

39、優(yōu)選地，所述s4，包括：

40、使用正向運動學(xué)明確人體的關(guān)節(jié)鏈結(jié)構(gòu)以及相對位置關(guān)系，對于人體關(guān)節(jié)鏈結(jié)構(gòu)中的每個標記點明確其相對的父關(guān)節(jié)的關(guān)節(jié)角度；選擇人體根部坐標系作為所有計算的參考點，為每個關(guān)節(jié)標記點建立局部坐標系，該坐標系的原點位于關(guān)節(jié)處標記點，坐標軸的方向根據(jù)關(guān)節(jié)的旋轉(zhuǎn)軸確定；局部坐標系會隨著關(guān)節(jié)標記點的旋轉(zhuǎn)而旋轉(zhuǎn)，但原點位置不變。

41、本技術(shù)還提供了一種動作捕捉系統(tǒng)，所述系統(tǒng)包括：

42、標記點設(shè)置與跟蹤模塊，用于在動畫序列的人體關(guān)鍵部位設(shè)置標記點，并跟蹤記錄這些標記點在動作幀中的像素坐標；

43、動作幀識別與分割模塊，用于基于光流場技術(shù)識別人體動作的起止動作幀，對動畫序列進行分割，并單獨命名分割后的動作幀；

44、運動軌跡構(gòu)建與關(guān)聯(lián)組合模塊，用于根據(jù)采集到的像素坐標構(gòu)建標記點的運動軌跡，并將相關(guān)動作進行關(guān)聯(lián)組合；

45、姿態(tài)解算與3d定位模塊，用于使用正向運動學(xué)解算出人體在坐標系下的3d坐標和空間姿態(tài)角，并結(jié)合這些信息計算出人體在動畫場景中的精確3d位置；

46、遮蓋影響度計算與閾值調(diào)整模塊，用于在存在標記點重疊或遮蓋的情況下，計算遮蓋影響度，并根據(jù)身材體態(tài)、穿著類型、畫面比例和遮擋關(guān)系動態(tài)調(diào)整遮蓋影響度閾值。

47、本技術(shù)中提供的一個或多個技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點：

48、通過在動畫人體關(guān)鍵部位設(shè)置標記點，并利用光流場技術(shù)對相鄰幀之間的像素運動進行計算，該方案能夠精確地識別出人體動作的起止幀，從而有效地界定了動作的完整范圍。在此基礎(chǔ)上，該方案進一步構(gòu)建了標記點的運動軌跡，通過關(guān)聯(lián)組合相關(guān)動作，為后續(xù)的動作分析提供了豐富的數(shù)據(jù)基礎(chǔ)。最后，通過正向運動學(xué)的應(yīng)用，該方案成功解算出人體在坐標系下的3d坐標和空間姿態(tài)角，實現(xiàn)了在動畫場景中人體的精確3d位置定位。

49、通過動畫序列的精細分割和動作幀的單獨命名，為人體運動軌跡的識別與分析提供了基礎(chǔ)。針對幀圖像重疊導(dǎo)致標記點無法識別的情況，引入了遮蓋影響度的計算方法，綜合考慮了遮蓋畫面面積、被遮蓋標記點比例、遮蓋幀數(shù)比例以及遮蓋前后軌跡銜接處的差異等多個因素，來全面評估遮蓋對運動軌跡的影響。通過差值法假設(shè)可能的運動軌跡，并與重疊前后的實際軌跡進行特征點匹配，依據(jù)匹配度來判斷假設(shè)軌跡的合理性。這一過程不僅考慮了特征點的形狀、方向和速度相似度，還通過權(quán)重系數(shù)調(diào)整了不同特征在匹配度計算中的相對重要性。最終，將重疊前后的軌跡與假設(shè)軌跡按時間順序連接起來，形成了完整的運動軌跡，提高了運動軌跡識別的準確性與連貫性。

50、通過綜合考慮身材體態(tài)、穿著類型、畫面比例和遮擋關(guān)系，動態(tài)調(diào)整特征點的采集策略和遮蓋影響度閾值，這一方案不僅提高了運動軌跡識別的準確性，還能夠根據(jù)不同場景和人物特征進行靈活調(diào)整，增強了識別的魯棒性；通過動態(tài)調(diào)整遮蓋影響度閾值，有效減少了遮擋對識別效果的影響，使得在復(fù)雜場景下也能保持較高的識別精度；同時，該方案具有較高的適應(yīng)性和可擴展性，為動畫制作、運動分析等領(lǐng)域提供了更加高效和準確的解決方案。