本發(fā)明涉及ar教學(xué)系統(tǒng)，更具體地說，涉及一種基于ar實(shí)景化仿真實(shí)訓(xùn)的裝配式建筑教學(xué)系統(tǒng)及方法。

背景技術(shù)：

1、在建筑行業(yè)快速發(fā)展的當(dāng)下，裝配式建筑憑借其高效、環(huán)保等優(yōu)勢(shì)逐漸成為建筑領(lǐng)域的重要發(fā)展方向。這使得裝配式建筑相關(guān)專業(yè)人才的培養(yǎng)變得至關(guān)重要，對(duì)教學(xué)質(zhì)量和教學(xué)方法提出了更高要求。

2、目前，教育技術(shù)的進(jìn)步為裝配式建筑教學(xué)帶來了新的思路，不少教學(xué)系統(tǒng)引入了ar/vr技術(shù)，在理論知識(shí)傳授方面取得了一定成果，使學(xué)生能通過虛擬場(chǎng)景更直觀地理解裝配式建筑的理論概念，在一定程度上提升了學(xué)習(xí)效率，但是，現(xiàn)有技術(shù)仍存在顯著缺陷，現(xiàn)有利用ar/vr技術(shù)的教學(xué)系統(tǒng)，大多僅圍繞理論知識(shí)和試題進(jìn)行教學(xué)，缺少實(shí)景化仿真實(shí)訓(xùn)模塊。這意味著學(xué)生無法在接近真實(shí)的場(chǎng)景中進(jìn)行實(shí)踐操作練習(xí)，難以真正掌握裝配式建筑實(shí)際施工中的操作技能和應(yīng)對(duì)突發(fā)問題的能力，鑒于此，我們提出一種基于ar實(shí)景化仿真實(shí)訓(xùn)的裝配式建筑教學(xué)系統(tǒng)及方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于ar實(shí)景化仿真實(shí)訓(xùn)的裝配式建筑教學(xué)系統(tǒng)及方法，以解決現(xiàn)有裝配式建筑教學(xué)系統(tǒng)缺失實(shí)訓(xùn)環(huán)節(jié)，導(dǎo)致學(xué)生理論與實(shí)踐脫節(jié)、難以滿足行業(yè)對(duì)專業(yè)人才實(shí)踐能力需求技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于ar實(shí)景化仿真實(shí)訓(xùn)的裝配式建筑教學(xué)系統(tǒng)及方法，包括實(shí)景化教學(xué)模塊、ar體驗(yàn)?zāi)K以及數(shù)據(jù)交互模塊；

3、所述數(shù)據(jù)交互模塊用于在實(shí)景教學(xué)模塊和ar體驗(yàn)?zāi)K之間構(gòu)建數(shù)據(jù)交互通路；

4、所述實(shí)景化教學(xué)模塊包括：

5、教學(xué)對(duì)象模型單元，用于獲取教學(xué)對(duì)象模型；

6、建筑模塊數(shù)據(jù)單元，用于獲得教學(xué)對(duì)象相關(guān)聯(lián)的裝配式模塊數(shù)據(jù)信息；

7、實(shí)景教學(xué)單元，用于根據(jù)教學(xué)對(duì)象模型和裝配式模塊數(shù)據(jù)信息實(shí)現(xiàn)教學(xué)對(duì)象的實(shí)操教學(xué)；

8、所述ar體驗(yàn)?zāi)K包括：

9、感知模塊，用于捕捉手勢(shì)信息；

10、圖像追蹤模塊，用于獲取教學(xué)對(duì)象相關(guān)聯(lián)的實(shí)景圖像信息；

11、虛擬匹配單元，用于根據(jù)實(shí)景圖像信息和教學(xué)對(duì)象模型得到虛擬教學(xué)對(duì)象模型；

12、視覺增強(qiáng)單元，用于實(shí)現(xiàn)虛擬教學(xué)對(duì)象模型與實(shí)景圖像信息的增強(qiáng)顯示。

13、優(yōu)選的，所述建筑模塊數(shù)據(jù)單元包括：

14、預(yù)處理子單元，用于對(duì)教學(xué)對(duì)象相關(guān)聯(lián)的裝配式模塊數(shù)據(jù)信息進(jìn)行預(yù)處理，具體包括對(duì)數(shù)據(jù)格式的統(tǒng)一、噪聲數(shù)據(jù)的清理，原始數(shù)據(jù)為，經(jīng)過均值濾波處理去除噪聲，濾波公式為，其中，為濾波窗口半徑，為數(shù)據(jù)點(diǎn)索引；

15、提取子單元，用于提取預(yù)處理后的裝配式模塊數(shù)據(jù)信息得到對(duì)應(yīng)的裝配式模塊特征參數(shù)，針對(duì)建筑結(jié)構(gòu)和材料屬性數(shù)據(jù)進(jìn)行提取，提取的特征參數(shù)包括尺寸和重量；

16、融合子單元，用于融合所有裝配式模塊特征參數(shù)獲得融合特征參數(shù)，采用加權(quán)平均算法將各參數(shù)整合，進(jìn)而實(shí)現(xiàn)裝配式建筑教學(xué)系統(tǒng)的數(shù)據(jù)庫存儲(chǔ)模塊構(gòu)建，融合公式為，其中，為第個(gè)特征參數(shù)，為對(duì)應(yīng)的權(quán)重，且。

17、優(yōu)選的，所述感知模塊包括：

18、傳感發(fā)生器，內(nèi)置深度傳感器、攝像頭傳感器和紅外傳感器，分別用于獲取使用者的肢體部位位置數(shù)據(jù)、手勢(shì)信息、動(dòng)作信息；

19、交互子單元，用于將使用者的肢體部位位置數(shù)據(jù)、手勢(shì)信息、動(dòng)作信息發(fā)送到數(shù)據(jù)庫存儲(chǔ)模塊；

20、數(shù)據(jù)庫存儲(chǔ)模塊，用于根據(jù)肢體部位位置數(shù)據(jù)、手勢(shì)信息、動(dòng)作信息匹配對(duì)應(yīng)的教學(xué)動(dòng)作數(shù)據(jù)及其對(duì)應(yīng)的裝配式模塊特征參數(shù)，為ar體驗(yàn)?zāi)K構(gòu)建虛擬教學(xué)對(duì)象模型或提供實(shí)景化操作引導(dǎo)提供依據(jù)，設(shè)肢體部位位置數(shù)據(jù)為，手勢(shì)信息為，動(dòng)作信息為，采用模糊匹配算法，定義模糊相似度函數(shù)，其中，、、分別為肢體部位位置、手勢(shì)、動(dòng)作的相似度，、、為對(duì)應(yīng)的權(quán)重系數(shù)，且，相似度計(jì)算采用歐氏距離法，，其中，，為測(cè)試數(shù)據(jù)，為參考數(shù)據(jù)；

21、語音識(shí)別單元，用于識(shí)別語音指令，采用深度神經(jīng)網(wǎng)絡(luò)算法dnn進(jìn)行語音識(shí)別。

22、優(yōu)選的，所述圖像追蹤模塊包括：

23、追蹤處理子單元，用于采集教學(xué)對(duì)象相關(guān)聯(lián)的圖像信息并輸入到增強(qiáng)學(xué)習(xí)模型，圖像采集的頻率、分辨率等參數(shù)可根據(jù)實(shí)際教學(xué)場(chǎng)景進(jìn)行動(dòng)態(tài)調(diào)整；

24、增強(qiáng)學(xué)習(xí)模型，用于從處理后的圖像信息中獲取對(duì)應(yīng)的關(guān)鍵特征點(diǎn)并生成位置信息，采用尺度不變特征變換算法提取關(guān)鍵特征點(diǎn)，首先構(gòu)建高斯差分金字塔，其中，為高斯函數(shù)，為尺度因子，然后在差分金字塔中尋找極值點(diǎn)，通過擬合三維二次函數(shù)來精確確定關(guān)鍵點(diǎn)的位置和尺度，最后計(jì)算關(guān)鍵點(diǎn)的主方向和特征描述符；

25、關(guān)聯(lián)子單元，用于將圖像信息與關(guān)鍵特征點(diǎn)進(jìn)行關(guān)聯(lián)并存儲(chǔ)于數(shù)據(jù)庫存儲(chǔ)模塊，設(shè)圖像信息為，關(guān)鍵特征點(diǎn)為，采用哈希算法進(jìn)行關(guān)聯(lián)存儲(chǔ)，將關(guān)鍵特征點(diǎn)的描述符映射到哈希表中，關(guān)聯(lián)公式為，其中，為哈希值。

26、優(yōu)選的，所述虛擬匹配單元包括：

27、數(shù)據(jù)提取單元，用于提取融合子單元得到的融合特征參數(shù)；

28、位置匹配單元，用于獲取增強(qiáng)學(xué)習(xí)模型獲得的關(guān)鍵特征點(diǎn)及其位置信息；

29、匹配單元，用于根據(jù)關(guān)鍵特征點(diǎn)的位置信息得到虛擬教學(xué)對(duì)象模型與實(shí)景圖像信息的匹配特征參數(shù)，運(yùn)用隨機(jī)抽樣一致算法進(jìn)行匹配，設(shè)關(guān)鍵特征點(diǎn)在虛擬模型中的位置為，在實(shí)景圖像中的位置為，隨機(jī)抽樣一致算法通過隨機(jī)選取一組樣本點(diǎn)，計(jì)算變換矩陣，使得，然后計(jì)算所有點(diǎn)到變換后的位置的誤差，選擇誤差最小的變換矩陣作為最終結(jié)果；

30、數(shù)據(jù)存儲(chǔ)單元，用于根據(jù)匹配特征參數(shù)實(shí)現(xiàn)虛擬教學(xué)對(duì)象模型的存儲(chǔ)。

31、優(yōu)選的，所述視覺增強(qiáng)單元包括：

32、增強(qiáng)處理子單元，用于獲取虛擬教學(xué)對(duì)象模型并進(jìn)行增強(qiáng)處理，包括對(duì)虛擬模型的光照、紋理優(yōu)化，采用基于物理的渲染算法進(jìn)行光照優(yōu)化，光照優(yōu)化公式為，其中，為出射輻射率，為入射輻射率，為雙向反射分布函數(shù)，為表面法線，和分別為入射和出射方向；

33、增強(qiáng)顯示子單元，用于將增強(qiáng)處理后的虛擬教學(xué)對(duì)象模型與實(shí)景圖像信息重合得到增強(qiáng)顯示數(shù)據(jù)；

34、顯示子單元，用于通過ar眼鏡顯示融合后的圖像。

35、一基于ar實(shí)景化仿真實(shí)訓(xùn)的裝配式建筑教學(xué)方法，包括以下步驟：

36、s1、模型獲取：獲取裝配式教學(xué)對(duì)象模型；

37、s2、信息獲?。韩@取裝配式教學(xué)對(duì)象相關(guān)聯(lián)的裝配式模塊數(shù)據(jù)信息；

38、s3、數(shù)據(jù)預(yù)處理與存儲(chǔ)構(gòu)建：對(duì)獲取的裝配式模塊數(shù)據(jù)信息進(jìn)行預(yù)處理，提取特征參數(shù)并融合，實(shí)現(xiàn)裝配式建筑教學(xué)系統(tǒng)的數(shù)據(jù)庫存儲(chǔ)模塊構(gòu)建；

39、s4、實(shí)景圖像信息采集：獲取教學(xué)對(duì)象相關(guān)聯(lián)的實(shí)景圖像信息，采集圖像并進(jìn)行處理、提取關(guān)鍵特征點(diǎn)及位置信息，然后關(guān)聯(lián)存儲(chǔ)；

40、s5、虛擬教學(xué)對(duì)象模型構(gòu)建：提取與裝配模塊數(shù)據(jù)信息相關(guān)聯(lián)的裝配式模塊特征參數(shù)，結(jié)合增強(qiáng)學(xué)習(xí)模型獲取的關(guān)鍵特征點(diǎn)及其位置信息，計(jì)算匹配特征參數(shù)并存儲(chǔ)虛擬教學(xué)對(duì)象模型；

41、s6、虛擬模型增強(qiáng)處理：對(duì)虛擬教學(xué)對(duì)象模型進(jìn)行增強(qiáng)處理；

42、s7、虛實(shí)圖像融合顯示：將增強(qiáng)處理后的虛擬教學(xué)對(duì)象模型與實(shí)景圖像信息進(jìn)行增強(qiáng)顯示，得到增強(qiáng)顯示數(shù)據(jù)；

43、s8、增強(qiáng)數(shù)據(jù)顯示：顯示增強(qiáng)顯示數(shù)據(jù)；

44、s9、實(shí)操教學(xué)實(shí)施：根據(jù)裝配式教學(xué)對(duì)象模型和裝配式模塊數(shù)據(jù)信息實(shí)現(xiàn)教學(xué)對(duì)象的實(shí)操教學(xué)，且在實(shí)操過程中可利用增強(qiáng)顯示數(shù)據(jù)輔助教學(xué)；

45、s10、模型數(shù)據(jù)關(guān)聯(lián)：使虛擬教學(xué)對(duì)象模型與裝配模塊數(shù)據(jù)信息相關(guān)聯(lián)，便于數(shù)據(jù)交互與反饋。

46、優(yōu)選的，所述s2還包括：

47、s21、數(shù)據(jù)預(yù)處理：對(duì)教學(xué)對(duì)象相關(guān)聯(lián)的裝配式模塊數(shù)據(jù)信息進(jìn)行預(yù)處理；

48、s22、特征參數(shù)提?。禾崛☆A(yù)處理后的裝配式模塊數(shù)據(jù)信息，得到對(duì)應(yīng)的裝配式模塊特征參數(shù)；

49、s23、數(shù)據(jù)融合存儲(chǔ)：融合所有裝配式模塊特征參數(shù)，實(shí)現(xiàn)裝配式建筑教學(xué)系統(tǒng)的數(shù)據(jù)庫存儲(chǔ)模塊構(gòu)建。

50、優(yōu)選的，所述s4還包括：

51、s41、圖像采集處理：采集教學(xué)對(duì)象相關(guān)聯(lián)的圖像信息，并輸入到增強(qiáng)學(xué)習(xí)模型進(jìn)行圖像處理；

52、s42、特征點(diǎn)提取定位：從處理后的圖像信息中獲取對(duì)應(yīng)的關(guān)鍵特征點(diǎn)并生成位置信息；

53、s42、圖像特征關(guān)聯(lián)存儲(chǔ)：將圖像信息與關(guān)鍵特征點(diǎn)進(jìn)行關(guān)聯(lián)并進(jìn)行存儲(chǔ)。

54、優(yōu)選的，所述s5還包括：

55、s51、模塊特征參數(shù)提?。禾崛∨c裝配模塊數(shù)據(jù)信息相關(guān)聯(lián)的裝配式模塊特征參數(shù)；

56、s52、特征點(diǎn)信息獲取：獲取增強(qiáng)學(xué)習(xí)模型獲得的關(guān)鍵特征點(diǎn)及其位置信息；

57、s53、匹配參數(shù)計(jì)算：根據(jù)關(guān)鍵特征點(diǎn)的位置信息得到虛擬教學(xué)對(duì)象模型與實(shí)景圖像信息的匹配特征參數(shù)；

58、s54、虛擬模型存儲(chǔ)：根據(jù)匹配特征參數(shù)實(shí)現(xiàn)虛擬教學(xué)對(duì)象模型的存儲(chǔ)。

59、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

60、1、本發(fā)明提供的基于ar實(shí)景化仿真實(shí)訓(xùn)的裝配式建筑教學(xué)系統(tǒng)，將ar技術(shù)與實(shí)景化教學(xué)深度融合，通過實(shí)景化教學(xué)模塊、ar體驗(yàn)?zāi)K和數(shù)據(jù)交互模塊的協(xié)同工作，為學(xué)生構(gòu)建了一個(gè)安全可控且高度還原真實(shí)場(chǎng)景的教學(xué)環(huán)境，學(xué)生在這個(gè)環(huán)境中可以進(jìn)行實(shí)操訓(xùn)練，彌補(bǔ)了以往僅依靠理論教學(xué)的不足，使學(xué)生能夠更好地將理論知識(shí)與實(shí)踐相結(jié)合，提升實(shí)際操作能力，滿足行業(yè)對(duì)裝配式建筑專業(yè)人才實(shí)踐技能的需求，解決了現(xiàn)有裝配式建筑教學(xué)系統(tǒng)缺失實(shí)訓(xùn)環(huán)節(jié)，導(dǎo)致學(xué)生理論與實(shí)踐脫節(jié)、難以滿足行業(yè)對(duì)專業(yè)人才實(shí)踐能力需求的問題。

61、2、本發(fā)明中的建筑模塊數(shù)據(jù)單元設(shè)置了預(yù)處理子單元、提取子單元和融合子單元，這些子單元對(duì)裝配式模塊數(shù)據(jù)信息進(jìn)行全面處理，使得裝配式模塊特征參數(shù)信息更加豐富和準(zhǔn)確，全面的學(xué)習(xí)模式能夠幫助學(xué)生更深入地理解裝配式建筑各模塊的特性、參數(shù)以及它們之間的關(guān)聯(lián)，進(jìn)一步提升學(xué)生在實(shí)訓(xùn)過程中的操作精準(zhǔn)度和對(duì)復(fù)雜裝配問題的解決能力，強(qiáng)化了學(xué)生對(duì)裝配式建筑知識(shí)體系的掌握，為學(xué)生在實(shí)際工作中應(yīng)對(duì)各種裝配場(chǎng)景奠定堅(jiān)實(shí)基礎(chǔ)。

62、3、本發(fā)明通過設(shè)置感知模塊，能夠?qū)崟r(shí)捕捉使用者的手勢(shì)、面部及身體變化，基于裝配式模塊特征參數(shù)，使ar體驗(yàn)?zāi)K實(shí)現(xiàn)更加精準(zhǔn)的實(shí)景教學(xué)，這不僅增強(qiáng)了學(xué)生在實(shí)訓(xùn)過程中的沉浸感和互動(dòng)性，還能讓系統(tǒng)根據(jù)學(xué)生的實(shí)時(shí)動(dòng)作給予及時(shí)反饋和指導(dǎo)，當(dāng)學(xué)生在進(jìn)行虛擬裝配操作時(shí)，系統(tǒng)可以根據(jù)感知到的手勢(shì)動(dòng)作判斷操作是否正確，提高學(xué)習(xí)效率，進(jìn)一步提升學(xué)生的實(shí)踐技能水平。