本發(fā)明涉及數(shù)據(jù)處理,特別涉及一種電商圖像模型自動(dòng)化云上訓(xùn)練方法及裝置。
背景技術(shù):
1、現(xiàn)有設(shè)計(jì)師只需要將提示詞輸入至電商圖像模型進(jìn)行圖像生成,用于獲取創(chuàng)作靈感,每種類型的電商圖像模型都需要經(jīng)過大量的訓(xùn)練才可以進(jìn)行使用,現(xiàn)有的訓(xùn)練方法存在以下問題:由于缺乏自動(dòng)化工具,需要人工手動(dòng)進(jìn)行本地?cái)?shù)據(jù)上傳至云端、云端數(shù)據(jù)下載至本地、數(shù)據(jù)格式轉(zhuǎn)換和存儲(chǔ)管理等操作,這些重復(fù)性的人工操作不僅耗時(shí)耗力,還容易出錯(cuò)。同時(shí),訓(xùn)練過程中的參數(shù)調(diào)優(yōu)、模型評(píng)估等環(huán)節(jié)也需要人工登錄服務(wù)器介入和判斷,無法實(shí)現(xiàn)一個(gè)配置多個(gè)服務(wù)器快速訓(xùn)練迭代和評(píng)估。當(dāng)面對(duì)電商場(chǎng)景下動(dòng)輒幾十萬張的海量圖像數(shù)據(jù)時(shí),這種人工登錄多個(gè)服務(wù)一個(gè)個(gè)下載、訓(xùn)練、評(píng)估的操作方式導(dǎo)致模型訓(xùn)練周期過長(zhǎng),嚴(yán)重制約了模型效果的快速提升和產(chǎn)品的及時(shí)迭代更新。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明要解決的技術(shù)問題,在于提供一種電商圖像模型自動(dòng)化云上訓(xùn)練方法及裝置,。
2、第一方面,本發(fā)明提供了一種電商圖像模型自動(dòng)化云上訓(xùn)練方法,包括下述步驟:
3、步驟1、客戶端與云服務(wù)建立連接,將圖像數(shù)據(jù)傳輸至云服務(wù)器;
4、步驟2、所述云服務(wù)器進(jìn)行接收,并存儲(chǔ),得到訓(xùn)練數(shù)據(jù);
5、步驟3、云服務(wù)端通過訓(xùn)練數(shù)據(jù)進(jìn)行電商圖像模型訓(xùn)練,得到訓(xùn)練后的電商圖像模型;
6、步驟4、通過訓(xùn)練后的電商圖像模型生成設(shè)定張數(shù)的生成圖像;
7、步驟5、將每張生成圖像通過評(píng)分模型進(jìn)行評(píng)分,得到圖像評(píng)分,圖像當(dāng)評(píng)分達(dá)到設(shè)定閾值分?jǐn)?shù)時(shí),該生成圖像為合格;否則為不合格;當(dāng)生成圖像的合格率達(dá)到設(shè)定百分比時(shí),則保存所述訓(xùn)練后的電商圖像模型;否則,重新訓(xùn)練電商圖像模型,直至生成圖像的合格率達(dá)到設(shè)定百分比,保存所述訓(xùn)練后的電商圖像模型。
8、第二方面,本發(fā)明提供了一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置,包括:
9、建立連接模塊,客戶端與云服務(wù)建立連接,將圖像數(shù)據(jù)傳輸至云服務(wù)器;
10、接收存儲(chǔ)模塊,所述云服務(wù)器進(jìn)行接收,并存儲(chǔ),得到訓(xùn)練數(shù)據(jù);
11、訓(xùn)練模型模塊,云服務(wù)端通過訓(xùn)練數(shù)據(jù)進(jìn)行電商圖像模型訓(xùn)練,得到訓(xùn)練后的電商圖像模型;
12、生成圖像模塊,通過訓(xùn)練后的電商圖像模型生成設(shè)定張數(shù)的生成圖像;
13、評(píng)估模型模塊,將每張生成圖像通過評(píng)分模型進(jìn)行評(píng)分,得到圖像評(píng)分,圖像當(dāng)評(píng)分達(dá)到設(shè)定閾值分?jǐn)?shù)時(shí),該生成圖像為合格;否則為不合格;當(dāng)生成圖像的合格率達(dá)到設(shè)定百分比時(shí),則保存所述訓(xùn)練后的電商圖像模型;否則,重新訓(xùn)練電商圖像模型,直至生成圖像的合格率達(dá)到設(shè)定百分比,保存所述訓(xùn)練后的電商圖像模型。
14、第三方面,本發(fā)明提供了一種電子設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)第一方面所述的方法。
15、第四方面,本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的方法。
16、本發(fā)明提供的一個(gè)或多個(gè)技術(shù)方案,至少具有如下技術(shù)效果或優(yōu)點(diǎn):
17、本發(fā)明將自動(dòng)化流程進(jìn)行整合,顯著提升了模型迭代效率;相比傳統(tǒng)的人工操,訓(xùn)練周期縮短70%以上,同時(shí)保證了實(shí)驗(yàn)的可追溯性和規(guī)范性。
18、上述說明僅是本發(fā)明技術(shù)方案的概述,為了能夠更清楚了解本發(fā)明的技術(shù)手段,而可依照說明書的內(nèi)容予以實(shí)施,并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂,以下特舉本發(fā)明的具體實(shí)施方式。
1.一種電商圖像模型自動(dòng)化云上訓(xùn)練方法,其特征在于:包括下述步驟:
2.根據(jù)權(quán)利要求1所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練方法,其特征在于:所述步驟1具體為:客戶端使用paramiko.sshclient建立與云服務(wù)器的ssh安全連接,同時(shí)通過oss2.auth和oss2.bucket配置oss對(duì)象存儲(chǔ)訪問憑證,根據(jù)預(yù)設(shè)配置表,客戶端與云服務(wù)器建立持續(xù)連接;
3.根據(jù)權(quán)利要求1所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練方法,其特征在于:所述步驟3具體為:基于docker容器技術(shù)封裝訓(xùn)練環(huán)境,通過nvidia-docker支持gpu訓(xùn)練,使用torch.distributed實(shí)現(xiàn)多gpu并行訓(xùn)練,通過distributeddataparallel類支持電商圖像模型的數(shù)據(jù)加載,隨后分發(fā)到不同的顯卡上進(jìn)行多顯卡并行訓(xùn)練;采用tensorboard記錄訓(xùn)練過程中的指標(biāo)數(shù)據(jù),定期使用torch.save保存檢查點(diǎn);將訓(xùn)練數(shù)據(jù)輸入至電商圖像模型進(jìn)行模型訓(xùn)練,訓(xùn)練結(jié)束后,得到訓(xùn)練后的電商圖像模型。
4.根據(jù)權(quán)利要求1所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練方法,其特征在于:所述步驟4具體為:通過paramiko.sshclient().exec_command在云服務(wù)器上加載訓(xùn)練后的電商圖像模型,并通過訓(xùn)練好的電商圖像模型生成設(shè)定張數(shù)的生成圖像;將生成圖像存儲(chǔ)至設(shè)定位置。
5.根據(jù)權(quán)利要求1所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練方法,其特征在于:所述步驟5中的所述評(píng)分模型具體為:
6.一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置,其特征在于:包括:
7.根據(jù)權(quán)利要求6所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置,其特征在于:所述建立連接模塊具體為:客戶端使用paramiko.sshclient建立與云服務(wù)器的ssh安全連接,同時(shí)通過oss2.auth和oss2.bucket配置oss對(duì)象存儲(chǔ)訪問憑證,根據(jù)預(yù)設(shè)配置表,客戶端與云服務(wù)器建立持續(xù)連接;
8.根據(jù)權(quán)利要求6所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置,其特征在于:所述訓(xùn)練模型模塊具體為:基于docker容器技術(shù)封裝訓(xùn)練環(huán)境,通過nvidia-docker支持gpu訓(xùn)練,使用torch.distributed實(shí)現(xiàn)多gpu并行訓(xùn)練,通過distributeddataparallel類支持電商圖像模型的數(shù)據(jù)加載,隨后分發(fā)到不同的顯卡上進(jìn)行多顯卡并行訓(xùn)練;采用tensorboard記錄訓(xùn)練過程中的指標(biāo)數(shù)據(jù),定期使用torch.save保存檢查點(diǎn);將訓(xùn)練數(shù)據(jù)輸入至電商圖像模型進(jìn)行模型訓(xùn)練,訓(xùn)練結(jié)束后,得到訓(xùn)練后的電商圖像模型。
9.根據(jù)權(quán)利要求6所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置,其特征在于:所述訓(xùn)練模型模塊具體為:通過paramiko.sshclient().exec_command在云服務(wù)器上加載訓(xùn)練后的電商圖像模型,并通過訓(xùn)練好的電商圖像模型生成設(shè)定張數(shù)的生成圖像;將生成圖像存儲(chǔ)至設(shè)定位置。
10.根據(jù)權(quán)利要求6所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置,其特征在于:所述評(píng)估模型模塊中的所述評(píng)分模型具體為: