本發(fā)明涉及數(shù)據(jù)處理，特別涉及一種電商圖像模型自動(dòng)化云上訓(xùn)練方法及裝置。
背景技術(shù)：
1、現(xiàn)有設(shè)計(jì)師只需要將提示詞輸入至電商圖像模型進(jìn)行圖像生成，用于獲取創(chuàng)作靈感，每種類型的電商圖像模型都需要經(jīng)過大量的訓(xùn)練才可以進(jìn)行使用，現(xiàn)有的訓(xùn)練方法存在以下問題：由于缺乏自動(dòng)化工具，需要人工手動(dòng)進(jìn)行本地?cái)?shù)據(jù)上傳至云端、云端數(shù)據(jù)下載至本地、數(shù)據(jù)格式轉(zhuǎn)換和存儲(chǔ)管理等操作，這些重復(fù)性的人工操作不僅耗時(shí)耗力，還容易出錯(cuò)。同時(shí)，訓(xùn)練過程中的參數(shù)調(diào)優(yōu)、模型評(píng)估等環(huán)節(jié)也需要人工登錄服務(wù)器介入和判斷，無法實(shí)現(xiàn)一個(gè)配置多個(gè)服務(wù)器快速訓(xùn)練迭代和評(píng)估。當(dāng)面對(duì)電商場(chǎng)景下動(dòng)輒幾十萬張的海量圖像數(shù)據(jù)時(shí)，這種人工登錄多個(gè)服務(wù)一個(gè)個(gè)下載、訓(xùn)練、評(píng)估的操作方式導(dǎo)致模型訓(xùn)練周期過長(zhǎng)，嚴(yán)重制約了模型效果的快速提升和產(chǎn)品的及時(shí)迭代更新。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明要解決的技術(shù)問題，在于提供一種電商圖像模型自動(dòng)化云上訓(xùn)練方法及裝置，。
2、第一方面，本發(fā)明提供了一種電商圖像模型自動(dòng)化云上訓(xùn)練方法，包括下述步驟：
3、步驟1、客戶端與云服務(wù)建立連接，將圖像數(shù)據(jù)傳輸至云服務(wù)器；
4、步驟2、所述云服務(wù)器進(jìn)行接收，并存儲(chǔ)，得到訓(xùn)練數(shù)據(jù)；
5、步驟3、云服務(wù)端通過訓(xùn)練數(shù)據(jù)進(jìn)行電商圖像模型訓(xùn)練，得到訓(xùn)練后的電商圖像模型；
6、步驟4、通過訓(xùn)練后的電商圖像模型生成設(shè)定張數(shù)的生成圖像；
7、步驟5、將每張生成圖像通過評(píng)分模型進(jìn)行評(píng)分，得到圖像評(píng)分，圖像當(dāng)評(píng)分達(dá)到設(shè)定閾值分?jǐn)?shù)時(shí)，該生成圖像為合格；否則為不合格；當(dāng)生成圖像的合格率達(dá)到設(shè)定百分比時(shí)，則保存所述訓(xùn)練后的電商圖像模型；否則，重新訓(xùn)練電商圖像模型，直至生成圖像的合格率達(dá)到設(shè)定百分比，保存所述訓(xùn)練后的電商圖像模型。
8、第二方面，本發(fā)明提供了一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置，包括：
9、建立連接模塊，客戶端與云服務(wù)建立連接，將圖像數(shù)據(jù)傳輸至云服務(wù)器；
10、接收存儲(chǔ)模塊，所述云服務(wù)器進(jìn)行接收，并存儲(chǔ)，得到訓(xùn)練數(shù)據(jù)；
11、訓(xùn)練模型模塊，云服務(wù)端通過訓(xùn)練數(shù)據(jù)進(jìn)行電商圖像模型訓(xùn)練，得到訓(xùn)練后的電商圖像模型；
12、生成圖像模塊，通過訓(xùn)練后的電商圖像模型生成設(shè)定張數(shù)的生成圖像；
13、評(píng)估模型模塊，將每張生成圖像通過評(píng)分模型進(jìn)行評(píng)分，得到圖像評(píng)分，圖像當(dāng)評(píng)分達(dá)到設(shè)定閾值分?jǐn)?shù)時(shí)，該生成圖像為合格；否則為不合格；當(dāng)生成圖像的合格率達(dá)到設(shè)定百分比時(shí)，則保存所述訓(xùn)練后的電商圖像模型；否則，重新訓(xùn)練電商圖像模型，直至生成圖像的合格率達(dá)到設(shè)定百分比，保存所述訓(xùn)練后的電商圖像模型。
14、第三方面，本發(fā)明提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)第一方面所述的方法。
15、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的方法。
16、本發(fā)明提供的一個(gè)或多個(gè)技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：
17、本發(fā)明將自動(dòng)化流程進(jìn)行整合，顯著提升了模型迭代效率；相比傳統(tǒng)的人工操，訓(xùn)練周期縮短70％以上，同時(shí)保證了實(shí)驗(yàn)的可追溯性和規(guī)范性。
18、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。
1.一種電商圖像模型自動(dòng)化云上訓(xùn)練方法，其特征在于：包括下述步驟：
2.根據(jù)權(quán)利要求1所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練方法，其特征在于：所述步驟1具體為：客戶端使用paramiko.sshclient建立與云服務(wù)器的ssh安全連接，同時(shí)通過oss2.auth和oss2.bucket配置oss對(duì)象存儲(chǔ)訪問憑證，根據(jù)預(yù)設(shè)配置表，客戶端與云服務(wù)器建立持續(xù)連接；
3.根據(jù)權(quán)利要求1所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練方法，其特征在于：所述步驟3具體為：基于docker容器技術(shù)封裝訓(xùn)練環(huán)境，通過nvidia-docker支持gpu訓(xùn)練，使用torch.distributed實(shí)現(xiàn)多gpu并行訓(xùn)練，通過distributeddataparallel類支持電商圖像模型的數(shù)據(jù)加載，隨后分發(fā)到不同的顯卡上進(jìn)行多顯卡并行訓(xùn)練；采用tensorboard記錄訓(xùn)練過程中的指標(biāo)數(shù)據(jù)，定期使用torch.save保存檢查點(diǎn)；將訓(xùn)練數(shù)據(jù)輸入至電商圖像模型進(jìn)行模型訓(xùn)練，訓(xùn)練結(jié)束后，得到訓(xùn)練后的電商圖像模型。
4.根據(jù)權(quán)利要求1所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練方法，其特征在于：所述步驟4具體為：通過paramiko.sshclient().exec_command在云服務(wù)器上加載訓(xùn)練后的電商圖像模型，并通過訓(xùn)練好的電商圖像模型生成設(shè)定張數(shù)的生成圖像；將生成圖像存儲(chǔ)至設(shè)定位置。
5.根據(jù)權(quán)利要求1所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練方法，其特征在于：所述步驟5中的所述評(píng)分模型具體為：
6.一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置，其特征在于：包括：
7.根據(jù)權(quán)利要求6所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置，其特征在于：所述建立連接模塊具體為：客戶端使用paramiko.sshclient建立與云服務(wù)器的ssh安全連接，同時(shí)通過oss2.auth和oss2.bucket配置oss對(duì)象存儲(chǔ)訪問憑證，根據(jù)預(yù)設(shè)配置表，客戶端與云服務(wù)器建立持續(xù)連接；
8.根據(jù)權(quán)利要求6所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置，其特征在于：所述訓(xùn)練模型模塊具體為：基于docker容器技術(shù)封裝訓(xùn)練環(huán)境，通過nvidia-docker支持gpu訓(xùn)練，使用torch.distributed實(shí)現(xiàn)多gpu并行訓(xùn)練，通過distributeddataparallel類支持電商圖像模型的數(shù)據(jù)加載，隨后分發(fā)到不同的顯卡上進(jìn)行多顯卡并行訓(xùn)練；采用tensorboard記錄訓(xùn)練過程中的指標(biāo)數(shù)據(jù)，定期使用torch.save保存檢查點(diǎn)；將訓(xùn)練數(shù)據(jù)輸入至電商圖像模型進(jìn)行模型訓(xùn)練，訓(xùn)練結(jié)束后，得到訓(xùn)練后的電商圖像模型。
9.根據(jù)權(quán)利要求6所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置，其特征在于：所述訓(xùn)練模型模塊具體為：通過paramiko.sshclient().exec_command在云服務(wù)器上加載訓(xùn)練后的電商圖像模型，并通過訓(xùn)練好的電商圖像模型生成設(shè)定張數(shù)的生成圖像；將生成圖像存儲(chǔ)至設(shè)定位置。
10.根據(jù)權(quán)利要求6所述的一種電商圖像模型自動(dòng)化云上訓(xùn)練裝置，其特征在于：所述評(píng)估模型模塊中的所述評(píng)分模型具體為：