本公開的各方面整體涉及經(jīng)由純化對(duì)比學(xué)習(xí)來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。
背景技術(shù)：
1、人工神經(jīng)網(wǎng)絡(luò)可包括互連的人工神經(jīng)元組(例如，神經(jīng)元模型)。人工神經(jīng)網(wǎng)絡(luò)可以是計(jì)算設(shè)備或表示為要由計(jì)算設(shè)備執(zhí)行的方法?？梢愿鶕?jù)已標(biāo)注數(shù)據(jù)以監(jiān)督方式訓(xùn)練一些人工神經(jīng)網(wǎng)絡(luò)，從而允許開發(fā)在其指定任務(wù)中出色的專用模型。但實(shí)際上，標(biāo)注世界上的每個(gè)可能的元素是不切實(shí)際的。另外，某些任務(wù)(諸如以古方言訓(xùn)練語音識(shí)別系統(tǒng))面臨標(biāo)注數(shù)據(jù)稀缺性的問題。因此，對(duì)監(jiān)督學(xué)習(xí)的依賴可能妨礙可執(zhí)行多個(gè)任務(wù)并且/或者獲得新技能的更智能的全能模型的開發(fā)。因此，一些人工神經(jīng)網(wǎng)絡(luò)以自監(jiān)督方式對(duì)未標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。
2、對(duì)比學(xué)習(xí)是用于各種任務(wù)中的自監(jiān)督學(xué)習(xí)的框架的示例。對(duì)比學(xué)習(xí)的目標(biāo)是訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)以學(xué)習(xí)數(shù)據(jù)的表示而不依賴于顯式標(biāo)簽?？梢酝ㄟ^對(duì)比示例的正對(duì)和負(fù)對(duì)來學(xué)習(xí)表示。在訓(xùn)練期間，人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)在特征空間中將相似的增強(qiáng)樣本較靠近地映射在一起，同時(shí)將不相似的樣本較遠(yuǎn)地隔開。此過程促使人工神經(jīng)網(wǎng)絡(luò)捕獲數(shù)據(jù)的有意義且有區(qū)別的表示。
技術(shù)實(shí)現(xiàn)思路
1、在本公開的一些方面，一種方法包括：針對(duì)一組輸入中的每個(gè)輸入生成干凈樣本和增強(qiáng)樣本。該方法還包括：針對(duì)該一組輸入中的每個(gè)輸入將干凈樣本與增強(qiáng)樣本相關(guān)聯(lián)以形成正對(duì)。該方法還包括：針對(duì)該一組輸入中的每個(gè)輸入將干凈樣本與和多個(gè)輸入中的另一輸入相關(guān)聯(lián)的另一干凈樣本相關(guān)聯(lián)以形成負(fù)對(duì)。該方法還包括：基于該一組輸入中的每個(gè)輸入的正對(duì)和負(fù)對(duì)來學(xué)習(xí)該一組輸入的一個(gè)或多個(gè)表示。
2、本公開的一些方面涉及一種裝置，該裝置包括用于針對(duì)一組輸入中的每個(gè)輸入生成干凈樣本和增強(qiáng)樣本的部件。該裝置還包括用于針對(duì)該一組輸入中的每個(gè)輸入將干凈樣本與增強(qiáng)樣本相關(guān)聯(lián)以形成正對(duì)的部件。該裝置還包括用于針對(duì)該一組輸入中的每個(gè)輸入將干凈樣本與和多個(gè)輸入中的另一輸入相關(guān)聯(lián)的另一干凈樣本相關(guān)聯(lián)以形成負(fù)對(duì)的部件。該裝置還包括用于基于該一組輸入中的每個(gè)輸入的正對(duì)和負(fù)對(duì)來學(xué)習(xí)該一組輸入的一個(gè)或多個(gè)表示的部件。
3、在本公開的一些方面，公開了一種其上記錄有程序代碼的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)。該程序代碼由處理器執(zhí)行并且包括用于針對(duì)一組輸入中的每個(gè)輸入生成干凈樣本和增強(qiáng)樣本的程序代碼。該程序代碼還包括用于針對(duì)該一組輸入中的每個(gè)輸入將干凈樣本與增強(qiáng)樣本相關(guān)聯(lián)以形成正對(duì)的程序代碼。該程序代碼還包括用于針對(duì)該一組輸入中的每個(gè)輸入將干凈樣本與和多個(gè)輸入中的另一輸入相關(guān)聯(lián)的另一干凈樣本相關(guān)聯(lián)以形成負(fù)對(duì)的程序代碼。該程序代碼還包括用于基于該一組輸入中的每個(gè)輸入的正對(duì)和負(fù)對(duì)來學(xué)習(xí)該一組輸入的一個(gè)或多個(gè)表示的程序代碼。
4、本公開的一些方面涉及一種裝置，該裝置具有一個(gè)或多個(gè)處理器以及與該一個(gè)或多個(gè)處理器耦合并且存儲(chǔ)指令的一個(gè)或多個(gè)存儲(chǔ)器，這些指令可操作以在由該一個(gè)或多個(gè)處理器執(zhí)行時(shí)使裝置針對(duì)一組輸入中的每個(gè)輸入生成干凈樣本和增強(qiáng)樣本。指令的執(zhí)行還使裝置針對(duì)該一組輸入中的每個(gè)輸入將干凈樣本與增強(qiáng)樣本相關(guān)聯(lián)以形成正對(duì)。指令的執(zhí)行還使裝置針對(duì)該一組輸入中的每個(gè)輸入將干凈樣本與和多個(gè)輸入中的另一輸入相關(guān)聯(lián)的另一干凈樣本相關(guān)聯(lián)以形成負(fù)對(duì)。指令的執(zhí)行進(jìn)一步使裝置基于該一組輸入中的每個(gè)輸入的正對(duì)和負(fù)對(duì)來學(xué)習(xí)該一組輸入的一個(gè)或多個(gè)表示。
5、各方面整體上包括如基本上參照附圖和說明書描述的和如附圖和說明書所例示的方法、裝置、系統(tǒng)、計(jì)算機(jī)程序產(chǎn)品、非暫態(tài)計(jì)算機(jī)可讀介質(zhì)、用戶裝備、基站、無線通信設(shè)備和處理系統(tǒng)。
6、上文已經(jīng)相當(dāng)廣泛地概述了根據(jù)本公開的示例的特征和技術(shù)優(yōu)點(diǎn)，以便可以更好地理解下面的具體實(shí)施方式。將描述附加特征和優(yōu)點(diǎn)。所公開的概念和特定示例可容易地被用作用于修改或設(shè)計(jì)用于實(shí)現(xiàn)本公開的相同目的的其他結(jié)構(gòu)的基礎(chǔ)。此類等效構(gòu)造不脫離所附權(quán)利要求書的范圍。所公開的概念的特性在其組織和操作方法兩方面以及相關(guān)聯(lián)的優(yōu)勢(shì)將通過結(jié)合附圖來考慮以下描述而被更好地理解。提供附圖中的每個(gè)附圖是出于例示和描述的目的，而不是作為權(quán)利要求的限制的定義。
1.一種處理器實(shí)現(xiàn)的方法，包括：
2.根據(jù)權(quán)利要求1所述的處理器實(shí)現(xiàn)的方法，其中：
3.根據(jù)權(quán)利要求1所述的處理器實(shí)現(xiàn)的方法，還包括經(jīng)由對(duì)比學(xué)習(xí)以自監(jiān)督方式來學(xué)習(xí)所述一個(gè)或多個(gè)表示。
4.根據(jù)權(quán)利要求1所述的處理器實(shí)現(xiàn)的方法，其中所述多個(gè)輸入中的每個(gè)輸入是音頻輸入。
5.根據(jù)權(quán)利要求1所述的處理器實(shí)現(xiàn)的方法，還包括在對(duì)比學(xué)習(xí)模型處接收每個(gè)輸入。
6.根據(jù)權(quán)利要求5所述的處理器實(shí)現(xiàn)的方法，其中所述對(duì)比學(xué)習(xí)模型包括增強(qiáng)模塊、編碼器和投影頭。
7.根據(jù)權(quán)利要求6所述的處理器實(shí)現(xiàn)的方法，其中經(jīng)由所述增強(qiáng)模塊根據(jù)利用噪聲增強(qiáng)所述干凈樣本來生成所述增強(qiáng)樣本。
8.一種裝置，包括：
9.根據(jù)權(quán)利要求8所述的裝置，其中：
10.根據(jù)權(quán)利要求8所述的裝置，其中所述指令的執(zhí)行進(jìn)一步使所述裝置經(jīng)由對(duì)比學(xué)習(xí)以自監(jiān)督方式來學(xué)習(xí)所述一個(gè)或多個(gè)表示。
11.根據(jù)權(quán)利要求8所述的裝置，其中所述多個(gè)輸入中的每個(gè)輸入是音頻輸入。
12.根據(jù)權(quán)利要求8所述的裝置，其中所述指令的執(zhí)行進(jìn)一步使所述裝置在對(duì)比學(xué)習(xí)模型處接收每個(gè)輸入。
13.根據(jù)權(quán)利要求12所述的裝置，其中所述對(duì)比學(xué)習(xí)模型包括增強(qiáng)模塊、編碼器和投影頭。
14.根據(jù)權(quán)利要求13所述的裝置，其中經(jīng)由所述增強(qiáng)模塊根據(jù)利用噪聲增強(qiáng)所述干凈樣本來生成所述增強(qiáng)樣本。
15.一種其上記錄有程序代碼的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，所述程序代碼由一個(gè)或多個(gè)處理器執(zhí)行并且包括：
16.根據(jù)權(quán)利要求15所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中：
17.根據(jù)權(quán)利要求15所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述程序代碼還包括用于經(jīng)由對(duì)比學(xué)習(xí)以自監(jiān)督方式來學(xué)習(xí)所述一個(gè)或多個(gè)表示的程序代碼。
18.根據(jù)權(quán)利要求15所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述多個(gè)輸入中的每個(gè)輸入是音頻輸入。
19.根據(jù)權(quán)利要求15所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述程序代碼還包括用于在對(duì)比學(xué)習(xí)模型處接收每個(gè)輸入的程序代碼。
20.根據(jù)權(quán)利要求19所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述對(duì)比學(xué)習(xí)模型包括增強(qiáng)模塊、編碼器和投影頭。
21.根據(jù)權(quán)利要求20所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中經(jīng)由所述增強(qiáng)模塊根據(jù)利用噪聲增強(qiáng)所述干凈樣本來生成所述增強(qiáng)樣本。
22.一種裝置，包括：
23.根據(jù)權(quán)利要求22所述的裝置，其中：
24.根據(jù)權(quán)利要求22所述的裝置，其中指令的執(zhí)行進(jìn)一步使所述裝置經(jīng)由對(duì)比學(xué)習(xí)以自監(jiān)督方式來學(xué)習(xí)所述一個(gè)或多個(gè)表示。
25.根據(jù)權(quán)利要求22所述的裝置，其中所述多個(gè)輸入中的每個(gè)輸入是音頻輸入。
26.根據(jù)權(quán)利要求22所述的裝置，還包括：用于在對(duì)比學(xué)習(xí)模型處接收每個(gè)輸入的部件。
27.根據(jù)權(quán)利要求26所述的裝置，其中所述對(duì)比學(xué)習(xí)模型包括增強(qiáng)模塊、編碼器和投影頭。
28.根據(jù)權(quán)利要求27所述的裝置，其中經(jīng)由所述增強(qiáng)模塊根據(jù)利用噪聲增強(qiáng)所述干凈樣本來生成所述增強(qiáng)樣本。