本發(fā)明涉及數(shù)據(jù)處理，具體地說是基于機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)爬蟲的航空數(shù)據(jù)收集分析系統(tǒng)。

背景技術(shù)：

1、隨著航空業(yè)的飛速發(fā)展，航空數(shù)據(jù)的規(guī)模呈現(xiàn)出爆炸性增長。這些數(shù)據(jù)包括航班信息、機(jī)場運(yùn)營數(shù)據(jù)、航空公司管理數(shù)據(jù)等，對航空公司的運(yùn)營決策、機(jī)場的流量管理、以及整個航空行業(yè)的戰(zhàn)略規(guī)劃都具有極其重要的價值。然而，傳統(tǒng)的數(shù)據(jù)收集和處理方法往往依賴于人工，效率低下且容易出錯，無法滿足航空業(yè)對高效、準(zhǔn)確數(shù)據(jù)處理的需求。

2、近年來，人工智能和機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展為航空數(shù)據(jù)處理帶來了新的機(jī)遇。通過機(jī)器學(xué)習(xí)算法，可以對大量的航空數(shù)據(jù)進(jìn)行深度分析和挖掘，發(fā)現(xiàn)數(shù)據(jù)中的潛在規(guī)律和價值，為航空業(yè)提供決策支持。同時，網(wǎng)絡(luò)爬蟲技術(shù)也為航空數(shù)據(jù)的自動化收集提供了可能。網(wǎng)絡(luò)爬蟲可以模擬人類瀏覽器行為，自動從互聯(lián)網(wǎng)上抓取所需的數(shù)據(jù)，大大提高了數(shù)據(jù)收集的效率。

3、如何利用機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)航空數(shù)據(jù)的自動化收集、智能化分析和高效利用，是需要解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的技術(shù)任務(wù)是針對以上不足，提供基于機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)爬蟲的航空數(shù)據(jù)收據(jù)分析方法及系統(tǒng)，來解決如何利用機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)航空數(shù)據(jù)的自動化收集、智能化分析和高效利用的技術(shù)問題。

2、第一方面，本發(fā)明一種基于機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)爬蟲的航空數(shù)據(jù)收集分析系統(tǒng)，包括數(shù)據(jù)收集模塊、數(shù)據(jù)預(yù)處理模塊、機(jī)器學(xué)習(xí)模塊、決策支持模塊以及可視化展示模塊；

3、所述數(shù)據(jù)收集模塊用于基于網(wǎng)絡(luò)爬蟲技術(shù)從各種數(shù)據(jù)源采集航空數(shù)據(jù)，數(shù)據(jù)源包括航班信息網(wǎng)站、機(jī)場官網(wǎng)以及開放數(shù)據(jù)源，航空數(shù)據(jù)包括航班信息、機(jī)場信息、航空公司運(yùn)營數(shù)據(jù)以及天氣信息；

4、所述數(shù)據(jù)預(yù)處理模塊用于對采集的航空數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗操作，將清洗后的航空數(shù)據(jù)存儲至數(shù)據(jù)庫；

5、所述機(jī)器學(xué)習(xí)模塊中配置有多種機(jī)器學(xué)習(xí)模型，用于為用戶推薦并支持用戶選擇機(jī)器學(xué)習(xí)模型作為目標(biāo)機(jī)器學(xué)習(xí)模型，用于根據(jù)目標(biāo)機(jī)器學(xué)習(xí)模型的需求、對清洗后的航空數(shù)據(jù)進(jìn)行特征工程、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)縮放處理，以提取航空數(shù)據(jù)中的關(guān)鍵特征，并基于提取的關(guān)鍵特征構(gòu)建訓(xùn)練集、驗(yàn)證集和測試集，用于基于訓(xùn)練集對目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，并基于驗(yàn)證集和測試集對訓(xùn)練后的目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行模型驗(yàn)證和參數(shù)調(diào)優(yōu)，得到最終的目標(biāo)機(jī)器學(xué)習(xí)模型；

6、所述決策支持模塊用于調(diào)用數(shù)據(jù)收集模塊采集航空數(shù)據(jù)，調(diào)用數(shù)據(jù)預(yù)處理模塊對采集的航空數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗操作，根據(jù)目標(biāo)機(jī)器學(xué)習(xí)模型的需求、調(diào)用機(jī)器學(xué)習(xí)模塊對清洗后的航空數(shù)據(jù)進(jìn)行特征工程、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)縮放處理，以提取航空數(shù)據(jù)中的關(guān)鍵特征，并以提取的關(guān)鍵特征為輸入，通過最終的目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行決策預(yù)測，得到預(yù)測的決策結(jié)果，基于預(yù)測的決策結(jié)果以及領(lǐng)域?qū)＜业慕?jīng)驗(yàn)知識構(gòu)建最終決策支持；

7、所述可視化展示模塊通過可視化界面與用戶交互，用于對采集的航空數(shù)據(jù)以及最終的決策支持進(jìn)行展示，并提供查詢服務(wù)，通過查詢服務(wù)支持用戶自定義查詢條件以及篩選數(shù)據(jù)操作。

8、作為優(yōu)選，所述數(shù)據(jù)收集模塊用于基于設(shè)定的爬取頻率定時從各種數(shù)據(jù)源采集航空數(shù)據(jù)，并通過websocket技術(shù)向數(shù)據(jù)預(yù)處理模塊推送和更新航空數(shù)據(jù)。

9、作為優(yōu)選，航空數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，其中航班信息和機(jī)場信息屬于結(jié)構(gòu)化數(shù)據(jù)，網(wǎng)頁文本和評論類的航空公司運(yùn)營數(shù)據(jù)以及天氣信息屬于非結(jié)構(gòu)化數(shù)據(jù)；

10、對于結(jié)構(gòu)化數(shù)據(jù)，所述數(shù)據(jù)預(yù)處理模塊用于執(zhí)行如下進(jìn)行數(shù)據(jù)清洗操作：根據(jù)數(shù)據(jù)的性質(zhì)和分布，選擇刪除包含缺失值的記錄、使用均值、中位數(shù)或眾數(shù)進(jìn)行填充，根據(jù)業(yè)務(wù)邏輯和數(shù)據(jù)分布，設(shè)定閾值并基于統(tǒng)計方法識別去除異常值，通過比較航空數(shù)據(jù)的唯一標(biāo)識去除重復(fù)數(shù)據(jù)，其中，統(tǒng)計方法包括iqr規(guī)則，唯一標(biāo)識包括id和時間戳，將數(shù)據(jù)清洗后的結(jié)構(gòu)化數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫，利用表結(jié)構(gòu)和關(guān)系來組織數(shù)據(jù)，并根據(jù)業(yè)務(wù)需求和數(shù)據(jù)特性確定數(shù)據(jù)的存儲表單；

11、對于非結(jié)構(gòu)化數(shù)據(jù)，所述數(shù)據(jù)預(yù)處理模塊用于執(zhí)行如下進(jìn)行數(shù)據(jù)清洗操作：去除無用的信息、噪聲和冗余數(shù)據(jù)，以確保數(shù)據(jù)的準(zhǔn)確性和一致性，對于文本類型的航空數(shù)據(jù)，進(jìn)行分詞、去除停用詞以及詞干提取操作，將清洗后的非結(jié)構(gòu)化數(shù)據(jù)存儲非關(guān)系型數(shù)據(jù)庫，并根據(jù)業(yè)務(wù)需求和數(shù)據(jù)特性確定數(shù)據(jù)的存儲表單。

12、作為優(yōu)選，所述機(jī)器學(xué)習(xí)模塊用于執(zhí)行如下操作：

13、特征工程操作：通過數(shù)據(jù)探索性分析，從航空數(shù)據(jù)中識別出影響關(guān)鍵業(yè)務(wù)指標(biāo)的關(guān)鍵因素作為關(guān)鍵特征，影響關(guān)鍵業(yè)務(wù)指標(biāo)的關(guān)鍵因素包括航班準(zhǔn)點(diǎn)率、機(jī)票價格趨勢以及航班熱度；

14、對篩選出的關(guān)鍵特征進(jìn)行特征預(yù)處理，通過特征預(yù)處理進(jìn)行缺失值填充、異常值處理、特征縮放以及特征編碼操作；

15、根據(jù)數(shù)據(jù)特性、任務(wù)復(fù)雜度以及性能要求，推薦或選擇適配的機(jī)器學(xué)習(xí)模型作為目標(biāo)機(jī)器學(xué)習(xí)模型；

16、以訓(xùn)練集為輸入，對目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，并在模型訓(xùn)練過程中引入交叉驗(yàn)證以及網(wǎng)格搜索策略，以自動調(diào)整目標(biāo)機(jī)器學(xué)習(xí)模型的模型參數(shù)；

17、基于驗(yàn)證集和測試集對訓(xùn)練后的目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行模型評估和參數(shù)調(diào)優(yōu)，通過模型評估評估模型的泛化能力，參數(shù)調(diào)優(yōu)時參照模型的穩(wěn)定性、可解釋性和計算效率對模型進(jìn)行迭代優(yōu)化，得到最終的目標(biāo)機(jī)器學(xué)習(xí)模型。

18、作為優(yōu)選，所述決策支持模塊用于對接第三方系統(tǒng)，用于基于目標(biāo)機(jī)器學(xué)習(xí)模型預(yù)測的決策結(jié)果、領(lǐng)域?qū)＜业慕?jīng)驗(yàn)知識以及第三方的決策建議和方案構(gòu)建最終的決策支持，決策支持包括航線優(yōu)化、機(jī)票定價策略以及航空公司評價。

19、第二方面，本發(fā)明一種基于機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)爬蟲的航空數(shù)據(jù)收據(jù)分析方法，通過如第一方面任一項(xiàng)所述的一種基于機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)爬蟲的航空數(shù)據(jù)收據(jù)分析系統(tǒng)實(shí)現(xiàn)航空數(shù)據(jù)收集分析，所述方法包括如下步驟：

20、數(shù)據(jù)收集：基于網(wǎng)絡(luò)爬蟲技術(shù)從各種數(shù)據(jù)源采集航空數(shù)據(jù)，數(shù)據(jù)源包括航班信息網(wǎng)站、機(jī)場官網(wǎng)以及開放數(shù)據(jù)源，航空數(shù)據(jù)包括航班信息、機(jī)場信息、航空公司運(yùn)營數(shù)據(jù)以及天氣信息；

21、數(shù)據(jù)預(yù)處理：對采集的航空數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗操作，將清洗后的航空數(shù)據(jù)存儲至數(shù)據(jù)庫；

22、機(jī)器學(xué)習(xí)：為用戶推薦并支持用戶選擇機(jī)器學(xué)習(xí)模型作為目標(biāo)機(jī)器學(xué)習(xí)模型，根據(jù)目標(biāo)機(jī)器學(xué)習(xí)模型的需求、對清洗后的航空數(shù)據(jù)進(jìn)行特征工程、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)縮放處理，以提取航空數(shù)據(jù)中的關(guān)鍵特征，并基于提取的關(guān)鍵特征構(gòu)建訓(xùn)練集、驗(yàn)證集和測試集，基于訓(xùn)練集對目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，并基于驗(yàn)證集和測試集對訓(xùn)練后的目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行模型驗(yàn)證和參數(shù)調(diào)優(yōu)，得到最終的目標(biāo)機(jī)器學(xué)習(xí)模型；

23、決策支持：采集航空數(shù)據(jù)，對采集的航空數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗操作，根據(jù)目標(biāo)機(jī)器學(xué)習(xí)模型的需求、對清洗后的航空數(shù)據(jù)進(jìn)行特征工程、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)縮放處理，以提取航空數(shù)據(jù)中的關(guān)鍵特征，并以提取的關(guān)鍵特征為輸入，通過最終的目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行決策預(yù)測，得到預(yù)測的決策結(jié)果，基于預(yù)測的決策結(jié)果以及領(lǐng)域?qū)＜业慕?jīng)驗(yàn)知識構(gòu)建最終決策支持；

24、可視化展示：對采集的航空數(shù)據(jù)以及最終的決策支持進(jìn)行展示，并提供查詢服務(wù)，通過查詢服務(wù)支持用戶自定義查詢條件以及篩選數(shù)據(jù)操作。

25、作為優(yōu)選，數(shù)據(jù)收集時，基于設(shè)定的爬取頻率定時從各種數(shù)據(jù)源采集航空數(shù)據(jù)，并通過websocket技術(shù)向數(shù)據(jù)預(yù)處理模塊推送和更新航空數(shù)據(jù)。

26、作為優(yōu)選，航空數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，其中航班信息和機(jī)場信息屬于結(jié)構(gòu)化數(shù)據(jù)，網(wǎng)頁文本和評論類的航空公司運(yùn)營數(shù)據(jù)以及天氣信息屬于非結(jié)構(gòu)化數(shù)據(jù)；

27、對于結(jié)構(gòu)化數(shù)據(jù)，執(zhí)行如下進(jìn)行數(shù)據(jù)清洗操作：根據(jù)數(shù)據(jù)的性質(zhì)和分布，選擇刪除包含缺失值的記錄、使用均值、中位數(shù)或眾數(shù)進(jìn)行填充，根據(jù)業(yè)務(wù)邏輯和數(shù)據(jù)分布，設(shè)定閾值并基于統(tǒng)計方法識別去除異常值，通過比較航空數(shù)據(jù)的唯一標(biāo)識去除重復(fù)數(shù)據(jù)，其中，統(tǒng)計方法包括iqr規(guī)則，唯一標(biāo)識包括id和時間戳，將數(shù)據(jù)清洗后的結(jié)構(gòu)化數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫，利用表結(jié)構(gòu)和關(guān)系來組織數(shù)據(jù)，并根據(jù)業(yè)務(wù)需求和數(shù)據(jù)特性確定數(shù)據(jù)的存儲表單；

28、對于非結(jié)構(gòu)化數(shù)據(jù)，執(zhí)行如下進(jìn)行數(shù)據(jù)清洗操作：去除無用的信息、噪聲和冗余數(shù)據(jù)，以確保數(shù)據(jù)的準(zhǔn)確性和一致性，對于文本類型的航空數(shù)據(jù)，進(jìn)行分詞、去除停用詞以及詞干提取操作，將清洗后的非結(jié)構(gòu)化數(shù)據(jù)存儲非關(guān)系型數(shù)據(jù)庫，并根據(jù)業(yè)務(wù)需求和數(shù)據(jù)特性確定數(shù)據(jù)的存儲表單。

29、作為優(yōu)選，機(jī)器學(xué)習(xí)包括操作：

30、特征工程操作：通過數(shù)據(jù)探索性分析，從航空數(shù)據(jù)中識別出影響關(guān)鍵業(yè)務(wù)指標(biāo)的關(guān)鍵因素作為關(guān)鍵特征，影響關(guān)鍵業(yè)務(wù)指標(biāo)的關(guān)鍵因素包括航班準(zhǔn)點(diǎn)率、機(jī)票價格趨勢以及航班熱度；

31、對篩選出的關(guān)鍵特征進(jìn)行特征預(yù)處理，通過特征預(yù)處理進(jìn)行缺失值填充、異常值處理、特征縮放以及特征編碼操作；

32、根據(jù)數(shù)據(jù)特性、任務(wù)復(fù)雜度以及性能要求，推薦或選擇適配的機(jī)器學(xué)習(xí)模型作為目標(biāo)機(jī)器學(xué)習(xí)模型；

33、以訓(xùn)練集為輸入，對目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，并在模型訓(xùn)練過程中引入交叉驗(yàn)證以及網(wǎng)格搜索策略，以自動調(diào)整目標(biāo)機(jī)器學(xué)習(xí)模型的模型參數(shù)；

34、基于驗(yàn)證集和測試集對訓(xùn)練后的目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行模型評估和參數(shù)調(diào)優(yōu)，通過模型評估評估模型的泛化能力，參數(shù)調(diào)優(yōu)時參照模型的穩(wěn)定性、可解釋性和計算效率對模型進(jìn)行迭代優(yōu)化，得到最終的目標(biāo)機(jī)器學(xué)習(xí)模型。

35、作為優(yōu)選，決策支持時對接第三方系統(tǒng)，基于目標(biāo)機(jī)器學(xué)習(xí)模型預(yù)測的決策結(jié)果、領(lǐng)域?qū)＜业慕?jīng)驗(yàn)知識以及第三方的決策建議和方案構(gòu)建最終的決策支持，決策支持包括航線優(yōu)化、機(jī)票定價策略以及航空公司評價。

36、本發(fā)明的基于機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)爬蟲的航空數(shù)據(jù)收據(jù)分析系統(tǒng)及方法具有以下優(yōu)點(diǎn)：

37、1、顯著提升數(shù)據(jù)收集效率：通過自動化的網(wǎng)絡(luò)爬蟲技術(shù)，能夠不間斷地、高效地從多個航空領(lǐng)域相關(guān)網(wǎng)站抓取數(shù)據(jù)，相比傳統(tǒng)的人工收集方式，極大地節(jié)省了時間成本和人力資源，確保數(shù)據(jù)的實(shí)時性和全面性；

38、2、增強(qiáng)數(shù)據(jù)分析的深度與準(zhǔn)確性：集成的機(jī)器學(xué)習(xí)模塊能夠處理大規(guī)模、復(fù)雜的數(shù)據(jù)集，運(yùn)用多種先進(jìn)的算法對數(shù)據(jù)進(jìn)行深度挖掘，從而發(fā)現(xiàn)隱藏在數(shù)據(jù)背后的有價值的規(guī)律和趨勢，這不僅提高了數(shù)據(jù)分析的精度，還使得分析結(jié)果更具洞察力和前瞻性；

39、3、優(yōu)化決策制定過程：智能決策支持模塊基于機(jī)器學(xué)習(xí)模塊的分析結(jié)果，為航空領(lǐng)域的決策者提供科學(xué)、精準(zhǔn)的決策建議，這些建議基于客觀數(shù)據(jù)和算法模型，有助于減少主觀判斷帶來的偏差，提高決策的科學(xué)性和有效性，促進(jìn)航空企業(yè)的精細(xì)化管理和可持續(xù)發(fā)展；

40、4、提升用戶體驗(yàn)與信息透明度：可視化展示模塊將復(fù)雜的數(shù)據(jù)分析結(jié)果轉(zhuǎn)化為直觀易懂的圖表和圖像，使得非專業(yè)人士也能快速理解數(shù)據(jù)背后的意義，這不僅增強(qiáng)了信息的透明度，還提升了用戶體驗(yàn)，有助于航空公司、機(jī)場等機(jī)構(gòu)更好地與公眾溝通，增強(qiáng)信任感；

41、5、促進(jìn)航空領(lǐng)域的創(chuàng)新發(fā)展：通過智能化的數(shù)據(jù)收集與分析，為航空領(lǐng)域的創(chuàng)新提供了強(qiáng)大的數(shù)據(jù)支撐，航空公司可以利用這些數(shù)據(jù)優(yōu)化航線布局、調(diào)整票價策略、提升服務(wù)質(zhì)量，機(jī)場則可以評估交通流量、優(yōu)化資源配置、提高運(yùn)營效率，整體上，該系統(tǒng)推動了航空領(lǐng)域的數(shù)字化轉(zhuǎn)型和智能化升級；

42、6、增強(qiáng)數(shù)據(jù)安全性與合規(guī)性：在數(shù)據(jù)收集和處理過程中，該系統(tǒng)注重數(shù)據(jù)的安全性和合規(guī)性，通過合理的爬蟲策略避免對目標(biāo)網(wǎng)站造成過大壓力，同時遵守相關(guān)法律法規(guī)，確保數(shù)據(jù)的合法性和隱私保護(hù)，為航空企業(yè)的穩(wěn)健運(yùn)營提供堅實(shí)保障。