據(jù)了解，F(xiàn)ewCLUE是CLUE推出的一項中文小樣本學(xué)習評測榜單，用來評估預(yù)訓(xùn)練模型是否能夠通過小樣本學(xué)習來掌握特定的自然語言處理任務(wù)。同時，研究人員也可通過相關(guān)測試評估AI模型再學(xué)習能力和快速應(yīng)用能力。而從結(jié)果來看，網(wǎng)易伏羲的模型玉言對中文的理解能力，已經(jīng)接近甚至在部分任務(wù)上超過一個受過相關(guān)訓(xùn)練的人類。

更值得一提是，玉言具備的自然語言處理能力可應(yīng)用于語音助手、智能客服、新聞傳媒、游戲創(chuàng)作、智能決策等領(lǐng)域。而在獲得這些能力背后的模型訓(xùn)練體系及應(yīng)用方法則驗證了基于超級模型進行二次訓(xùn)練和快速應(yīng)用的可能性。在目標領(lǐng)域通過少量標注樣本極大的提升應(yīng)用的效果，從而節(jié)省大量的人力成本。

人工智能研究的誕生到現(xiàn)在已經(jīng)有60多年的歷史，近些年的深度學(xué)習掀起了人工智能的新一波浪潮。OpenAI 發(fā)布的GPT系列模型將自然語言處理水平推向了新的高度，也證明了大規(guī)模預(yù)訓(xùn)練的潛力，為智能服務(wù)應(yīng)用場景提供最重要的基石。但是，這些如雨后春筍般涌現(xiàn)的大規(guī)模預(yù)訓(xùn)練模型都是以文本生成為導(dǎo)向，在語義理解方面受限于其技術(shù)局限，效果不佳。

因此，業(yè)界為語義理解任務(wù)重新訓(xùn)練模型，例如BERT、DEBERTA等。文本生成任務(wù)和語言理解任務(wù)分別訓(xùn)練，這不僅是對算力和成本的巨大消耗，也不符合當下社會對低碳發(fā)展的要求。是否將預(yù)訓(xùn)練生成模型通過少量的二次訓(xùn)練轉(zhuǎn)換為理解模型？玉言模型正是基于這個出發(fā)點的一次成功嘗試，將生成模型通過少量的二次訓(xùn)練轉(zhuǎn)換為高準確度的語義理解模型。更重要的是，這一方法的成功實踐，能有效幫助中小企業(yè)降本節(jié)能。

據(jù)該項目團隊介紹，玉言模型的前身是網(wǎng)易伏羲自研的50億GPT2生成模型，通過二次訓(xùn)練變成語義理解能力較好的Prefix-LM，相比于原來的GPT2模型，只是attention mask形狀不同，Prefix-LM可以直接使用許多開源的GPT加速庫進行推斷加速。

玉石二次訓(xùn)練的主要方法包括在Prefix部分增加MLM損失函數(shù)，同時使用增強Position Embebedding的方法去進一步強化Prefix部分的編碼效果等。在任務(wù)數(shù)據(jù)集處理方面使用類似于T0的基于模板的方法，將FewClue的數(shù)據(jù)集在二次訓(xùn)練時混入訓(xùn)練語料中。

另外，F(xiàn)ewClue提供的無標簽數(shù)據(jù)同樣被構(gòu)造模板，處理完成后加入訓(xùn)練語料中。使用模板的方法可以自然地實現(xiàn)多任務(wù)學(xué)習，大大降低語義理解大模型的訓(xùn)練成本，更加有利于工程落地。“同時也非常感謝浪潮共享了他們的部分預(yù)訓(xùn)練文本，為玉言模型訓(xùn)練提供了充分的數(shù)據(jù)。”項目團隊相關(guān)負責人表示。

網(wǎng)易伏羲成立于2017年，是國內(nèi)專業(yè)從事游戲與泛娛樂AI研究和應(yīng)用的頂尖機構(gòu)。網(wǎng)易伏羲已經(jīng)發(fā)表100多篇AI頂會論文，擁有200多項發(fā)明專利，以及數(shù)字人、智能捏臉、AI創(chuàng)作、AI反外掛、AI推薦匹配、AI競技機器人等多個領(lǐng)域的領(lǐng)先技術(shù)。目前，網(wǎng)易伏羲正在向游戲、文旅、文娛等產(chǎn)業(yè)開放AI技術(shù)及產(chǎn)品，目前已服務(wù)超100家客戶，應(yīng)用日均調(diào)用量超數(shù)億次。

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據(jù)。