大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)?_當(dāng)前熱文
- 程序員客棧
- 2023-06-10 20:18:59
Datawhale干貨
作者:平凡@知乎,諾桑比亞大學(xué),在讀博士
【資料圖】
今天晚上,花了一點(diǎn)兒時間看了兩篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior,即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象在機(jī)器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時,由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素,出現(xiàn)了定性上的新能力和性質(zhì),這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。
第一篇文章舉了這個例子,每個圖都可以理解為一個任務(wù),橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模,而縱軸是準(zhǔn)確率,可以理解為模型的性能。
我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩(wěn)定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:
作者發(fā)現(xiàn),當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計(jì)算同余加法 a+b = ? (mod c) 時,網(wǎng)絡(luò)在某個時間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn),神經(jīng)網(wǎng)絡(luò)實(shí)際上“頓悟”了使用傅立葉變換來計(jì)算同余加法!這個算法可以證明是正確的, 反人類直覺的。
從這倆例子里面我的感受是,只要數(shù)據(jù)量足夠且真實(shí),且模型沒有硬錯誤的前提下,不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少,但是系統(tǒng)的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進(jìn)行不斷學(xué)習(xí)的話,我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf關(guān)鍵詞:
福建省委書記周祖翼赴漳州調(diào)研
- 福建第一條海底電纜生產(chǎn)線成功試生產(chǎn)_天天熱推薦
- 實(shí)時:為期3天的2023年福建省普通高考圓滿結(jié)束
- 當(dāng)前視訊!福建省首家菌草微生物技術(shù)產(chǎn)業(yè)研究院揭牌
- 當(dāng)前聚焦:最新!福建福州、莆田兩地發(fā)布一批人事任免
- 福建:擴(kuò)投資穩(wěn)增長 專項(xiàng)債再發(fā)力 前沿?zé)狳c(diǎn)
- 福建省啟動智慧財(cái)審系統(tǒng) 提升效率24.53%
- 世界報(bào)道:福建武夷山:讓游客坐上安全的觀光“小火車”
- 福建省全面打造數(shù)字仲裁庭 提升調(diào)解仲裁服務(wù)質(zhì)效_焦點(diǎn)速訊
- 福建省邵武市:依托主題公園讓安全意識入腦入心
- 大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)?_當(dāng)2023-06-10
- 1158萬人!今年高校畢業(yè)生數(shù)量再創(chuàng)歷史新高2023-06-10
- 黑龍江12件涉黑涉惡案件集中公開宣判85人獲2023-06-10
- 播報(bào):日本羽田機(jī)場兩架飛機(jī)疑似發(fā)生碰撞2023-06-10
- 今日播報(bào)!怎么查高考生錄取狀態(tài)_怎么查高考2023-06-10
- 我有什么?你有什么?我們一起能做什么?_2023-06-10
- 佳緣科技:6月8日接受機(jī)構(gòu)調(diào)研,國壽安保、2023-06-10
- 各地稅務(wù)部門不斷優(yōu)化服務(wù) 前5個月新辦涉2023-06-10
- 觀熱點(diǎn):高質(zhì)量發(fā)展調(diào)研行 | 在智慧港口2023-06-10
- 全球熱訊:2023福布斯全球2000強(qiáng)放榜,中國2023-06-10
- 全球觀熱點(diǎn):計(jì)劃今年完成4座,浦東“十四2023-06-10
- 全球微動態(tài)丨日本羽田機(jī)場兩架飛機(jī)疑似發(fā)生2023-06-10
- 無畏契約東京大師賽6月11日開打,兩支中國2023-06-10
- 全球快消息!25歲女生棄世界500強(qiáng)企業(yè)工作2023-06-10
- 世界今亮點(diǎn)!醫(yī)生謊稱手術(shù)成功致患者身亡:2023-06-10
- 女生拒絕下班后團(tuán)建第二天被開除:正在進(jìn)行2023-06-10
- 國家出手依法懲治網(wǎng)暴!律師:網(wǎng)絡(luò)應(yīng)實(shí)名化2023-06-10
- 喜訊!青島市嶗山區(qū)散打運(yùn)動協(xié)會正式成立2023-06-10
- 伍詠薇美得太高調(diào),玫紅色連衣裙大秀曼妙身2023-06-10
- “千萬工程”調(diào)研行|寧波灣底村:把村莊整2023-06-10
- 新華全媒+丨現(xiàn)場直擊:中原麥?zhǔn)找灰箌環(huán)球看2023-06-10
- 全球最資訊丨上海交警雙管齊下治理機(jī)動車“2023-06-10
- “紀(jì)念北京建都870周年考古成果展”在北京2023-06-10
- 比利時將向?yàn)蹩颂m提供新一批軍事支持2023-06-10
- 【全球快播報(bào)】哪個云盤免費(fèi)空間最大2023-06-10
- 古體詩和近體詩的區(qū)別 律詩和絕句的區(qū)別 2023-06-10
- 每日資訊:于明加工作室微博 于明加微博2023-06-10
- 胡赳赳:論貝克萊的“心外無物”觀念 當(dāng)前2023-06-10
- 新羅:以實(shí)干實(shí)效推進(jìn)流域綜合治理和統(tǒng)籌發(fā)2023-06-10
- 前5個月全國累計(jì)新辦涉稅經(jīng)營主體643.5萬戶2023-06-10