自2017年國(guó)務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》后，人工智能已上升為國(guó)家發(fā)展戰(zhàn)略，成為推進(jìn)經(jīng)濟(jì)發(fā)展的新動(dòng)力。隨著以ChatGPT對(duì)話機(jī)器人為代表的人工智能應(yīng)用的崛起，人工智能預(yù)訓(xùn)練大模型(以下簡(jiǎn)稱“大模型”)在全球?qū)W術(shù)界、工業(yè)界以及投資界掀起了討論熱潮，已經(jīng)成為人工智能領(lǐng)域的技術(shù)新高地。

近日，聯(lián)邦學(xué)習(xí)隱私計(jì)算開(kāi)源平臺(tái)FATE (Federated AI Technology Enabler)正式發(fā)布聯(lián)邦大模型FATE-LLM功能模塊。通過(guò)將聯(lián)邦學(xué)習(xí)和大模型結(jié)合，F(xiàn)ATE-LLM在各參與方的敏感數(shù)據(jù)不出本地域的前提下，根據(jù)各方實(shí)際數(shù)據(jù)量進(jìn)行算力投入，聯(lián)合進(jìn)行大模型訓(xùn)練。基于此技術(shù)方案，多個(gè)機(jī)構(gòu)可以通過(guò)FATE內(nèi)置的預(yù)訓(xùn)練模型進(jìn)行橫向聯(lián)邦，利用各自隱私數(shù)據(jù)進(jìn)行聯(lián)邦大模型微調(diào)，從而提升自身大模型應(yīng)用的效果。

大模型應(yīng)用面臨的

作為大數(shù)據(jù)、大算力強(qiáng)算法結(jié)合的產(chǎn)物，大模型是具有數(shù)十億甚至上百億參數(shù)的深度神經(jīng)網(wǎng)絡(luò)模型，堪稱凝聚了大數(shù)據(jù)內(nèi)在精華的“知識(shí)庫(kù)”。模型在大規(guī)模數(shù)據(jù)集上完成了預(yù)訓(xùn)練后僅需要少量數(shù)據(jù)的微調(diào)、甚至無(wú)需調(diào)整，就能直接支撐各行業(yè)的各類(lèi)應(yīng)用。目前，大模型在語(yǔ)音識(shí)別、自然語(yǔ)言處理、圖像識(shí)別等領(lǐng)域有著廣泛的應(yīng)用，被認(rèn)為是人工智能走向通用化的關(guān)鍵技術(shù)。

然而，基于海量數(shù)據(jù)訓(xùn)練的大模型面臨眾多安全與倫理風(fēng)險(xiǎn)，如構(gòu)建和使用大模型過(guò)程中的隱私泄露、安全漏洞、市場(chǎng)壟斷、不公平性等。大模型可能包含大量個(gè)人敏感信息，包括圖像、語(yǔ)音、地理位置等，如果這些信息在訓(xùn)練或應(yīng)用過(guò)程中被泄露，會(huì)對(duì)用戶造成嚴(yán)重的隱私損失和安全風(fēng)險(xiǎn)。

針對(duì)這些問(wèn)題，F(xiàn)ATE-LLM聯(lián)邦大模型將聯(lián)邦學(xué)習(xí)這種安全的分布式機(jī)器學(xué)習(xí)范式與當(dāng)下主流的大模型技術(shù)融合。基于聯(lián)邦學(xué)習(xí)自身“數(shù)據(jù)不動(dòng)模型動(dòng)，數(shù)據(jù)可用不可見(jiàn)”的特性，聯(lián)邦學(xué)習(xí)與大模型的結(jié)合能夠進(jìn)一步解決數(shù)據(jù)安全、隱私保護(hù)等問(wèn)題。

FATE開(kāi)源社區(qū)技術(shù)指導(dǎo)委員會(huì)主席楊強(qiáng)教授表示：“開(kāi)源FATE-LLM是為了解決當(dāng)前大模型應(yīng)用的兩個(gè)瓶頸問(wèn)題。首先是構(gòu)建和使用大模型時(shí)的數(shù)據(jù)隱私保護(hù)問(wèn)題。多個(gè)數(shù)據(jù)源聯(lián)合訓(xùn)練一個(gè)大模型時(shí)極有可能會(huì)暴露每個(gè)數(shù)據(jù)源的用戶隱私和影響信息安全，再一次凸顯了隱私保護(hù)的必要性和緊迫性。”

“其次，聯(lián)邦學(xué)習(xí)可以應(yīng)用于解決可用數(shù)據(jù)數(shù)量不足的問(wèn)題，為業(yè)界提供了一個(gè)前瞻性的解決方案。來(lái)自阿伯丁大學(xué)、麻省理工大學(xué)、圖賓根大學(xué)的計(jì)算機(jī)科學(xué)家在論文《我們會(huì)用完數(shù)據(jù)嗎?機(jī)器學(xué)習(xí)中數(shù)據(jù)集縮放的局限性分析》中預(yù)測(cè)，ChatGPT等大語(yǔ)言模型訓(xùn)練所需的高質(zhì)量語(yǔ)言數(shù)據(jù)將在2026年之前耗盡。目前大多數(shù)高質(zhì)量數(shù)據(jù)來(lái)源于公域數(shù)據(jù)，也就是說(shuō)當(dāng)公域數(shù)據(jù)消耗殆盡時(shí)，如何保護(hù)數(shù)據(jù)隱私的前提下，合法合規(guī)地利用手機(jī)等終端設(shè)備上的私域數(shù)據(jù)，將是解決大模型訓(xùn)練數(shù)據(jù)不足問(wèn)題的關(guān)鍵。”

“此次發(fā)布的FATE-LLM，是利用聯(lián)邦學(xué)習(xí)技術(shù)來(lái)解決以上問(wèn)題的初步成果，也是FATE社區(qū)合作伙伴的共識(shí)。當(dāng)前階段主要解決的是大模型訓(xùn)練階段的隱私保護(hù)問(wèn)題，未來(lái)還將研究在使用大模型的過(guò)程中如何保護(hù)用戶的隱私。例如，基于大模型的對(duì)話機(jī)器人與億萬(wàn)用戶的互動(dòng)聊天時(shí)，如何保護(hù)用戶的隱私安全問(wèn)題。”

開(kāi)源開(kāi)放，大模型發(fā)展的必經(jīng)之路

近期發(fā)布的FATE-LLM為聯(lián)邦大模型初步版本，未來(lái)FATE開(kāi)源社區(qū)還將針對(duì)聯(lián)邦大模型的算法、效率、安全等方面進(jìn)行持續(xù)優(yōu)化，并持續(xù)推出后續(xù)版本，提升聯(lián)邦大模型的安全性、易用性和通用性。

在技術(shù)創(chuàng)新層面，聯(lián)邦大模型將有機(jī)會(huì)充分利用分散在各個(gè)組織的算力和數(shù)據(jù)，融合聯(lián)邦學(xué)習(xí)和AIGC相關(guān)技術(shù)，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)分布式安全訓(xùn)練。這將為自然語(yǔ)言處理，語(yǔ)音識(shí)別，機(jī)器視覺(jué)等AI領(lǐng)域帶來(lái)全新的技術(shù)范式。

在行業(yè)應(yīng)用方面，聯(lián)邦大模型未來(lái)將有機(jī)會(huì)重塑金融、零售、工業(yè)等多行業(yè)的數(shù)字化形態(tài)。相關(guān)應(yīng)用場(chǎng)景包括在金融領(lǐng)域的智能客服、內(nèi)容風(fēng)控、金融資訊情感分析、文本意圖識(shí)別、營(yíng)銷(xiāo)場(chǎng)景智能創(chuàng)意生成和優(yōu)化等。即使機(jī)構(gòu)自身?yè)碛械臄?shù)據(jù)量和算力可能不足，仍能發(fā)揮聯(lián)邦大模型的優(yōu)勢(shì)，安全合規(guī)地提升客服、營(yíng)銷(xiāo)、風(fēng)控的效果。

關(guān)鍵詞：