ChatGPT的出現(xiàn)使通用人工智能演進(jìn)迭代方向清晰,要讓大模型真正發(fā)揮生產(chǎn)力作用,接下來的關(guān)鍵是路徑設(shè)計(jì)
【資料圖】
文/謝麗容
7月6日,一個(gè)極其細(xì)分的行業(yè)大模型被外界關(guān)注。由中國商飛上海飛機(jī)設(shè)計(jì)研究院開發(fā)的三維超臨界機(jī)翼流體仿真大模型“東方·翼風(fēng)”,可以提升大飛機(jī)三維翼型設(shè)計(jì)速度1000倍,大大縮短商用大飛機(jī)研發(fā)周期。
此時(shí),普通人對(duì)于ChatGPT的好奇和新鮮感逐步褪去,中國人工智能領(lǐng)域的新一輪迭代剛剛開始。眾多涌入大模型賽道的團(tuán)隊(duì)和公司,需要考慮的是如何讓大模型在產(chǎn)業(yè)和經(jīng)濟(jì)領(lǐng)域發(fā)揮真正的生產(chǎn)力作用。
仔細(xì)分層剖析商飛的“東方·翼風(fēng)”大模型,它有兩個(gè)必備要素:其一,大模型技術(shù)底盤,這不是商飛擅長的,由華為提供;其二,流體領(lǐng)域?qū)<医?jīng)驗(yàn)、數(shù)據(jù),具體的設(shè)計(jì)思路,這是商飛擅長的。
科技公司和行業(yè)公司各司其職,技術(shù)演化成新生產(chǎn)力,推動(dòng)產(chǎn)業(yè)和經(jīng)濟(jì)發(fā)展,這個(gè)邏輯在社會(huì)商業(yè)系統(tǒng)始終未變,人工智能領(lǐng)域,也將繼續(xù)遵循這個(gè)邏輯。
基于對(duì)AIGC大模型長期演進(jìn)方向的篤定,中美大型科技公司均在今年早些時(shí)候相繼發(fā)布了各自的戰(zhàn)略目標(biāo)和策略。華為的定位和路徑是什么?華為公司此前并未發(fā)布確定性定論。
華為輪值董事長胡厚崑7月6日在世界人工智能大會(huì)上給出了定論。他說,人工智能的發(fā)展,關(guān)鍵在于“走深向?qū)崱保?/strong>華為的定位是賦能產(chǎn)業(yè)升級(jí),服務(wù)好千行百業(yè)、服務(wù)好科學(xué)研究。
圍繞這個(gè)定位,華為有兩個(gè)路徑:其一,算力領(lǐng)域,打造強(qiáng)有力的算力底座。其二,大模型領(lǐng)域,從通用大模型到行業(yè)大模型,真正讓人工智能使能行業(yè),助力科研。
簡單理解,關(guān)鍵詞是“基礎(chǔ)”和“做實(shí)”,算力,定位是算力底座;大模型,目標(biāo)是千行百業(yè)。
胡厚崑在這次演講中公布了一組數(shù)字:面向大模型的創(chuàng)新,華為提供了全流程的使能平臺(tái),支撐科研機(jī)構(gòu)和企業(yè)客戶,原生孵化了20多個(gè)基礎(chǔ)大模型,同時(shí)適配10多個(gè)業(yè)界主流的大模型,中國大模型中約一半由昇騰AI支撐。
這個(gè)成績很是亮眼,但技術(shù)的盡頭是商業(yè),大模型的價(jià)值,最終要在千行百業(yè)的生產(chǎn)力提升上顯現(xiàn)。今年3月,華為創(chuàng)始人任正非提到,人工智能軟件平臺(tái)公司對(duì)人類社會(huì)的直接貢獻(xiàn)可能不到2%,98%都是對(duì)工業(yè)社會(huì)、農(nóng)業(yè)社會(huì)的促進(jìn)。因此,要關(guān)注應(yīng)用,尤其是工業(yè)、農(nóng)業(yè)社會(huì)的應(yīng)用,模型的應(yīng)用有時(shí)比模型本身還有前途。
大模型究竟為行業(yè)做什么?
行業(yè)大模型究竟可以在哪些領(lǐng)域貢獻(xiàn)生產(chǎn)力,華為自研的盤古大模型兩年多來的實(shí)踐可供參考。
7月7日,華為常務(wù)董事、華為云CEO張平安在華為2023開發(fā)者大會(huì)上發(fā)布了盤古大模型3.0版本。盤古大模型2019年立項(xiàng),第一代版本在2021年4月對(duì)外發(fā)布。
和ChatGPT通用大模型的屬性不同,盤古大模型從立項(xiàng)之初就為行業(yè)而生,早期版本包括CV大模型、NLP大模型、科學(xué)計(jì)算大模型等。
盤古大模型3.0版本包括“5+N+X”三層架構(gòu),即基礎(chǔ)模型、行業(yè)模型和場景模型,胡厚崑解釋,最底層的基礎(chǔ)模型,做好海量基礎(chǔ)知識(shí)的學(xué)習(xí),相當(dāng)于“讀萬卷書”,打好基礎(chǔ);在此之上,針對(duì)不同的行業(yè)、不同的場景,進(jìn)行專項(xiàng)知識(shí)和經(jīng)驗(yàn)的訓(xùn)練,打造好用、易用的行業(yè)模型和場景模型,相當(dāng)于“行萬里路”。
盤古大模型現(xiàn)階段目標(biāo)是工業(yè)領(lǐng)域。胡厚崑透露了一組數(shù)據(jù)信息:自2021年發(fā)布以來,盤古大模型已經(jīng)落地金融、制造、政務(wù)、煤礦、鐵路等10多個(gè)行業(yè),支撐400多個(gè)業(yè)務(wù)場景的AI應(yīng)用落地。
工業(yè)不是一個(gè)泛指,科研和生產(chǎn)兩大領(lǐng)域均要全面布局。
在科研領(lǐng)域,華為目前已經(jīng)推出藥物分子、氣象和海浪等一系列大模型。胡厚崑尤其提到了盤古的氣象大模型。盤古氣象大模型1小時(shí)-7天的預(yù)測精度,超過歐美氣象中心的表現(xiàn),相關(guān)論文在國際期刊《Nature》雜志上發(fā)表。
氣象預(yù)測是科研領(lǐng)域的一個(gè)重難點(diǎn)。以臺(tái)風(fēng)為例,全球每年大約會(huì)生成80個(gè)臺(tái)風(fēng),其中影響西北太平洋和南海的大約有25個(gè),平均有7個(gè)會(huì)登陸中國。2022年臺(tái)風(fēng)災(zāi)害造成的直接經(jīng)濟(jì)損失54.2億元。
傳統(tǒng)的氣象預(yù)測采用HPC高性能計(jì)算機(jī)來計(jì)算,如果要預(yù)測一個(gè)臺(tái)風(fēng)未來十天的路徑,需要在超級(jí)計(jì)算機(jī)上,利用超過3000個(gè)節(jié)點(diǎn)的超級(jí)計(jì)算機(jī)上花費(fèi)數(shù)小時(shí)進(jìn)行仿真。缺點(diǎn)是資源消耗大,預(yù)測耗時(shí)長,成本高。
盤古氣象大模型是首個(gè)精度超過傳統(tǒng)數(shù)值預(yù)報(bào)方法的AI氣象預(yù)測方法。
從預(yù)測的精準(zhǔn)度角度來看,它是一種3D高分辨率AI氣象預(yù)報(bào)方法,空間分辨率上,水平精度是在0.25°×0.25°這樣的精度上,大概對(duì)應(yīng)的物理范圍是28公里×28公里,高度上是將空間從海平面到高空分層13個(gè)等壓層,會(huì)使得預(yù)報(bào)更精準(zhǔn);
從資源消耗來說,只需要單機(jī)單卡,10秒內(nèi)就可完成一次氣象預(yù)測;
從預(yù)測的頻來說,傳統(tǒng)預(yù)報(bào)是六個(gè)小時(shí)預(yù)測一次,盤古可以做到一個(gè)小時(shí)做一次預(yù)測。
去年8月,盤古氣象大模型預(yù)測臺(tái)風(fēng)“馬鞍”的軌跡和登陸時(shí)間,準(zhǔn)確率達(dá)90%,遠(yuǎn)超行業(yè)平均水平。今年5月,華為盤古大模型提前五天預(yù)報(bào)出臺(tái)風(fēng)“瑪娃”將在中國臺(tái)灣島東部海域轉(zhuǎn)向路徑。
盤古氣象大模型的訓(xùn)練數(shù)據(jù)來源是過去40多年全球開放的氣象數(shù)據(jù),目前對(duì)外提供API接口,可提供天氣預(yù)測、海浪預(yù)測、臺(tái)風(fēng)路徑預(yù)測、寒潮/高溫預(yù)報(bào)等多種氣象預(yù)測。
7月6日,華為云盤古氣象大模型研究成果在《Nature》正刊發(fā)表。這是中國科技公司十年來首篇作為唯一署名單位發(fā)表在《Nature》正刊上的論文。
在科研領(lǐng)域,盤古的藥物分子大模型也有所進(jìn)展。新藥研發(fā)周期漫長眾所周知。一款新藥研發(fā)通常需要10年時(shí)間、花費(fèi)10億美金;盤古藥物分子大模型的推進(jìn)性表現(xiàn)在,可以將先導(dǎo)藥物研發(fā)周期縮短至1個(gè)月,研發(fā)成本降低70%。
今年5月,西安交通大學(xué)第一附屬醫(yī)院劉冰教授基于華為云盤古藥物分子大模型,研發(fā)出一款超級(jí)抗菌藥Drug X。據(jù)介紹,Drug X有望成為全球近40年來首個(gè)新靶點(diǎn)、新類別的抗生素,改變病人面對(duì)“超級(jí)耐藥菌”感染時(shí)無藥可用的局面。
在工業(yè)生產(chǎn)領(lǐng)域,盤古礦山大模型的落地有一定代表性。
煤礦生產(chǎn)是一項(xiàng)復(fù)雜、危險(xiǎn)性較高的工作,中國采礦業(yè)現(xiàn)狀是,300米井下仍需大量人員現(xiàn)場作業(yè),通過人工智能來實(shí)現(xiàn)“少人無人”的安全高效作業(yè)是煤礦智能化追求的重要目標(biāo)。不過,這件事并不好做,人工智能在煤礦行業(yè)落地存在著場景需求多、礦山間復(fù)制難、場景落地難等現(xiàn)實(shí)問題。
場景多、落地難,導(dǎo)致此前的人工智能解決方案,多是針對(duì)某個(gè)或某幾個(gè)特定的場景去特定解決。
通用基礎(chǔ)大模型的優(yōu)勢在于“通用”和“自學(xué)習(xí)”。盤古礦山大模型只需導(dǎo)入海量無標(biāo)注的礦山場景數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,即可進(jìn)行無監(jiān)督自主學(xué)習(xí),一個(gè)大模型可以覆蓋煤礦的采、掘、機(jī)、運(yùn)、通、洗選等業(yè)務(wù)流程下的1000多個(gè)細(xì)分場景的通用。
大模型的“通用”如何體現(xiàn)在煤礦場景里?可以用行業(yè)泛化性的特點(diǎn)來理解,比如,已經(jīng)開發(fā)訓(xùn)練完成的場景算法模型應(yīng)用到其他相似場景時(shí),僅通過少量新場景數(shù)據(jù)加入訓(xùn)練,即可實(shí)現(xiàn)新場景快速復(fù)制部署。
如何理解大模型在具體煤礦里的“自學(xué)習(xí)”特性?煤礦場景非常多,異常場景無法窮舉,盤古大模型會(huì)大量學(xué)習(xí)正常樣本特征,在日常AI監(jiān)控過程中自動(dòng)識(shí)別異常樣本,發(fā)現(xiàn)并確認(rèn)異常場景。另外,構(gòu)建半自動(dòng)化機(jī)制,邊端識(shí)別誤報(bào)/未知異常樣本,人工進(jìn)行甄別后,樣本數(shù)據(jù)用于重新訓(xùn)練升級(jí)模型,持續(xù)迭代,越用越好。
盤古礦山大模型目前在全國8個(gè)礦井規(guī)模使用。另一個(gè)新消息是,山東能源正在與華為云基于盤古大模型聯(lián)合創(chuàng)新,覆蓋7大業(yè)務(wù)系統(tǒng),正在開發(fā)和實(shí)施首批21個(gè)應(yīng)用場景。
無論是科研還是生產(chǎn),大模型在千行百業(yè)中效率確定性和收益確定性正在被驗(yàn)證。
過去十幾年,上一代AI算法已經(jīng)在各行各業(yè)(通過大數(shù)據(jù)或充分的訓(xùn)練數(shù)據(jù))開啟生產(chǎn)力的變革,比如推薦算法和千人千面,工業(yè)領(lǐng)域的智能機(jī)械臂,交通領(lǐng)域的車輛自動(dòng)巡航。
該階段的大部分算法開展方向更多傾向于小模型,通過在某一特定領(lǐng)域的固定場景特定數(shù)據(jù),訓(xùn)練出以服務(wù)于指定場景操作的輔助模型,以提高在對(duì)應(yīng)場景下的生產(chǎn)效率。
將通用大模型訓(xùn)練的結(jié)果通過行業(yè)大模型的方式帶到產(chǎn)業(yè)的科研和生產(chǎn)流程中去,意味著發(fā)展了大半個(gè)世紀(jì)的人工智能領(lǐng)域步入了廣泛意義生產(chǎn)力提升的新時(shí)期。
做強(qiáng)算力底座
人工智能的發(fā)展,算力是基礎(chǔ)。但在中國當(dāng)前的情況下,算力在可獲取性和成本方面,都面臨著不小的挑戰(zhàn)。胡厚崑在發(fā)言中提到,華為在人工智能領(lǐng)域的另一個(gè)重要目標(biāo),是做強(qiáng)算力底座,讓算力不再成為人工智能發(fā)展的瓶頸。
中國信通院《中國算力白皮書(2022)》按照服務(wù)器算力總量估算(年服務(wù)器出貨規(guī)?!廉?dāng)年服務(wù)器平均算力)稱,全球算力規(guī)模美國占比34%,中國占比33%,歐洲占比14%,日本占比5%,其他國家或地區(qū)占比14%。
此外,硬件和軟件將仍然是人工智能市場上的主角,市場調(diào)研機(jī)構(gòu)IDC在今年5月公布的數(shù)據(jù)預(yù)測,2026年中國人工智能市場規(guī)模將達(dá)到269億美元,其中硬件148.5億美元,軟件76.9億美元,服務(wù)38.9億美元。硬件、軟件、服務(wù)的年復(fù)合增長率分別為15.1%、 32.0%、28.5%。
面對(duì)如此之大的市場,華為需要根據(jù)自身的基因和優(yōu)勢來綜合排布。
在算力能力的建設(shè)方面,華為的關(guān)鍵詞是“自研”和“開放”。在相對(duì)底層的計(jì)算效率研究方面,華為的打法是架構(gòu)創(chuàng)新。多年投資基礎(chǔ)研究,推出自主研發(fā)的達(dá)芬奇架構(gòu),用創(chuàng)新的處理器架構(gòu)來匹配算力的增速。
最新的消息是,華為在計(jì)算節(jié)點(diǎn)層面推出了對(duì)等平構(gòu)架構(gòu),突破傳統(tǒng)的以CPU為中心的異構(gòu)計(jì)算帶來的性能瓶頸,從而提升整個(gè)計(jì)算的帶寬、降低時(shí)延,節(jié)點(diǎn)性能得到30%的提升。
在算力至關(guān)重要的芯片處理器領(lǐng)域,華為也有自己的打法。2018年,基于自研的達(dá)芬奇架構(gòu),華為推出昇騰處理器,昇騰處理器和華為此前推出的鯤鵬處理器有所不同。在架構(gòu)上,鯤鵬芯片采用的是ARM架構(gòu),而昇騰芯片采用的是自研的達(dá)芬奇架構(gòu);鯤鵬芯片主要支持高性能計(jì)算和大數(shù)據(jù)處理,而昇騰芯片主要支持深度學(xué)習(xí)推理和訓(xùn)練。
另外,鯤鵬芯片的性價(jià)比較高,適合大規(guī)模部署,而昇騰芯片的性能更高,可以滿足更復(fù)雜的需求。
換句話說,昇騰處理器是對(duì)標(biāo)目前大模型部署中炙手可熱的英偉達(dá)A100的。兩家公司的官方理論數(shù)據(jù)顯示,理論值上,華為昇騰910芯片在理論性能和功耗上與英偉達(dá)主流的A100、H100可以基本相當(dāng),但在實(shí)際場景中,昇騰芯片相對(duì)稚嫩,還有不少可完善空間。
華為正在做的另一件事情是,圍繞昇騰芯片打造昇騰AI集群,結(jié)合華為的基因特點(diǎn),發(fā)揮云、計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、能源的綜合優(yōu)勢??梢岳斫鉃榘袮I數(shù)據(jù)中心當(dāng)成一臺(tái)超級(jí)計(jì)算機(jī)來設(shè)計(jì),使昇騰AI集群性能更高、更可靠。
華為目前在國內(nèi)建設(shè)的規(guī)模最大的AI計(jì)算集群在深圳鵬城云腦II期,目前算力是1000P的規(guī)模,按照規(guī)劃,到2024年三期的時(shí)候,規(guī)模會(huì)達(dá)到16000P的水平。
鵬城云腦II實(shí)現(xiàn)了全棧軟硬件的自主可控,蟬聯(lián)了多項(xiàng)全球AI性能榜單的冠軍。“鵬城云腦Ⅱ”搭載了4096顆華為昇騰AI芯片,每顆芯片的算力與英偉達(dá)的A100相當(dāng),整機(jī)算力達(dá)到每秒100億億次AI運(yùn)算,能為大模型訓(xùn)練提供強(qiáng)大的算力支持。目前,“鵬城云腦”約70%的機(jī)時(shí)對(duì)外開放服務(wù),已支撐近千個(gè)國產(chǎn)AI大模型的訓(xùn)練。
中國工程院院士高文是鵬城實(shí)驗(yàn)室主任。高文在7月6日的世界人工智能大會(huì)上提到,美國的算力指數(shù)排名全球第一,比中國大概多了20%-30%的算力,GDP也比中國多20%-30%,“什么時(shí)候我們的算力超過了美國,GDP也有望超過美國。所以發(fā)展人工智能和經(jīng)濟(jì)沒有匹配的算力是不可能的。”
在硬件方面,華為不直接對(duì)外銷售處理器,優(yōu)先支持合作伙伴發(fā)展整機(jī)。今年開始,華為在硬件方面進(jìn)一步開放,推出了更多樣化的模組和板卡,30多家硬件合作伙伴基于昇騰AI,推出了上百款人工智能硬件產(chǎn)品,以滿足不同行業(yè)場景差異化的需求。
因此,可以理解華為的昇騰AI集群創(chuàng)新邏輯是,在各單點(diǎn)創(chuàng)新的基礎(chǔ)上,充分發(fā)揮云、計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、能源的綜合優(yōu)勢進(jìn)行架構(gòu)創(chuàng)新。據(jù)了解,目前,昇騰AI集群已支撐全國25個(gè)城市的人工智能計(jì)算中心建設(shè),其中7個(gè)城市公共算力平臺(tái)入選首批國家“新一代人工智能公共算力開放創(chuàng)新平臺(tái)”。
7月6日,華為宣布昇騰AI集群全面升級(jí),集群規(guī)模從最初的4000卡集群擴(kuò)展至16000卡,是業(yè)界首個(gè)萬卡AI集群,擁有更快的訓(xùn)練速度和30天以上的穩(wěn)定訓(xùn)練周期,這是行業(yè)平均水平的10倍。
在中國,算力需求是多種多樣的,華為的策略是面向政府、大型企業(yè)、中小企業(yè)分別提供不同的算力解決方案。
在城市算力基礎(chǔ)設(shè)施方面,華為為各地政府打造人工智能計(jì)算中心,提供普惠的算力基礎(chǔ)設(shè)施服務(wù)。據(jù)統(tǒng)計(jì),全國已有25個(gè)城市,如上海、武漢、西安等,基于昇騰AI建設(shè)了人工智能計(jì)算中心。
另一方面,針對(duì)有自建人工智能算力中心訴求的大型企業(yè),華為的打法是幫助它們構(gòu)建獨(dú)立的算力中心。當(dāng)前,中國移動(dòng)、科大訊飛、南方電網(wǎng)等企業(yè)均在規(guī)劃和建設(shè)大規(guī)模的算力集群,華為是算力提供方之一。
中小企業(yè)對(duì)AI算力需求旺盛且分散。華為的策略是在華為云上提供AI算力服務(wù),這些中小企業(yè)就可以快速敏捷地實(shí)現(xiàn)開發(fā)和應(yīng)用AI,云上獲取,隨取隨用。
人工智能產(chǎn)業(yè)在中國走過十年道路,技術(shù)周期更迭,至今仍未形成模式化的穩(wěn)定格局。對(duì)于今天的華為來說,在人工智能領(lǐng)域,以大底盤的基礎(chǔ)布局來切入市場比單點(diǎn)應(yīng)用要更有效率得多,規(guī)模效應(yīng)有待后期釋放。始于2018年制裁,對(duì)華為整體布局打法的改變巨大,對(duì)中國人工智能產(chǎn)業(yè)的影響,或許比預(yù)期中的還要深遠(yuǎn)。
關(guān)鍵詞: