7月24日,2024可信云大會(huì)召開期間,智算云服務(wù)論壇上,天翼云榮獲中國(guó)信通院頒發(fā)的“智算工程平臺(tái)能力要求標(biāo)準(zhǔn)參編證書”,代表了業(yè)界對(duì)天翼云在推動(dòng)行業(yè)標(biāo)準(zhǔn)制定中所作貢獻(xiàn)及成果的重要肯定,以及對(duì)天翼云技術(shù)創(chuàng)新水平的高度認(rèn)可。會(huì)上,天翼云科技有限公司智算產(chǎn)品線資深技術(shù)專家瞿龍發(fā)表演講,介紹了天翼云智算平臺(tái)加速大模型應(yīng)用方面的技術(shù)亮點(diǎn)與成功案例。
隨著人工智能技術(shù)的快速發(fā)展,智算成為推動(dòng)科技進(jìn)步和產(chǎn)業(yè)發(fā)展的重要力量。為了促進(jìn)智算技術(shù)的標(biāo)準(zhǔn)化、規(guī)范化發(fā)展,提升我國(guó)在全球智算領(lǐng)域的競(jìng)爭(zhēng)力,推動(dòng)云上軟件工程能力水平升級(jí),中國(guó)信通院聯(lián)合天翼云等產(chǎn)學(xué)研各界共同探討軟件工程和智算領(lǐng)域的前沿技術(shù)、發(fā)展趨勢(shì)和應(yīng)用場(chǎng)景,整合優(yōu)質(zhì)資源,凝聚產(chǎn)業(yè)共識(shí),搭建合作橋梁,推進(jìn)智算云服務(wù)高速高質(zhì)量發(fā)展。在智算工程平臺(tái)能力要求標(biāo)準(zhǔn)的制定中,天翼云智能邊緣事業(yè)部慧聚平臺(tái)團(tuán)隊(duì)與業(yè)界同仁緊密合作,深度參與了平臺(tái)能力要求的制定過程,共同探索智算前沿技術(shù),優(yōu)化智算平臺(tái)能力要求,推動(dòng)產(chǎn)業(yè)落地應(yīng)用,為行業(yè)的規(guī)范化發(fā)展貢獻(xiàn)了智慧與力量。
瞿龍表示,伴隨人工智能技術(shù)迅速發(fā)展,大模型層出不窮,模型的參數(shù)量呈幾何級(jí)增長(zhǎng),其所依賴的數(shù)據(jù)集規(guī)??涨褒嫶螅瑢?duì)算力基礎(chǔ)設(shè)施的性能、穩(wěn)定性、運(yùn)維管理、安全、成本等各方面提出了前所未有的挑戰(zhàn)。
作為云服務(wù)國(guó)家隊(duì),天翼云積極布局智算基礎(chǔ)設(shè)施建設(shè),全面升級(jí)產(chǎn)品及生態(tài)矩陣,打造了算力互聯(lián)調(diào)度平臺(tái)“息壤”、一體化計(jì)算加速平臺(tái)“云驍”和一站式智算服務(wù)平臺(tái)“慧聚”三大智算平臺(tái),以豐富的智算資源供給、強(qiáng)大的智算服務(wù)能力和開放的模型應(yīng)用生態(tài),實(shí)現(xiàn)智能算力普惠供應(yīng),為千行百業(yè)數(shù)智化轉(zhuǎn)型發(fā)展賦能。
大模型開發(fā)是涉及軟硬件平臺(tái)、算法、應(yīng)用的系統(tǒng)工程。天翼云一站式智算服務(wù)平臺(tái)“慧聚”能夠?yàn)榇竽P陀?xùn)練、推理、應(yīng)用提供全棧工具鏈,讓企業(yè)更專注模型升級(jí)和應(yīng)用落地。在技術(shù)上,“慧聚”平臺(tái)突破分布式存儲(chǔ)優(yōu)化、斷點(diǎn)續(xù)訓(xùn)、推理加速等核心技術(shù)點(diǎn),大幅提升模型系統(tǒng)效率。其中,分布式存儲(chǔ)優(yōu)化通過引入高速外部存儲(chǔ),優(yōu)化訓(xùn)練框架異步保存邏輯,顯著降低Checkpoint的保存總耗時(shí);“慧聚”平臺(tái)通過實(shí)現(xiàn)斷點(diǎn)續(xù)訓(xùn)等技術(shù)能力,實(shí)現(xiàn)訓(xùn)練任務(wù)長(zhǎng)期穩(wěn)定、高可用運(yùn)行;此外,“慧聚”從“系統(tǒng)-模型-數(shù)據(jù)”三個(gè)層面打造自研大規(guī)模在線推理解決方案,通過全鏈路數(shù)據(jù)感知、模型量化和算子加速、分布式推理框架,有效提升大模型總體推理服務(wù)吞吐量,并使首token時(shí)延明顯下降。
基于平臺(tái)的強(qiáng)大能力,“慧聚”已經(jīng)實(shí)現(xiàn)廣泛落地應(yīng)用,為人工智能模型開發(fā)者、模型提供者等提供堅(jiān)實(shí)助力。今年年初正式啟用的天翼云上海臨港國(guó)產(chǎn)萬卡算力池,通過承載“慧聚”平臺(tái),可針對(duì)大模型訓(xùn)練微調(diào)場(chǎng)景,提供訓(xùn)推一體化算力服務(wù),實(shí)現(xiàn)萬卡資源調(diào)度,全面賦能上海千行百業(yè)。同時(shí),“慧聚”還為中國(guó)電信千億參數(shù)星辰大模型提供支撐,助力解決星辰大模型訓(xùn)練和部署中面臨的復(fù)雜性和資源需求問題,加速模型落地與應(yīng)用。
人工智能大模型迅猛發(fā)展,算力基礎(chǔ)設(shè)施也需要不斷進(jìn)化。面向未來,天翼云將堅(jiān)持科技創(chuàng)新,深耕智算基礎(chǔ)設(shè)施建設(shè),持續(xù)優(yōu)化產(chǎn)品性能、提升服務(wù)質(zhì)量,并積極牽引云計(jì)算行業(yè)標(biāo)準(zhǔn)制定與生態(tài)建設(shè)工作,攜手業(yè)界伙伴共同推動(dòng)云計(jì)算技術(shù)的創(chuàng)新與發(fā)展。
關(guān)鍵詞:
抓捕現(xiàn)場(chǎng)堪比大片...
2023-09-09 14:04:17
福星股份負(fù)債率進(jìn)...
2023-09-09 11:57:41
8月中國(guó)PPI同比下降3.0%
2023-09-09 10:12:03