通用認知智能大模型有了能力評測體系 包含7大能力維度、481個細分任務類型
◎本報記者 吳長鋒
通用認知智能大模型評測體系根據(jù)底層認知智能能力的智能涌現(xiàn)對通用認知智能大模型的能力進行分析,從而制定通用認知智能大模型的評測標準與評測方法,更科學地衡量通用認知智能大模型各個方面的能力和水平。
王士進 認知智能全國重點實驗室副主任
6月3日,以“AI大模型時代的長三角數(shù)字化之路”為主題的長三角企業(yè)家聯(lián)盟產(chǎn)業(yè)數(shù)字化峰會在安徽合肥舉行。會上,認知智能全國重點實驗室、中國科學院人工智能產(chǎn)學研創(chuàng)新聯(lián)盟和長三角人工智能產(chǎn)業(yè)鏈聯(lián)盟共同發(fā)布了通用認知智能大模型評測體系,旨在形成一套覆蓋多任務的大模型能力客觀評測體系,引導中國認知智能大模型技術(shù)和產(chǎn)業(yè)健康發(fā)展。
認知智能大模型或迎爆發(fā)式增長
伴隨著人工智能技術(shù)的進步,認知智能大模型或成為實現(xiàn)通用人工智能的“曙光”。
未來幾年,隨著業(yè)界長期系統(tǒng)性推進人工智能的技術(shù)研發(fā),認知智能大模型或?qū)⒂瓉肀l(fā)式增長,傳統(tǒng)的內(nèi)容生產(chǎn)及傳播方式或被改寫,人機協(xié)作將進一步改變?nèi)藗兊纳a(chǎn)生活方式,甚至將改寫現(xiàn)有的產(chǎn)業(yè)生態(tài)格局——一些傳統(tǒng)產(chǎn)業(yè)將“被迫”進行轉(zhuǎn)型升級,認知智能技術(shù)將創(chuàng)造出新的職業(yè)、崗位,為整個信息產(chǎn)業(yè)和數(shù)字經(jīng)濟帶來新的發(fā)展契機。
5月6日,科大訊飛股份有限公司(以下簡稱科大訊飛)正式發(fā)布訊飛星火認知大模型。僅一個月后,科大訊飛宣布,星火認知大模型“牽手”工業(yè)互聯(lián)網(wǎng)平臺,實現(xiàn)在“產(chǎn)、供、銷、服、管”等各流程的知識學習與人工智能賦能,有效助力企業(yè)降本增效。
從各大互聯(lián)網(wǎng)企業(yè)的發(fā)展路徑可以看出,工業(yè)互聯(lián)網(wǎng)建設(shè)和企業(yè)數(shù)字化轉(zhuǎn)型等或是實現(xiàn)認知智能大模型規(guī)?;涞貞玫闹匾腥肟凇?/p>
然而,如何提前研判認知智能大模型給各行各業(yè)帶來的顛覆性改變和創(chuàng)新性發(fā)展機遇,使得企業(yè)能夠及時且有針對性地作出相應的調(diào)整?這就需要一套科學、系統(tǒng)的客觀評測體系,既可以綜合判斷現(xiàn)階段的技術(shù)進展,還能夠明確認知智能大模型多維度的發(fā)展路徑。認知智能大模型領(lǐng)域“百花齊放”,效果度量和評價成為重點,覆蓋多維度、多任務的客觀評測成為驗證認知智能大模型能力的重要手段。
科學研判通用認知智能大模型
針對現(xiàn)實需求,認知智能全國重點實驗室牽頭設(shè)計,與中國科學院人工智能產(chǎn)學研創(chuàng)新聯(lián)盟、長三角人工智能產(chǎn)業(yè)鏈聯(lián)盟一起,從產(chǎn)學研源頭技術(shù)創(chuàng)新和產(chǎn)業(yè)鏈應用落地兩方面出發(fā),組織多輪評測標準研討會議,邀請中國科學院科技戰(zhàn)略咨詢研究院、中科寒武紀科技股份有限公司、科大訊飛等產(chǎn)學研各界代表探討交流,共同形成了通用認知智能大模型評測體系。
“評測體系根據(jù)底層認知智能能力的智能涌現(xiàn)對通用認知智能大模型的能力進行分析,從而制定通用認知智能大模型的評測標準與評測方法,更科學地衡量通用認知智能大模型各個方面的能力和水平。”認知智能全國重點實驗室副主任王士進介紹說。
王士進表示,本次發(fā)布的評測體系覆蓋內(nèi)容生成、語言理解、知識問答、邏輯推理、數(shù)學能力、編程能力、多模態(tài)7大能力維度,共計481個細分任務類型,力求為大模型的研究、行業(yè)標準的制定提供參考和借鑒。
他表示,未來評測體系將致力于讓認知智能大模型技術(shù)真正解決社會剛需,助力長三角打造具有全球影響力的通用人工智能科技創(chuàng)新策源地和新興產(chǎn)業(yè)聚集地。“圍繞推動通用人工智能評測體系共建,下一步,認知智能全國重點實驗室希望與長三角企業(yè)家聯(lián)盟單位基于通用評測體系持續(xù)合作優(yōu)化,共同推動行業(yè)評測方案落地,促進技術(shù)和產(chǎn)業(yè)健康發(fā)展?!蓖跏窟M說。
版權(quán)聲明:凡注明“來源:中國西藏網(wǎng)”或“中國西藏網(wǎng)文”的所有作品,版權(quán)歸高原(北京)文化傳播有限公司。任何媒體轉(zhuǎn)載、摘編、引用,須注明來源中國西藏網(wǎng)和署著作者名,否則將追究相關(guān)法律責任。