6月23日,國(guó)內(nèi)首個(gè)針對(duì)高考志愿填報(bào)場(chǎng)景的AI能力測(cè)評(píng)報(bào)告《高考志愿AI測(cè)評(píng)基準(zhǔn)》發(fā)布。該報(bào)告由友松實(shí)驗(yàn)室獨(dú)立完成,以千問(wèn)高考志愿填報(bào)Agent作為測(cè)評(píng)對(duì)象。結(jié)果顯示,千問(wèn)多項(xiàng)表現(xiàn)已達(dá)到人類志愿咨詢師水平,在穩(wěn)定性、精確性、結(jié)構(gòu)化表達(dá)與效率層面更具優(yōu)勢(shì)。
![]()
友松實(shí)驗(yàn)室是一個(gè)專注人工智能與教育決策研究的獨(dú)立研究團(tuán)隊(duì),長(zhǎng)期關(guān)注大模型能力評(píng)估、教育場(chǎng)景中的 AI 應(yīng)用,以及學(xué)生升學(xué)選擇中的信息、認(rèn)知與決策問(wèn)題,研究成果被多所高校、科研機(jī)構(gòu)采用。此次發(fā)布的測(cè)評(píng)基準(zhǔn),旨在為快速涌現(xiàn)的高考志愿AI產(chǎn)品建立一套公開(kāi)、可復(fù)現(xiàn)、可擴(kuò)展的評(píng)估框架,明確AI在當(dāng)前階段能夠承擔(dān)的任務(wù)邊界。
考慮到千問(wèn)高考Agent基于夸克8年高考服務(wù)數(shù)據(jù)與經(jīng)驗(yàn)構(gòu)建,在產(chǎn)品形態(tài)、數(shù)據(jù)積累和用戶覆蓋上具有行業(yè)代表性,報(bào)告將其列為首個(gè)測(cè)評(píng)對(duì)象。人類對(duì)照組則由53名志愿填報(bào)咨詢師組成,平均從業(yè)年限4.6年。
測(cè)評(píng)覆蓋高考志愿基本事實(shí)與規(guī)則、模擬志愿填報(bào)、開(kāi)放式咨詢和志愿推薦報(bào)告四個(gè)環(huán)節(jié),對(duì)應(yīng)考生和家長(zhǎng)填報(bào)志愿時(shí)從查資料、看規(guī)則,到排方案、做決策的主要流程。
結(jié)果顯示,在44道客觀題中,千問(wèn)全部答對(duì),準(zhǔn)確率為100%,人類咨詢師平均正確率為89.3%;在模擬志愿填報(bào)中,千問(wèn)方案包含6個(gè)可錄取志愿,未出現(xiàn)顯性偏好違背,并命中事后評(píng)估的最優(yōu)結(jié)果,人類咨詢師平均為5.3個(gè)可錄取志愿;在開(kāi)放式咨詢中,評(píng)審專家在100場(chǎng)匿名對(duì)比中,有58次更傾向選擇千問(wèn)版本,“可直接向?qū)W生和家長(zhǎng)展示的”可直接展示率為 56.0%,高于人類咨詢師回答的 33.0%,認(rèn)為其在專業(yè)路徑拆解、風(fēng)險(xiǎn)提示和表達(dá)清晰度上更為穩(wěn)定。
報(bào)告認(rèn)為,在測(cè)評(píng)設(shè)定的任務(wù)范圍內(nèi),千問(wèn)的多項(xiàng)表現(xiàn)已達(dá)到資深人類咨詢師水平,尤其在穩(wěn)定性、精確性、結(jié)構(gòu)化表達(dá)與響應(yīng)效率方面呈現(xiàn)出優(yōu)勢(shì)。
但報(bào)告同時(shí)指出,人類咨詢師的價(jià)值同樣不可替代。尤其在收入預(yù)期、就業(yè)判斷等需要結(jié)合個(gè)體情況謹(jǐn)慎校準(zhǔn)的話題上,咨詢師更能給出貼近實(shí)際的建議;在親子協(xié)商、價(jià)值取舍等場(chǎng)景中,結(jié)構(gòu)完整的AI方案也無(wú)法替代人與人之間的溝通和判斷。
報(bào)告建議,AI更擅長(zhǎng)高效完成信息核驗(yàn)、資料整理和方案初篩,人類咨詢師則可更多聚焦家庭溝通、價(jià)值取舍和個(gè)性化判斷。二者形成互補(bǔ),才能讓志愿填報(bào)既提高準(zhǔn)確性,也更貼近考生和家庭的實(shí)際需求。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.