6月23日，國(guó)內(nèi)首個(gè)針對(duì)高考志愿填報(bào)場(chǎng)景的AI能力測(cè)評(píng)報(bào)告《高考志愿AI測(cè)評(píng)基準(zhǔn)》發(fā)布。該報(bào)告由友松實(shí)驗(yàn)室獨(dú)立完成，以千問(wèn)高考志愿填報(bào)Agent作為測(cè)評(píng)對(duì)象。結(jié)果顯示，千問(wèn)多項(xiàng)表現(xiàn)已達(dá)到人類志愿咨詢師水平，在穩(wěn)定性、精確性、結(jié)構(gòu)化表達(dá)與效率層面更具優(yōu)勢(shì)。

友松實(shí)驗(yàn)室是一個(gè)專注人工智能與教育決策研究的獨(dú)立研究團(tuán)隊(duì)，長(zhǎng)期關(guān)注大模型能力評(píng)估、教育場(chǎng)景中的 AI 應(yīng)用，以及學(xué)生升學(xué)選擇中的信息、認(rèn)知與決策問(wèn)題，研究成果被多所高校、科研機(jī)構(gòu)采用。此次發(fā)布的測(cè)評(píng)基準(zhǔn)，旨在為快速涌現(xiàn)的高考志愿AI產(chǎn)品建立一套公開(kāi)、可復(fù)現(xiàn)、可擴(kuò)展的評(píng)估框架，明確AI在當(dāng)前階段能夠承擔(dān)的任務(wù)邊界。

考慮到千問(wèn)高考Agent基于夸克8年高考服務(wù)數(shù)據(jù)與經(jīng)驗(yàn)構(gòu)建，在產(chǎn)品形態(tài)、數(shù)據(jù)積累和用戶覆蓋上具有行業(yè)代表性，報(bào)告將其列為首個(gè)測(cè)評(píng)對(duì)象。人類對(duì)照組則由53名志愿填報(bào)咨詢師組成，平均從業(yè)年限4.6年。

測(cè)評(píng)覆蓋高考志愿基本事實(shí)與規(guī)則、模擬志愿填報(bào)、開(kāi)放式咨詢和志愿推薦報(bào)告四個(gè)環(huán)節(jié)，對(duì)應(yīng)考生和家長(zhǎng)填報(bào)志愿時(shí)從查資料、看規(guī)則，到排方案、做決策的主要流程。

結(jié)果顯示，在44道客觀題中，千問(wèn)全部答對(duì)，準(zhǔn)確率為100%，人類咨詢師平均正確率為89.3%；在模擬志愿填報(bào)中，千問(wèn)方案包含6個(gè)可錄取志愿，未出現(xiàn)顯性偏好違背，并命中事后評(píng)估的最優(yōu)結(jié)果，人類咨詢師平均為5.3個(gè)可錄取志愿；在開(kāi)放式咨詢中，評(píng)審專家在100場(chǎng)匿名對(duì)比中，有58次更傾向選擇千問(wèn)版本，“可直接向?qū)W生和家長(zhǎng)展示的”可直接展示率為 56.0%，高于人類咨詢師回答的 33.0%，認(rèn)為其在專業(yè)路徑拆解、風(fēng)險(xiǎn)提示和表達(dá)清晰度上更為穩(wěn)定。

報(bào)告認(rèn)為，在測(cè)評(píng)設(shè)定的任務(wù)范圍內(nèi)，千問(wèn)的多項(xiàng)表現(xiàn)已達(dá)到資深人類咨詢師水平，尤其在穩(wěn)定性、精確性、結(jié)構(gòu)化表達(dá)與響應(yīng)效率方面呈現(xiàn)出優(yōu)勢(shì)。

但報(bào)告同時(shí)指出，人類咨詢師的價(jià)值同樣不可替代。尤其在收入預(yù)期、就業(yè)判斷等需要結(jié)合個(gè)體情況謹(jǐn)慎校準(zhǔn)的話題上，咨詢師更能給出貼近實(shí)際的建議；在親子協(xié)商、價(jià)值取舍等場(chǎng)景中，結(jié)構(gòu)完整的AI方案也無(wú)法替代人與人之間的溝通和判斷。

報(bào)告建議，AI更擅長(zhǎng)高效完成信息核驗(yàn)、資料整理和方案初篩，人類咨詢師則可更多聚焦家庭溝通、價(jià)值取舍和個(gè)性化判斷。二者形成互補(bǔ)，才能讓志愿填報(bào)既提高準(zhǔn)確性，也更貼近考生和家庭的實(shí)際需求。