來(lái)源 | 法治周末報(bào)、法學(xué)學(xué)術(shù)前沿

人工智能法治研究的十大議題（2026）

2026年是人工智能技術(shù)深度迭代、應(yīng)用場(chǎng)景全面拓展的關(guān)鍵之年，也是人工智能法治體系加快完善、理論研究縱深推進(jìn)的攻堅(jiān)之年。為緊扣國(guó)家人工智能發(fā)展戰(zhàn)略與法治建設(shè)需求，錨定學(xué)術(shù)研究與實(shí)務(wù)痛點(diǎn)，破解AI治理中的前沿法律難題，3月19日，在“探尋人工智能法治研究的真問(wèn)題（第二季）”研討會(huì)上，《2026年人工智能法治研究十大議題》正式發(fā)布。

自“探尋人工智能法治研究的真問(wèn)題（第一季）”發(fā)布以來(lái)，AI善治學(xué)術(shù)工作組聚焦該研究倡議，廣泛開(kāi)展學(xué)術(shù)探討，組織系列碩博士論文研習(xí)，持續(xù)輸出研究成果，發(fā)布年度研究觀察。在上述體系化科研成果學(xué)術(shù)閉環(huán)的基礎(chǔ)上，2026年AI善治學(xué)術(shù)工作組再次邀請(qǐng)長(zhǎng)期活躍在人工智能法治研究與產(chǎn)業(yè)實(shí)踐一線的多位專家學(xué)者，共同研究提出《人工智能法治研究十大議題（2026）》。相較于原則性、框架性、學(xué)理性討論，2026年度議題更加注重問(wèn)題導(dǎo)向與現(xiàn)實(shí)針對(duì)性，緊密圍繞人工智能技術(shù)產(chǎn)業(yè)最新發(fā)展而設(shè)置，全面聚焦人工智能法治領(lǐng)域核心命題、前沿難點(diǎn)與實(shí)踐堵點(diǎn)，為學(xué)界研究、實(shí)務(wù)探索與制度完善指明方向，凝聚人工智能法治建設(shè)的學(xué)術(shù)共識(shí)與實(shí)踐合力。

一、智能體的行為邊界、授權(quán)機(jī)制與競(jìng)爭(zhēng)治理

當(dāng)前智能體技術(shù)快速落地應(yīng)用，自主決策、交互執(zhí)行能力持續(xù)升級(jí)，隨之引發(fā)的行為邊界模糊、授權(quán)機(jī)制缺失、市場(chǎng)競(jìng)爭(zhēng)失序等問(wèn)題日益凸顯。智能體在多大程度上可以被視為中立技術(shù)工具，其行為邊界的設(shè)定、用戶授權(quán)與系統(tǒng)控制之間的責(zé)任配置，以及在智能體跨平臺(tái)、跨系統(tǒng)運(yùn)行的背景下，現(xiàn)有競(jìng)爭(zhēng)規(guī)則與監(jiān)管框架如何應(yīng)對(duì)新型市場(chǎng)秩序問(wèn)題。此外，在智能體廣泛參與代理買賣活動(dòng)中，如何認(rèn)定其法律效力，如何防范其法律風(fēng)險(xiǎn)，都亟需法律作出調(diào)整與回應(yīng)。

二、人工智能擬人化互動(dòng)的法律風(fēng)險(xiǎn)及回應(yīng)

隨著AI擬人化交互技術(shù)普及，虛擬陪伴、智能客服、擬人化營(yíng)銷等場(chǎng)景不斷拓展，由此引發(fā)的人格權(quán)侵權(quán)、情感欺詐、隱私泄露、虛假承諾等法律風(fēng)險(xiǎn)持續(xù)顯現(xiàn)。現(xiàn)行法律應(yīng)當(dāng)如何建立規(guī)制框架，以防范具有現(xiàn)實(shí)危害可能性的風(fēng)險(xiǎn)；如何明確產(chǎn)品設(shè)計(jì)義務(wù)、風(fēng)險(xiǎn)提示義務(wù)或更高層級(jí)的合規(guī)要求；以及如何調(diào)整圍繞明確可預(yù)見(jiàn)損害和侵權(quán)行為建立的侵權(quán)責(zé)任制度，并建立有效的救濟(jì)制度體系，是本議題關(guān)注的核心內(nèi)容。

三、生成式人工智能幻覺(jué)致?lián)p風(fēng)險(xiǎn)防范與責(zé)任承擔(dān)

當(dāng)前，人工智能幻覺(jué)問(wèn)題的主要法律問(wèn)題，已經(jīng)從生成內(nèi)容本身是否為違法不良信息，轉(zhuǎn)向錯(cuò)誤信息在被用戶采信后所引發(fā)的人身、財(cái)產(chǎn)或其他損害，由信息虛假、事實(shí)錯(cuò)誤、內(nèi)容失真引發(fā)的侵權(quán)、誤導(dǎo)決策、經(jīng)濟(jì)損失等糾紛頻發(fā)；算法輔助或代替決策行為致?lián)p也時(shí)有發(fā)生，現(xiàn)有責(zé)任認(rèn)定規(guī)則難以適配。如何防范上述損害風(fēng)險(xiǎn)，發(fā)生損害應(yīng)如何歸責(zé)，是值得深入研究和探討的問(wèn)題。

四、人工智能時(shí)代個(gè)人信息保護(hù)制度的結(jié)構(gòu)性沖突與制度調(diào)適

人工智能技術(shù)研發(fā)高度依賴海量個(gè)人數(shù)據(jù)支撐，與現(xiàn)行個(gè)人信息保護(hù)制度存在數(shù)據(jù)利用需求與權(quán)益保護(hù)、數(shù)據(jù)流通與安全管控等結(jié)構(gòu)性沖突。該議題聚焦AI場(chǎng)景下個(gè)人信息收集、使用、加工、流轉(zhuǎn)流程與個(gè)人信息保護(hù)制度的結(jié)構(gòu)性矛盾，聚焦知情同意規(guī)則優(yōu)化、敏感個(gè)人信息特殊保護(hù)、數(shù)據(jù)利用合規(guī)邊界、制度動(dòng)態(tài)調(diào)適路徑等核心內(nèi)容，推動(dòng)個(gè)人信息保護(hù)制度與人工智能發(fā)展需求精準(zhǔn)適配，實(shí)現(xiàn)數(shù)據(jù)價(jià)值釋放與權(quán)益保護(hù)雙向共贏。

五、人機(jī)協(xié)同場(chǎng)景下知識(shí)產(chǎn)權(quán)等權(quán)屬與利益分配規(guī)則

人機(jī)協(xié)同創(chuàng)作、研發(fā)、生產(chǎn)等場(chǎng)景日益廣泛，AI生成內(nèi)容、協(xié)同創(chuàng)新成果的知識(shí)產(chǎn)權(quán)歸屬、利益分配、侵權(quán)認(rèn)定等問(wèn)題，成為知識(shí)產(chǎn)權(quán)領(lǐng)域的前沿難點(diǎn)。該議題聚焦人機(jī)協(xié)同場(chǎng)景下成果屬性界定、權(quán)利歸屬劃分、利益共享機(jī)制構(gòu)建，致力于探索適配人機(jī)協(xié)同模式的新型規(guī)則體系，劃定清晰權(quán)屬、制定利益分配規(guī)則，在兼顧創(chuàng)作者、AI研發(fā)方、平臺(tái)方等多方主體合法權(quán)益的同時(shí)，激發(fā)創(chuàng)新活力與產(chǎn)業(yè)發(fā)展。

六、前沿人工智能安全保障與極端風(fēng)險(xiǎn)防控的法治進(jìn)路

隨著人工智能系統(tǒng)在模型規(guī)模、自治水平與社會(huì)嵌入深度達(dá)到前所未有的高度，可能引發(fā)的風(fēng)險(xiǎn)呈現(xiàn)出由局部性、可控風(fēng)險(xiǎn)向系統(tǒng)性、極端性風(fēng)險(xiǎn)擴(kuò)展的趨勢(shì)，算法安全、數(shù)據(jù)安全、系統(tǒng)安全及技術(shù)濫用、失控等極端風(fēng)險(xiǎn)不容忽視。應(yīng)立足AI安全治理全局，聚焦前沿技術(shù)安全標(biāo)準(zhǔn)、風(fēng)險(xiǎn)預(yù)警機(jī)制、應(yīng)急處置流程、極端風(fēng)險(xiǎn)追責(zé)、全生命周期安全監(jiān)管等，探索法治化防控路徑，補(bǔ)齊AI安全治理制度短板，筑牢人工智能發(fā)展的安全底線，防范化解重大技術(shù)與社會(huì)風(fēng)險(xiǎn)。

七、人工智能產(chǎn)業(yè)政策的法治調(diào)控

當(dāng)前，公共機(jī)構(gòu)持有的數(shù)據(jù)資源、基礎(chǔ)設(shè)施建設(shè)能力以及合規(guī)治理工具，正在成為支撐大模型訓(xùn)練、應(yīng)用落地與風(fēng)險(xiǎn)防控的重要制度要素。本議題聚焦公共機(jī)構(gòu)持有數(shù)據(jù)用于大模型訓(xùn)練的規(guī)則及機(jī)制，以及人工智能公共基礎(chǔ)設(shè)施及社會(huì)生態(tài)建設(shè)，推動(dòng)產(chǎn)業(yè)政策從行政引導(dǎo)邁向法治調(diào)控，保障人工智能產(chǎn)業(yè)在法治軌道上高質(zhì)量發(fā)展。

八、人工智能企業(yè)出海的法律問(wèn)題

隨著國(guó)際化布局加快，我國(guó)人工智能企業(yè)產(chǎn)生依賴海外市場(chǎng)的現(xiàn)象，可能會(huì)產(chǎn)生人工智能主權(quán)沖突等一系列問(wèn)題。同時(shí)，企業(yè)出海也面臨海外市場(chǎng)準(zhǔn)入、數(shù)據(jù)跨境合規(guī)、地緣法律風(fēng)險(xiǎn)等問(wèn)題成為出海核心阻礙。本議題梳理全球主要市場(chǎng)AI監(jiān)管規(guī)則差異，研究數(shù)據(jù)跨境合規(guī)路徑、跨境糾紛解決機(jī)制、海外合規(guī)風(fēng)控體系構(gòu)建，為AI企業(yè)合規(guī)出海、參與國(guó)際競(jìng)爭(zhēng)提供法治指引，助力我國(guó)AI產(chǎn)業(yè)國(guó)際化發(fā)展。

九、人工智能技術(shù)標(biāo)準(zhǔn)、倫理準(zhǔn)則與法律規(guī)則的體系協(xié)調(diào)

當(dāng)前人工智能領(lǐng)域技術(shù)標(biāo)準(zhǔn)、倫理準(zhǔn)則、法律規(guī)則三者存在銜接不暢、邊界模糊、效力沖突等問(wèn)題，難以形成協(xié)同治理合力。上述三類規(guī)則亟需厘清規(guī)則定位、建立銜接機(jī)制，推動(dòng)技術(shù)標(biāo)準(zhǔn)落地法治化、倫理準(zhǔn)則轉(zhuǎn)化制度化；要構(gòu)建“標(biāo)準(zhǔn)+倫理+法律”三位一體的協(xié)同治理體系，實(shí)現(xiàn)剛性法律約束、柔性倫理引導(dǎo)、技術(shù)標(biāo)準(zhǔn)規(guī)范的有機(jī)統(tǒng)一，提升AI治理整體效能。

十、人工智能法律治理的新型工具

人工智能時(shí)代，傳統(tǒng)法律治理手段已難以適配當(dāng)前技術(shù)的迭代速度與復(fù)雜特性，研發(fā)數(shù)字化、智能化、專業(yè)化的法律治理新型工具成為必然趨勢(shì)。本議題關(guān)注AI治理合規(guī)檢測(cè)工具、風(fēng)險(xiǎn)預(yù)警工具、糾紛調(diào)處工具、證據(jù)固定工具、監(jiān)管科技工具等研發(fā)與應(yīng)用，探索新型治理工具的法律定位、適用邊界、效力認(rèn)定與推廣路徑，推動(dòng)人工智能法律治理從傳統(tǒng)模式向數(shù)字化、智能化轉(zhuǎn)型，提升AI治理的精準(zhǔn)性、高效性與時(shí)效性，為人工智能法治建設(shè)提供技術(shù)支撐與工具保障。

本次十大議題的發(fā)布，緊扣國(guó)家人工智能發(fā)展戰(zhàn)略與法治建設(shè)全局需求，全部源自行業(yè)實(shí)務(wù)痛點(diǎn)與學(xué)術(shù)研究前沿，兼具理論深度與實(shí)踐價(jià)值，打破了高校、科研院所、行業(yè)機(jī)構(gòu)之間的研究壁壘，形成了跨地域、跨學(xué)科、跨領(lǐng)域的協(xié)同研究格局。后續(xù)，各主辦單位將圍繞十大議題開(kāi)展系列深度研究、學(xué)術(shù)研討與實(shí)務(wù)調(diào)研，持續(xù)推動(dòng)人工智能法治理論創(chuàng)新、制度完善與實(shí)踐落地，為我國(guó)人工智能治理現(xiàn)代化、法治體系完善貢獻(xiàn)堅(jiān)實(shí)力量。

AI在給人類帶來(lái)巨大紅利的同時(shí)，也向數(shù)據(jù)安全、算法權(quán)責(zé)、法律適用等法治領(lǐng)域提出挑戰(zhàn)。在這種背景下，3月19日，“探尋人工智能法治研究的真問(wèn)題（第二季）”研討會(huì)順利舉辦，會(huì)議同步發(fā)布了《人工智能法治研究十大議題（2026）》。

中國(guó)政法大學(xué)法學(xué)院教授舒國(guó)瀅在研討會(huì)上表示，新修訂的網(wǎng)絡(luò)安全法已增設(shè)了AI專項(xiàng)條款，從國(guó)家層面上確立了發(fā)展和安全并重、創(chuàng)新與規(guī)范協(xié)同的總基調(diào)。

此次發(fā)布的十大議題均是當(dāng)前AI領(lǐng)域發(fā)展的最前沿、最迫切、最具有爭(zhēng)議的法律難題。

“法治是人工智能健康發(fā)展的底線、邊界和保障。目前面臨日新月異的技術(shù)變革，我們需要以法治明確三大方向：

第一，要以法治來(lái)定分止?fàn)帲迩彘_(kāi)發(fā)者、運(yùn)營(yíng)者、使用者、監(jiān)管方的權(quán)利和責(zé)任，讓行為有規(guī)可依、責(zé)任可追；第二，要以法治防控風(fēng)險(xiǎn)，防范技術(shù)濫用、算法歧視和深度偽造帶來(lái)的社會(huì)風(fēng)險(xiǎn)；第三，要以法治護(hù)航創(chuàng)新，堅(jiān)持發(fā)展與安全并重，為技術(shù)突破與產(chǎn)業(yè)升級(jí)提供穩(wěn)定可預(yù)期的制度環(huán)境。”舒國(guó)瀅說(shuō)。

中國(guó)政法大學(xué)人工智能法研究院院長(zhǎng)張凌寒表示，建議業(yè)界、學(xué)界以人工智能十大議題為抓手，努力產(chǎn)出真正立足實(shí)踐、引領(lǐng)未來(lái)的富有價(jià)值的法治研究成果，既為我國(guó)人工智能善治提供理論支撐，也為全球人工智能治理貢獻(xiàn)中國(guó)方案、中國(guó)智慧。

《法治周末》記者了解到，《人工智能法治研究十大議題（2026）》包括：智能體的行為邊界、授權(quán)機(jī)制與競(jìng)爭(zhēng)治理；人工智能擬人化互動(dòng)的法律風(fēng)險(xiǎn)及回應(yīng)；生成式人工智能幻覺(jué)致?lián)p風(fēng)險(xiǎn)防范與責(zé)任承擔(dān)；人工智能時(shí)代個(gè)人信息保護(hù)制度的結(jié)構(gòu)性沖突與制度調(diào)適；人機(jī)協(xié)同場(chǎng)景下知識(shí)產(chǎn)權(quán)等權(quán)屬與利益分配規(guī)則；前沿人工智能安全保障與極端風(fēng)險(xiǎn)防控的法治進(jìn)路；人工智能產(chǎn)業(yè)政策的法治調(diào)控；人工智能企業(yè)出海的法律問(wèn)題；人工智能技術(shù)標(biāo)準(zhǔn)、倫理準(zhǔn)則與法律規(guī)則的體系協(xié)調(diào)；人工智能法律治理的新型工具。

相關(guān)專家學(xué)者在發(fā)布議題的同時(shí)，也深度解讀了議題的核心內(nèi)涵、研究?jī)r(jià)值與破題方向。

據(jù)悉，本次研討會(huì)由中國(guó)政法大學(xué)人工智能法研究院、西南政法大學(xué)科技法學(xué)研究院、華東政法大學(xué)數(shù)字法治研究院、中南財(cái)經(jīng)政法大學(xué)知識(shí)產(chǎn)權(quán)研究中心、西北政法大學(xué)人工智能法治研究中心、中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟政策法規(guī)工作組、工業(yè)和信息化智慧法治工信部重點(diǎn)實(shí)驗(yàn)室、AI善治學(xué)術(shù)工作組聯(lián)合主辦。

記者梳理了十大議題中的部分內(nèi)容，與讀者共享。

文｜《法治周末》記者 肖莎

責(zé)任編輯｜戴蕾蕾

視覺(jué)編輯 | 王雪

PART.01

智能體的行為邊界、授權(quán)機(jī)制與競(jìng)爭(zhēng)治理

對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)教授許可透露，把智能體的行為邊界、授權(quán)機(jī)制和競(jìng)爭(zhēng)治理作為第一個(gè)議題，因?yàn)楹彤?dāng)前非常熱門的“養(yǎng)龍蝦”有關(guān)聯(lián)。

“OpenCLaw這么一個(gè)小小的放在我們電腦上的智能體，目前已經(jīng)成為全民熱炒的一個(gè)話題。通過(guò)這么一個(gè)小小的agent我們可以做各種各樣的事情，幫我們發(fā)消息、做決策、談合作、做風(fēng)控。用戶對(duì)于agent授權(quán)的邊界在哪？agent作為一個(gè)代理人，它的行為的邊界又在哪？當(dāng)它去訪問(wèn)第三方的網(wǎng)站、第三方的App的時(shí)候，如果出現(xiàn)了一些錯(cuò)誤的行為，那所有的責(zé)任都是由用戶來(lái)去承擔(dān)嗎？agent是不是我們所說(shuō)的完全的用戶的代理人？對(duì)于這些問(wèn)題，可能在實(shí)踐中有大量的需要去討論的地方。”許可表示，行為邊界問(wèn)題、授權(quán)機(jī)制問(wèn)題，人工智能體的市場(chǎng)競(jìng)爭(zhēng)規(guī)則與合作生態(tài)建設(shè)問(wèn)題也是無(wú)法繞開(kāi)的根本性的大問(wèn)題。

浙江大學(xué)數(shù)字法治研究院研究員李汶龍也談到，OpenCLaw這種智能體的出現(xiàn)，打破了現(xiàn)在的競(jìng)爭(zhēng)生態(tài)。此前很多的應(yīng)用自成體系，在某種程度上導(dǎo)致數(shù)據(jù)不流通。智能體的出現(xiàn)，其實(shí)把這樣的一個(gè)圈子打破了。這一事實(shí)遠(yuǎn)遠(yuǎn)超出我們的預(yù)期，甚至超出整個(gè)行業(yè)的預(yù)期。在這個(gè)意義上，我們也有很多的議題需要去攻堅(jiān)，以確保在新生態(tài)構(gòu)建的過(guò)程中，產(chǎn)業(yè)能夠公平有序地發(fā)展。

PART.02

人工智能擬人化互動(dòng)的法律風(fēng)險(xiǎn)及回應(yīng)

“人工智能擬人化互動(dòng)的法律風(fēng)險(xiǎn)及回應(yīng)”是此次活動(dòng)發(fā)布的第二項(xiàng)議題。

中國(guó)人民公安大學(xué)法學(xué)院教授蘇宇在發(fā)布該項(xiàng)議題時(shí)說(shuō)，人工智能不僅是提高生產(chǎn)效率的功能性工具，也在交互界面、語(yǔ)言表達(dá)和長(zhǎng)期記憶等機(jī)制上實(shí)現(xiàn)了深度的擬人化互動(dòng)，目的是為了提高用戶體驗(yàn)，增強(qiáng)產(chǎn)品粘性，但這背后可能引發(fā)過(guò)度信賴、情感依賴、操縱、欺詐乃至關(guān)系替代等新型風(fēng)險(xiǎn)。有些風(fēng)險(xiǎn)具有隱蔽性、漸進(jìn)性和難以量化的特征，而且實(shí)踐中已經(jīng)出現(xiàn)了一些相關(guān)案例，比如用戶聽(tīng)從智能助手的建議，給陌生賬戶轉(zhuǎn)賬被騙，AI誘導(dǎo)青少年自殺的事件在全世界范圍內(nèi)也已發(fā)生。

“這些現(xiàn)象正是我們法律規(guī)制面臨的嶄新挑戰(zhàn)。在傳統(tǒng)的AI風(fēng)險(xiǎn)治理框架中，我們的目光大多聚焦在算法歧視、自動(dòng)化決策的不透明或者數(shù)據(jù)權(quán)益的侵害上。然而，擬人化互動(dòng)帶來(lái)的風(fēng)險(xiǎn)更為隱蔽，它作用于個(gè)體的認(rèn)知防線與心理層面，可能導(dǎo)致用戶形成深度沉迷與過(guò)度依賴。”中國(guó)信息通信研究院政策與經(jīng)濟(jì)研究所主任工程師程瑩補(bǔ)充說(shuō)。

蘇宇表示，將沉迷、過(guò)度依賴等問(wèn)題，轉(zhuǎn)化為法律可討論的風(fēng)險(xiǎn)類型，是構(gòu)建法律回應(yīng)機(jī)制的前提。除此以外，當(dāng)前我們對(duì)生成式人工智能的主要監(jiān)管工具包括算法備案、算法透明、強(qiáng)制標(biāo)識(shí)輸出、結(jié)果審查等，這些監(jiān)管工具能否實(shí)現(xiàn)對(duì)擬人化互動(dòng)服務(wù)的有效監(jiān)管？如何規(guī)范人工智能的擬人化互動(dòng)？如何更新監(jiān)管工具箱，應(yīng)對(duì)新型風(fēng)險(xiǎn)？如何針對(duì)特殊群體，構(gòu)建特殊的規(guī)制機(jī)制？既保護(hù)用戶權(quán)益，又不阻礙技術(shù)創(chuàng)新？擬人化智能體的互動(dòng)邊界，應(yīng)該劃在哪里？有哪些不可忽視的倫理問(wèn)題，其中哪些又必須在法律層面加以解決？

在程瑩看來(lái)，還有很多更具體的問(wèn)題值得探討：如何及時(shí)發(fā)現(xiàn)和防范用戶可能面臨或制造的重大風(fēng)險(xiǎn)？如何有效防止人工智能模擬排他性的情感關(guān)系，實(shí)施情感操縱？尤其是在面向未成年人、老年人等特殊群體提供服務(wù)的場(chǎng)景中，擬人化互動(dòng)存在哪些特殊風(fēng)險(xiǎn)？

“法律需要通過(guò)建立強(qiáng)制性的風(fēng)險(xiǎn)提示、動(dòng)態(tài)的交互干預(yù)機(jī)制，或者制定更具針對(duì)性的產(chǎn)品設(shè)計(jì)準(zhǔn)則，來(lái)化解擬人化互動(dòng)中的風(fēng)險(xiǎn)問(wèn)題。此外，我們還要調(diào)整圍繞明確的可預(yù)見(jiàn)損害和侵權(quán)行為建立的侵權(quán)責(zé)任制度，并建立有效的救濟(jì)制度體系。”程瑩認(rèn)為，智能有溫，服務(wù)有度，期待通過(guò)討論，以法治的確定性，為人工智能的溫情脈脈劃定理性的邊界。

PART.03

生成式人工智能幻覺(jué)致?lián)p風(fēng)險(xiǎn)防范與責(zé)任承擔(dān)問(wèn)題

西北政法大學(xué)人工智能法治研究中心教授楊建軍在研討會(huì)上表示，隨著生成式人工智能技術(shù)迭代升級(jí)，尤其是智能體信息工作流逐步成熟，用戶對(duì)AI輸出內(nèi)容的依賴度呈現(xiàn)爆發(fā)式增長(zhǎng)。與之對(duì)應(yīng)的，是普通用戶自主審查核驗(yàn)生成內(nèi)容真實(shí)性與準(zhǔn)確性的能力持續(xù)弱化。這一現(xiàn)實(shí)轉(zhuǎn)變，直接讓人工智能幻覺(jué)致?lián)p的法律核心矛盾發(fā)生了根本遷移。

“我們過(guò)去關(guān)注的是生成內(nèi)容本身是否違法，是否屬于不良信息。而當(dāng)下更需要直面的是用戶基于合理信任采信錯(cuò)誤內(nèi)容后引發(fā)的人身?yè)p害、財(cái)產(chǎn)損失乃至各類衍生風(fēng)險(xiǎn)。”楊建軍認(rèn)為，這也讓“合理信賴標(biāo)準(zhǔn)”的界定，成為當(dāng)前法律適用和風(fēng)險(xiǎn)防范的核心問(wèn)題。當(dāng)AI的專業(yè)性不斷逼近甚至超越普通用戶的認(rèn)知時(shí)，法律層面的合理性究竟該如何界定？用戶到底能否對(duì)AI生成內(nèi)容形成合法的合理信賴？又在哪些前提下，信賴才能被認(rèn)定為合理？這是我們破解后續(xù)責(zé)任認(rèn)定難題的邏輯起點(diǎn)。

楊建軍強(qiáng)調(diào)，更關(guān)鍵的是，醫(yī)療診斷、法律研判、金融投資等高風(fēng)險(xiǎn)決策場(chǎng)景和普通日常應(yīng)用場(chǎng)景的風(fēng)險(xiǎn)等級(jí)天差地別。這些場(chǎng)景下，用戶對(duì)AI輸出的專業(yè)可信度要求極高，合理性的標(biāo)準(zhǔn)顯然不能一刀切，必須做出差異化的適配。與此同時(shí)，實(shí)踐中大量AI服務(wù)提供者都會(huì)通過(guò)免責(zé)聲明或風(fēng)險(xiǎn)提示告知用戶，生成內(nèi)容僅供參考，不能替代專業(yè)意見(jiàn)。這類條款能否直接作為幻覺(jué)致?lián)p后免除責(zé)任的依據(jù)，也存在巨大爭(zhēng)議。如果一概認(rèn)定告知有效，將相對(duì)弱化平臺(tái)方的內(nèi)容管控義務(wù)；如果一概否定告知的效力，又會(huì)過(guò)度限制AI產(chǎn)業(yè)的創(chuàng)新發(fā)展。

“我們需要明確合理性的適用邊界，平衡用戶權(quán)益保護(hù)與產(chǎn)業(yè)發(fā)展，既不讓用戶盲目承擔(dān)AI幻覺(jué)的全部風(fēng)險(xiǎn)，也不讓合理的風(fēng)險(xiǎn)提示完全失去效力。這是本議題需要深入探討、凝聚共識(shí)的核心方向。”楊建軍說(shuō)。

許可在討論這一議題時(shí)補(bǔ)充，當(dāng)幻覺(jué)在技術(shù)層面上無(wú)法被消除的情況下，如何合理劃定注意義務(wù)的尺度，以及如何準(zhǔn)確認(rèn)定相關(guān)的責(zé)任方，是生成式人工智能幻覺(jué)致?lián)p的核心難題。同時(shí)應(yīng)該看到，生成式人工智能往往涉及到模型的研發(fā)者、系統(tǒng)部署的運(yùn)營(yíng)方、插件及工具的提供者等多個(gè)主體，各方在技術(shù)掌控能力、風(fēng)險(xiǎn)預(yù)見(jiàn)可能性、實(shí)際介入系統(tǒng)運(yùn)營(yíng)的深度上都有著明顯的差異。因此，在設(shè)計(jì)激勵(lì)相關(guān)方做好風(fēng)險(xiǎn)防范的制度安排時(shí)，必須綜合考慮不同主體的實(shí)際控制力、獲利程度、風(fēng)險(xiǎn)預(yù)見(jiàn)能力，細(xì)化責(zé)任邊界，既要壓實(shí)各方的風(fēng)險(xiǎn)防控責(zé)任，守住用戶的合法權(quán)益，又要為產(chǎn)業(yè)發(fā)展預(yù)留空間。

PART.04

個(gè)人信息保護(hù)制度的結(jié)構(gòu)性沖突與制度調(diào)試

關(guān)于人工智能時(shí)代的個(gè)人信息保護(hù)，程瑩在研討會(huì)上描述了這樣一個(gè)事實(shí)：人工智能的發(fā)展讓個(gè)人信息保護(hù)變得越來(lái)越難。比如，早期的AI推薦算法，只有在收集到我們的瀏覽記錄、興趣偏好等個(gè)人信息之后，才能夠?yàn)槲覀兺扑]喜歡的內(nèi)容；而現(xiàn)在爆火的智能體，為了執(zhí)行用戶的模糊指令，可能需要自主調(diào)用各類插件、跨越多個(gè)應(yīng)用，采集盡可能多的背景信息，才能夠貼合用戶需求，這在無(wú)形當(dāng)中增加了個(gè)人信息濫用、泄露等風(fēng)險(xiǎn)。

“這些風(fēng)險(xiǎn)體現(xiàn)了個(gè)人信息權(quán)益保障和人工智能技術(shù)創(chuàng)新發(fā)展之間的張力，我們亟需在不動(dòng)搖個(gè)人信息保護(hù)基本原則的前提下，結(jié)合人工智能的技術(shù)特性，對(duì)個(gè)人信息界定標(biāo)準(zhǔn)、權(quán)利實(shí)現(xiàn)路徑、責(zé)任劃分規(guī)則等作出合理解釋或制度調(diào)整。”程瑩總結(jié)，因此本次發(fā)布的第四項(xiàng)議題為“個(gè)人信息保護(hù)制度的結(jié)構(gòu)性沖突與制度調(diào)試”，在這個(gè)議題下，如下問(wèn)題值得探討：人工智能大模型的訓(xùn)練、部署、應(yīng)用等涉及個(gè)人信息處理活動(dòng)時(shí)，應(yīng)適用的個(gè)人信息保護(hù)規(guī)則是否應(yīng)進(jìn)行必要調(diào)整？如何在保障個(gè)人信息權(quán)益的同時(shí)，為人工智能技術(shù)和產(chǎn)業(yè)健康創(chuàng)新發(fā)展提供空間和彈性？

西南政法大學(xué)民商法學(xué)院教授鄭志峰補(bǔ)充，大模型的研發(fā)過(guò)程中需要海量數(shù)據(jù)，否則很難實(shí)現(xiàn)功能的迭代和多場(chǎng)景的適配，但是海量數(shù)據(jù)的利用，就可能與個(gè)人信息保護(hù)法所要求的“目的明確、范圍限定、最小必要”原則存在沖突。與此同時(shí)，微觀層面的個(gè)人信息保護(hù)規(guī)則和機(jī)制，也面臨挑戰(zhàn)。比如，個(gè)人信息的刪除權(quán)在大模型的背景下，有時(shí)很難真正實(shí)現(xiàn)，很多個(gè)人數(shù)據(jù)通過(guò)模型的訓(xùn)練已經(jīng)成為數(shù)據(jù)池的一部分，很難在事后從如此龐大的數(shù)據(jù)池中找到特定的數(shù)據(jù)進(jìn)行刪除。這就導(dǎo)致自然人的個(gè)人信息刪除權(quán)、更正權(quán)等核心權(quán)利難以有效實(shí)現(xiàn)，該如何應(yīng)對(duì)？

“這些困境都需要我們通過(guò)制度調(diào)整來(lái)解決，對(duì)現(xiàn)有的個(gè)人信息保護(hù)法及相關(guān)制度規(guī)則進(jìn)行制度調(diào)試，以適配人工智能不同階段的發(fā)展需求。”鄭志峰說(shuō)。

PART.05

人機(jī)協(xié)同場(chǎng)景下知識(shí)產(chǎn)權(quán)等權(quán)屬與利益分配規(guī)則

中國(guó)社會(huì)科學(xué)院大學(xué)副教授、互聯(lián)網(wǎng)法治研究中心主任劉曉春發(fā)布了第五個(gè)議題，即人機(jī)協(xié)同場(chǎng)景下知識(shí)產(chǎn)權(quán)等權(quán)屬與利益分配規(guī)則。

這一議題發(fā)布的背景是，人工智能越來(lái)越多地參與到了創(chuàng)作過(guò)程中。目前知識(shí)產(chǎn)權(quán)領(lǐng)域討論的議題集中在：作品創(chuàng)作過(guò)程中，人工智能生成或參與生成的內(nèi)容能否獲得著作權(quán)保護(hù)，是否對(duì)獨(dú)創(chuàng)性產(chǎn)生實(shí)質(zhì)性影響和挑戰(zhàn)？還有一些討論涉及，如何認(rèn)定權(quán)利主體，如何評(píng)價(jià)人機(jī)協(xié)同過(guò)程中人工智能模型的貢獻(xiàn)度，如何分配相應(yīng)的收益？

但在劉曉春看來(lái)，這個(gè)議題不僅僅是作者權(quán)益的保護(hù)問(wèn)題，還涉及整個(gè)內(nèi)容產(chǎn)業(yè)、科技產(chǎn)業(yè)本身，以及在人工智能參與下的創(chuàng)新激勵(lì)和權(quán)利保護(hù)之間的平衡。“如果缺乏對(duì)相關(guān)問(wèn)題的明確指引，就有可能在一定程度上抑制創(chuàng)新主體的積極性，或者抑制創(chuàng)新主體運(yùn)用人工智能的積極性。”

在這個(gè)基礎(chǔ)之上，劉曉春提出了三個(gè)問(wèn)題。

第一個(gè)就是，傳統(tǒng)的以人類作者或者發(fā)明人為中心的權(quán)屬認(rèn)定規(guī)則是否需要調(diào)整？在人機(jī)協(xié)同的場(chǎng)景之下，這一規(guī)則的適用空間有多大？

目前比較常見(jiàn)的是簡(jiǎn)單的人機(jī)協(xié)同，由人輸入指令、提示詞，由人工智能輸出結(jié)果。但未來(lái)人工智能會(huì)進(jìn)一步融入到各種產(chǎn)業(yè)化的應(yīng)用中，這其中可能不只有一個(gè)主體，可能有多名主體，也可能有多個(gè)AI模型共同進(jìn)行創(chuàng)作，因此其中涉及的具體問(wèn)題（權(quán)屬認(rèn)定、利益分配）值得深入研究。

第二個(gè)問(wèn)題是，人工智能的利益分配與平衡問(wèn)題。

隨著人工智能參與創(chuàng)造過(guò)程的復(fù)雜化，多個(gè)層次的問(wèn)題會(huì)浮現(xiàn)出來(lái)。比如，人機(jī)協(xié)同創(chuàng)作中，如何明確人工智能的貢獻(xiàn)比例，如何平衡模型研發(fā)者、使用者、具體創(chuàng)新實(shí)施者之間的收益分配。目前這類問(wèn)題大多是通過(guò)合同的方式來(lái)實(shí)現(xiàn)的，但合同之外可能會(huì)衍生出其他的爭(zhēng)議，這也需要我們進(jìn)行進(jìn)一步研究。

第三個(gè)問(wèn)題是，當(dāng)出現(xiàn)跨平臺(tái)的數(shù)據(jù)交互需求時(shí)，用戶產(chǎn)生的數(shù)據(jù)的權(quán)屬問(wèn)題。

PART.06

前沿人工智能的安全保障與極端風(fēng)險(xiǎn)防控

中國(guó)人民大學(xué)未來(lái)法治研究院執(zhí)行院長(zhǎng)張吉豫教授表示，科學(xué)界在反復(fù)警示前沿人工智能的安全問(wèn)題，并預(yù)見(jiàn)隨著人工智能系統(tǒng)在模型規(guī)模、自治水平與社會(huì)嵌入深度等方面達(dá)到前所未有的高度，人工智能可能引發(fā)的風(fēng)險(xiǎn)呈現(xiàn)出由局部性、可控風(fēng)險(xiǎn)向系統(tǒng)性、極端性風(fēng)險(xiǎn)擴(kuò)展的趨勢(shì)。因此，推動(dòng)從以事后責(zé)任追究為中心，向以事前預(yù)防為核心的風(fēng)險(xiǎn)應(yīng)對(duì)路徑轉(zhuǎn)型，成為我們亟需回應(yīng)的突出問(wèn)題。

湘潭大學(xué)法學(xué)學(xué)部副教授文禹衡從已經(jīng)出現(xiàn)的人工智能勒索、自主逃逸等極端風(fēng)險(xiǎn)出發(fā)展開(kāi)探討。文禹衡表示，人工智能自我保全、自我改進(jìn)、從部署環(huán)境中逃逸和嘗試影響乃至控制人類的案例數(shù)量，或?qū)⑷找嬖黾印?/strong>這種極端風(fēng)險(xiǎn)可能是技術(shù)層面的，比如AI失控、算法崩潰導(dǎo)致工業(yè)生產(chǎn)、交通出行等領(lǐng)域出現(xiàn)安全事故；也可能是社會(huì)層面的，比如AI被用于惡意攻擊、虛假信息傳播甚至危害國(guó)家安全。

“設(shè)想一下，如果自主決策AI被用于軍事領(lǐng)域，出現(xiàn)失控，自主發(fā)起攻擊，該如何防控？這就是我們要面對(duì)的極端風(fēng)險(xiǎn)之一。”文禹衡補(bǔ)充，前沿人工智能的安全保障面臨著兩個(gè)主要問(wèn)題：

一是“風(fēng)險(xiǎn)不可預(yù)測(cè)”，前沿AI的技術(shù)復(fù)雜度極高，很多風(fēng)險(xiǎn)在技術(shù)研發(fā)初期無(wú)法預(yù)判，等到發(fā)現(xiàn)風(fēng)險(xiǎn)時(shí)，可能已經(jīng)造成了嚴(yán)重的損害；二是“現(xiàn)有法治體系滯后”，我們目前的安全保障法律規(guī)則，大多是針對(duì)傳統(tǒng)AI技術(shù)制定的，面對(duì)前沿AI的極端風(fēng)險(xiǎn)，缺乏有效的防控手段和法律依據(jù)。

基于此，文禹衡認(rèn)為如下兩個(gè)問(wèn)題值得深入探討：第一個(gè)是前沿人工智能極端風(fēng)險(xiǎn)的識(shí)別評(píng)估與法律監(jiān)管，這也是風(fēng)險(xiǎn)防控能力建設(shè)的重要環(huán)節(jié)；第二個(gè)是如何構(gòu)建前沿人工智能極端風(fēng)險(xiǎn)的多元治理體系。

文禹衡等學(xué)者前期也和相關(guān)的專家學(xué)者、產(chǎn)業(yè)代表進(jìn)行了充分的討論，達(dá)成了一個(gè)共識(shí)：前沿人工智能的安全保障不能重研發(fā)、輕防控，必須建立全流程法治防控體系，從研發(fā)、測(cè)試、應(yīng)用到廢棄，每一個(gè)環(huán)節(jié)都要有明確的法律規(guī)則，防范安全風(fēng)險(xiǎn)。

關(guān)于這個(gè)議題，文禹衡認(rèn)為如下問(wèn)題都值得進(jìn)一步深入探討：如何界定前沿人工智能的極端風(fēng)險(xiǎn)，最應(yīng)該重點(diǎn)防控的問(wèn)題是什么？如何完善前沿人工智能安全保護(hù)的法律規(guī)則，構(gòu)建有效防控極端風(fēng)險(xiǎn)的法治體系？如何明確各方的安全責(zé)任？如何建立全流程風(fēng)險(xiǎn)防控機(jī)制？如何實(shí)現(xiàn)技術(shù)創(chuàng)新和安全防控的協(xié)同發(fā)展，既充分保障科技創(chuàng)新的活力，又能夠通過(guò)多元手段的結(jié)合，共同守住人類文明的安全底線？

注：

AI善治學(xué)術(shù)工作組成員

張凌寒，中國(guó)政法大學(xué)人工智能法學(xué)院院長(zhǎng)、教授、博士生導(dǎo)師；AI 善治學(xué)術(shù)工作組召集人，《人工智能法(學(xué)者建議稿)》起草專家組牽頭專家。

楊建軍，西北政法大學(xué)人工智能法治研究中心教授、博士生導(dǎo)師，《法律科學(xué)》主編，AI 善治學(xué)術(shù)工作組成員，《人工智能法(學(xué)者建議稿)》起草專家組專家。

程瑩，中國(guó)信通院政策與經(jīng)濟(jì)研究所主任工程師，中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟政策法規(guī)工作組秘書(shū)長(zhǎng)，AI 善治學(xué)術(shù)工作組成員，《人工智能法(學(xué)者建議稿)》起草專家組專家。

趙精武，北京航空航天大學(xué)法學(xué)院副教授、院長(zhǎng)助理，工業(yè)和信息化智慧法治工信部重點(diǎn)實(shí)驗(yàn)室執(zhí)行主任，AI 善治學(xué)術(shù)工作組成員，《人工智能法(學(xué)者建議稿)》起草專家組專家。

鄭志峰，西南政法大學(xué)高等研究院院長(zhǎng)，民商法學(xué)院教授、博士生導(dǎo)師，科技法學(xué)研究院副院長(zhǎng)，AI 善治學(xué)術(shù)工作組成員，《人工智能法(學(xué)者建議稿)》起草專家組專家。

韓旭至，華東政法大學(xué)數(shù)字法治研究院副院長(zhǎng)、法律學(xué)院副教授，《數(shù)字法學(xué)評(píng)論》副主編，AI 善治學(xué)術(shù)工作組成員，《人工智能法(學(xué)者建議稿)》起草專家組專家。

徐小奔，中南財(cái)經(jīng)政法大學(xué)知識(shí)產(chǎn)權(quán)學(xué)院副院長(zhǎng)、教授，《法商研究》學(xué)科編輯，AI 善治學(xué)術(shù)工作組成員，《人工智能法(學(xué)者建議稿)》起草專家組專家。

特邀專家（按姓氏拼音排序）

戴昕，北京大學(xué)法學(xué)院長(zhǎng)聘副教授、博士生導(dǎo)師、副院長(zhǎng)。

傅宏宇，阿里研究院人工智能治理中心主任、數(shù)據(jù)經(jīng)濟(jì)研究中心主任。

劉晗，清華大學(xué)智能法治研究院副院長(zhǎng)，法學(xué)院長(zhǎng)聘教授、博士生導(dǎo)師，

文科建設(shè)處副處長(zhǎng)。

李汶龍，浙江大學(xué)數(shù)字法治研究院研究員。

劉曉春，中國(guó)社會(huì)科學(xué)院大學(xué)法學(xué)院副教授、互聯(lián)網(wǎng)法治研究中心主任。

齊英程，吉林大學(xué)法學(xué)院副教授、司法數(shù)據(jù)應(yīng)用研究中心研究員。

蘇宇，中國(guó)人民公安大學(xué)法學(xué)院教授、博士生導(dǎo)師，數(shù)據(jù)法學(xué)研究院院

長(zhǎng) 。

邰江麗，科技集團(tuán)法務(wù)副總裁、中國(guó)法學(xué)會(huì)網(wǎng)絡(luò)與信息法學(xué)研究會(huì)副會(huì)

長(zhǎng)。

吳少卿，科技公司合規(guī)負(fù)責(zé)人，中國(guó)法學(xué)會(huì)網(wǎng)絡(luò)與信息法學(xué)研究會(huì)理事。

文禹衡，湘潭大學(xué)法學(xué)學(xué)部副教授、博士生導(dǎo)師。

許可，對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)法學(xué)院教授、數(shù)字經(jīng)濟(jì)與法律創(chuàng)新研究中心主

任。

徐全全，百度 AI 業(yè)務(wù)法律合規(guī)負(fù)責(zé)人。

張吉豫，中國(guó)人民大學(xué)未來(lái)法治研究院執(zhí)行院長(zhǎng)、法學(xué)院教授。

張素華，武漢大學(xué)法學(xué)院教授、博士生導(dǎo)師，網(wǎng)絡(luò)治理研究院數(shù)據(jù)法治

研究中心主任。

朱悅，同濟(jì)大學(xué)法學(xué)院助理教授、上海市人工智能社會(huì)治理協(xié)同創(chuàng)新中

心研究員。

點(diǎn)擊進(jìn)入下方小程序

獲取專屬解決方案~

責(zé)任編輯 | 金夢(mèng)洋

審核人員 | 張文碩

本文聲明 | 本文章僅限學(xué)習(xí)交流使用，如遇侵權(quán)，我們會(huì)及時(shí)刪除。本文章不代表北大法律信息網(wǎng)（北大法寶）和北京北大英華科技有限公司的法律意見(jiàn)或?qū)ο嚓P(guān)法規(guī)/案件/事件等的解讀。