圖片來源：攝圖網

本文為《方圓》雜志原創稿件

未經授權，禁止轉載

企業付費數據短時間內被“偷空”

用戶在直播間停留幾秒

便接到推銷電話

消費者匿名留差評卻被電話騷擾

……

很多人以為這是數據或個人信息泄露

實際上這些糟心事背后

還藏著同一只黑手——

越界的網絡爬蟲

網絡爬蟲，又稱為網絡蜘蛛或網絡機器人，是互聯網時代一項普遍運用的網絡信息搜集技術，最早應用于搜索引擎領域，是搜索引擎獲取數據來源的支撐性技術之一，可用于新聞匯聚、價格對比、信息聚合等場景。一個出色的網絡爬蟲工具能夠處理大量的數據，大大節省人類在該類工作上所花費的時間。網絡爬蟲作為數據抓取的實踐工具，構成了互聯網開放和信息資源共享理念的基石。

依照技術中立性原則，網絡爬蟲本身并無法律層面上的合法違法之分，但如果有人濫用這種技術，讓網絡爬蟲非法爬取數據，就可能會損害數據安全和隱私，影響公正有序的數字經濟秩序。

一邊是網絡爬蟲高效應用于數字經濟各種場景，一邊卻是有人利用網絡爬蟲瘋狂“偷數據”，而技術和司法對于“爬蟲越界”行為也在持續地防范和打擊，這場看不見的攻防戰愈演愈烈。爬取數據的紅線在哪兒？反爬機制到底防住了多少？AI時代又該怎么守住數據安全？

何為“爬蟲越界”？

圖片來源：攝圖網

“‘爬蟲越界’是指利用網絡爬蟲爬取數據突破法律、行政法規以及行業公認的商業道德所設定的合理邊界，對他人合法權益、網絡系統安全或數字經濟秩序造成侵害或者顯著危險的行為。”北京大學法學院研究員、博士生導師江溯表示，“爬蟲越界”這一概念并非對網絡爬蟲這種技術的全盤否定，“越界”與否的關鍵不在于是否使用了該技術，而在于使用該技術的過程中是否逾越了法律所保護的權益邊界。他進一步指出：“判斷爬蟲是否越界的核心標準，在于其是否遵守了Robots協議、是否突破平臺或系統的身份認證權限。”

但這并不意味著所有“爬蟲越界”行為都必然構成犯罪。“刑法對‘爬蟲越界’的規制應該秉持較為謙抑的立場。即便滿足侵入并獲取數據的形式要件，也要通過實質違法性的判斷來守好入罪的邊界。”中國政法大學刑事司法學院網絡法學研究所教授、博士生導師郭旨龍解釋道，“比如爬取方單純造成了被爬取方的競爭利益損失，但爬取規模較小或服務器承載能力較強而幾乎不可能對服務器與數據安全造成威脅的場合，通過反不正當競爭法等前置法所提供的行政或民事責任框架足以處理行為侵害。”

那么，網絡爬蟲爬取公開數據是否一律無罪？江溯明確表示并非如此。“這里的核心誤區在于將‘公開’等同于‘放棄一切法律保護’。從法理上看，‘公開’只是意味著數據持有人放棄了對數據內容的排他性秘密持有狀態，但并不意味著放棄了所有合法權益。”

江溯認為，判斷爬取公開數據行為是否違法甚至犯罪，需要從三個維度綜合評判。首先是數據的實質屬性，若公開數據涉及個人信息或企業商業秘密，當爬蟲大規模收集并用于商業營銷等行為，可能超出合理范圍，構成侵權甚至犯罪；其次是技術保護措施，若行為人通過破解加密、逆向工程等手段規避平臺的技術限制進行批量抓取，即使數據本身公開，其手段的不正當性也足以使整體行為違法；最后是爬取后數據的使用方式，將公開數據原樣搬運以“實質性替代”原平臺服務，構成不正當競爭。因此，爬取公開數據的安全性并不取決于數據是否“公開”這一靜態標簽，而取決于爬取手段、目的和后果所構成的整體行為模式是否符合法律所認可的數據利用規則。

“爬蟲越界”圍獵之下無完卵

圖片來源：攝圖網

在現實生活中，“爬蟲越界”的核心目的是竊取數據，但其引發的連鎖反應卻會對企業生存、公民隱私乃至生命安全帶來極大隱患。“爬蟲越界”導致的犯罪行為，不僅嚴重侵蝕了企業的核心商業壁壘，更將普通網民置于電信網絡詐騙、惡意騷擾乃至暴力威脅的邊緣。

上海市普陀區檢察院2025年辦理了一起“8億余條餐飲商超數據被‘爬’走”的案件。據辦案檢察官朱鵬錦介紹，此案中犯罪分子利用“爬蟲”技術非法爬取8億余條餐飲商超數據以及地圖數據，直接造成被害企業服務器與流量成本激增，經核算直接經濟損失達5萬余元。更關鍵的是，商家信息、用戶點評、地理位置等核心經營資源被竊取，導致企業喪失對核心資源的可控性，潛在商業收益被分流，還面臨用戶信任受損、品牌聲譽下降的長期風險。

在平臺秩序破壞方面，上海市閔行區檢察院辦理的順風車搶單外掛案較具代表性。犯罪分子破解平臺算法，利用爬蟲程序批量抓取訂單數據并開發搶單程序，向司機售賣使用權限，非法獲利140 余萬元。辦案檢察官王小曼介紹，該爬蟲程序不僅直接突破了順風車平臺的安全防護體系，嚴重威脅企業數據與系統安全，還徹底打亂了平臺公平派單的機制，嚴重破壞了正常運營秩序與市場公平競爭環境。同時，犯罪分子還形成“開發—銷售—使用”黑色產業鏈，倒逼平臺持續投入高額成本加固防護，大幅增加了企業的安全運營負擔。

在個人信息保護領域，“爬蟲越界”的危害更為直接。江蘇省南通市海門區檢察院辦理了一起直播間 “暴力獲客” 案，辦案檢察官張彬告訴《方圓》記者：“此案中，犯罪分子將短視頻直播間變為黑產‘獵場’，利用爬蟲程序爬取大量公民個人信息數據，甚至為電信網絡詐騙、裸聊敲詐等違法犯罪引流，直接侵害公民個人隱私與財產安全，形成長期、擴散性安全風險。”

更為嚴重的是，“爬蟲越界”引發的危害已從數據泄露傳導至威脅人身安全。江蘇省徐州市曾發生一起由公民停車數據非法泄露引發的惡性極端案件。男子黎某與前妻張某離婚后心存怨恨，一直伺機報復，于是聯系上“私家偵探”。“私家偵探”通過非法爬取停車平臺系統數據的韓某，得到了張某的行車軌跡。掌握張某車輛位置后，黎某蹲守并將其挾持到車內，揮刀相向。經鑒定，張某右肺破裂損傷，構成重傷二級。

由上述檢察機關辦理的案件來看，“爬蟲越界”導致的危害不容小覷。辦理過全國首例短視頻平臺領域網絡“爬蟲”案的江蘇省無錫市梁溪區檢察院第三檢察部副主任、檢察官陶艷華告訴《方圓》記者：“辦理涉網絡爬蟲犯罪案件的重點在于，必須緊扣法律規定，進行全鏈條審查、多維度印證，既要嚴厲打擊惡意爬取行為，也要為合法數據利用與技術創新保留空間。但在實踐中，電子數據固定審查難、技術事實認定難、跨區域取證管轄難，仍是此類案件辦理中的突出挑戰。”

“爬蟲越界”攻防戰

圖片來源：攝圖網

在司法實踐中，“爬蟲越界”相關犯罪趨勢也在不斷變化。2025年4月23日，最高人民檢察院舉行了“以高質效知識產權檢察履職服務高水平科技創新”新聞發布會，最高檢知識產權檢察廳副廳長劉太宗在發布會上表示：“近年來，利用深度鏈接、網絡爬蟲、架設游戲私服、電子侵入等新技術手段侵犯知識產權案件不斷出現。檢察機關充分發揮偵查監督與協作配合、重大疑難案件聽取意見等機制作用，加大對新類型犯罪的打擊力度。”

而早在2023年12月28日，最高檢印發的《檢察機關依法懲治侵犯著作權犯罪典型案例》中，就公布了一起利用網絡爬蟲技術侵犯著作權的案件。2021年8月至2022年4月，柯某某為獲取非法利益，在未經著作權人授權的情況下，采用“火車采集器”爬蟲軟件，從優酷、騰訊、愛奇藝等視頻網站采集5萬余部電影、電視劇等視聽作品網頁版播放地址數據，存儲在租用的服務器上。柯某某通過技術解析的方式，將存儲在服務器的視聽作品轉載到其個人運營管理的網站及“某某影院”App上，提供給網民免費觀看。同時，柯某某承接廣告業務，在網民觀看“某某影院”App上其存儲的免費視聽作品時投放開屏廣告，以廣告展現量計酬收取廣告費，非法獲利共計35萬余元。最終柯某某被以侵犯著作權罪判處有期徒刑三年，緩刑四年，并處罰金40萬元。

隨著數字經濟的發展，除了網絡小說、影視劇、原創在線課程等數字版權內容成為不法分子利用網絡爬蟲爬取的目標之外，個人信息、企業核心數據的價值也日益凸顯，成了網絡爬蟲越界爬取的主要內容。比如，北京市朝陽區法院審理的一起案件中，A公司員工董某某為竊取競爭對手B公司住房經營業務中的客戶信息，串通B公司員工姜某某、劉某某，登錄B公司業務系統后運行爬蟲程序，非法獲取系統內收、出房合同，合同中均記載有出租人及承租人的公民個人信息。董某某等人均構成侵犯公民個人信息罪，分別被判處有期徒刑三年六個月至一年七個月不等的刑罰，并被判處罰金。

然而，利用網絡爬蟲技術實施的犯罪行為，早已不局限于單純的越界爬取數據。“當前涉及網絡爬蟲犯罪形態也已升級，從過去利用非法爬蟲程序‘自己爬’轉向‘賣工具讓別人爬’，傻瓜化操作、模塊化打包，開發、售賣、使用三方分離，和電信網絡詐騙、盜版侵權、個人信息泄露等黑灰產深度綁定。”王小曼向《方圓》記者分析了涉網絡爬蟲犯罪發展的新動向。

有攻就有防。“面對濫用網絡爬蟲實施犯罪的行為，目前國內已從技術防御和法律規制層面形成立體反爬蟲防線。”郭旨龍向《方圓》記者作了詳細的介紹——

從技術防御層面來看，主流生活服務及電商交易平臺已經構建起一套包含基礎層、進階層和智能層的“三層反爬矩陣”。“基礎層”主要承擔基礎門檻篩查的任務，包括IP封禁、UA（用戶代理）校驗、驗證碼攔截以及設備指紋確認等。“進階層”則側重于“查反常操作”，通過對賬號行為進行深度分析、人機識別和異常流量清洗，使平臺系統不再局限于單純校驗賬號與設備，而是進一步判斷用戶對賬號的操作習慣，以此精準排查出是否存在“非法爬蟲程序”的介入。“智能層”作為最高級別的防御體系，旨在實現“AI精準抓偽裝爬蟲”。它依托AI聚類、無監督檢測以及大模型威脅識別等前沿技術，專門應對高仿真的高級爬蟲。面對這類能夠偽裝IP、篡改設備信息并刻意模仿人類慢速操作的爬蟲，普通防線往往難以攔截，而智能層則能有效識破其偽裝。

從法律規制層面來看，我國已構建起行政監管、民事追責、刑事懲戒三位一體的立體化治理體系。行政監管領域，依托網絡安全法、數據安全法、個人信息保護法等多項法律文件，筑牢制度底線，明確各類主體數據獲取與網絡運行的合規要求；民事規制層面，主要通過起訴不正當競爭、著作權侵權等，追究侵權主體的民事責任；刑事懲戒維度，則通過適用非法獲取計算機信息系統數據罪、提供侵入計算機信息系統程序工具罪、侵犯公民個人信息罪、侵犯著作權罪等多項罪名，用以打擊各類涉數據網絡的違法犯罪行為。

AI時代的破局之道

圖片來源：攝圖網

人工智能技術早已融入我們的生活，從日常出行、線上消費到辦公辦事，AI時代給人們帶來了十足的便利，可與此同時，也出現了新的風險與挑戰。

“AI大模型訓練需要海量數據，訓練爬蟲大規模、全量爬取公開數據的合法邊界逐漸模糊不清；智能爬蟲模擬真人操作，使得網站及平臺‘區分合法爬蟲與惡意爬蟲’這一基礎性判斷變得異常困難；另一種分布式爬蟲節點分散，辦理爬蟲案件過程中，相關的溯源、歸責、管轄等問題都是難題。”江溯表示，AI大模型訓練爬蟲、智能爬蟲與分布式爬蟲的興起，正在從多個維度沖擊傳統爬蟲法律邊界，使得既有的“授權訪問”“robots協議”“合理使用”等概念面臨解釋困境，亟須法律規則的更新與完善。

“數據要素市場化同樣催生了灰色爬取。”中國政法大學刑事司法學院副教授、博士生導師孫道萃表示，數據交易的火爆，使部分機構以“合規采集”為名，繞開授權批量爬取數據，加工售賣數據產品，游走在法律邊緣；商業數據、公共數據、個人信息交叉場景增多，合規要求不斷疊加，數據合理利用邊界更加模糊。

江溯同時指出：“目前爬蟲越界的攻擊目標正從傳統消費互聯網向產業互聯網、政務系統、醫療數據平臺、車聯網等關鍵領域蔓延。這一趨勢意味著爬蟲越界行為的危害不再局限于擾亂市場競爭或侵犯個人隱私，而是可能直接威脅產業安全、公共安全乃至國家安全。由此，刑事規制重點必須從‘系統安全’轉向‘數據安全與公共安全’并重，從事后打擊轉向事前預防、事中阻斷，從通用規制轉向行業專項治理。”

受訪專家認為，在當前建設數字中國的大背景下，應當三管齊下，構建“技術共治+協同監管+法治保障”的預防性反爬蟲治理體系。

首先，從技術維度上，升級智能反爬。平臺用AI從底層搭建新一代防御系統專門對付各類爬蟲，實現早發現、早攔截、早溯源，防偷數據、防薅羊毛、防黑產；推行可信爬蟲白名單，對合規爬蟲開放白名單，限定頻率與用途；建立跨平臺共享惡意IP、指紋、工具特征，整體防御守護安全。

其次，從監測監管維度上，協同發力全鏈條打擊黑灰產。江溯建議，平臺依托大數據、人工智能技術，對互聯網爬蟲行為進行24小時監測、風險研判、預警處置，及時發現批量、高頻、侵入式惡意爬取行為，實現“早發現、早處置、早止損”。孫道萃建議，平臺應嚴格核驗運營主體資質，對涉及數據采集、爬蟲服務的工具加強安全檢測，一旦發現涉嫌非法爬蟲、侵犯個人信息的，應該立即下架、留存證據并報告監管部門，協助司法機關辦案與公眾維權。郭旨龍則建議網信部門、公安機關、市場監管部門、司法機關建立協同機制，常態化開展爬蟲亂象排查，對非法工具、黑灰產業鏈進行專項打擊。

最后，從法治維度上，加強法律規制。制定專門的爬蟲合規指引或部門規章，通過司法解釋厘清“未經授權”的判斷標準，推動“行政監管前置”機制，逐步彌合前置行政法與刑法之間的縫隙；強化個人信息、商業數據、關鍵數據的特殊保護；通過普法提升企業與公眾風險認知，形成“正規爬蟲受保護，越界爬蟲必追責”的共識。

“網絡爬蟲若被正規使用便是數字經濟的發動機，越界濫用則淪為數據黑灰產的作案工具。當前，在AI、大數據、產業數字化浪潮下，風險仍在迭代升級，只有堅持預防為先、技術為基、法治為綱、共治為本，從事后懲戒轉向事前預防，構建全鏈條、立體化、數智化治理體系，才能在保障數據合法流通與技術創新的同時，牢牢守住數據安全、個人信息保護與市場公平競爭底線，讓每個公民在這個時代感到安全放心。”孫道萃坦言。

（本文有刪減，更多內容請關注《方圓》5月上期）

本文雜志原標題：《互聯網“扒手”現形記》

編輯丨黃莎 王麗設計丨劉巖

記者丨方菲

通訊員丨楊瑩瑩 范曾 姚彥靜

點擊圖片

購買《方圓》雜志

好看的人都點了在看