轉(zhuǎn)載聲明：除調(diào)整格式外，不得對原文做改寫、改編。原創(chuàng)不易，謝謝！E-mail:yellow@aliyun.com

?聲明：本文為原創(chuàng)文本，非生成式，轉(zhuǎn)載請注明出處！

商務咨詢/顧問/請@yellowscholar?作者：黃先生斜杠青年

#實用主義 #經(jīng)濟方法

“有兩件事你最好別看正在發(fā)生的事：香腸和計量經(jīng)濟學的估計。這是我們所處的一種令人悲哀且明顯不科學的狀況。幾乎沒人認真對待數(shù)據(jù)分析。或者更準確地說，幾乎沒人認真對待別人的數(shù)據(jù)分析。”

這正是經(jīng)濟學家埃德·利默在他1983年著名文章《讓我們從計量經(jīng)濟學中剔除騙局》中對實證研究提出的尖銳批評。當時，他的意思是研究人員知道不要太信任其他研究者的估計，因為他們對研究過程中的任意選擇非常敏感。但自利默批評以來的幾十年里，受過教育的公眾往往認真對待同行評審的研究。

這種情況開始改變，是因為醫(yī)生約翰·伊奧安尼迪斯2005年發(fā)表了熱門文章《為什么大多數(shù)已發(fā)表的研究結(jié)果都是錯誤的》。2010年代的“復制危機”迅速引發(fā)關注，社交媒體的興起也助長了這一擔憂。心理學首先受到?jīng)_擊，最嚴重，始于2011年發(fā)表的文章《假陽性心理學》。但經(jīng)濟學和其他社會科學也未能幸免。

科學的核心前提是研究應當是可復制的。如果一位科學家設計了一個測量物理常數(shù)（如光速）的實驗，并且他們對實驗的記錄足夠充分，其他科學家也應該能夠進行同樣的實驗并得到相同的結(jié)果。如果一個實驗室的結(jié)果無法在其他地方復制，那么就像冷聚變一樣，它們很可能不是真實的。

除了物理等硬科學，我們不期望獲得同樣的精度。也許一項試驗發(fā)現(xiàn)某種藥物減少了17%的心臟病發(fā)作，而另一項則發(fā)現(xiàn)了14%。但要讓研究有效地指導我們的行動，研究至少需要具備一定的可復制性。如果有一次試驗發(fā)現(xiàn)某種藥物有效，但后續(xù)的每一次試驗都發(fā)現(xiàn)沒有效果，那么人們大概就不應該服用該藥物。

社會科學研究花了幾十年時間產(chǎn)出相當于炒作一種最終證明無用或有害藥物的研究。2015年，由布萊恩·諾塞克領導的團隊嘗試復制發(fā)表在頂級心理學期刊上的100項實驗，結(jié)果不到一半的實驗顯示出統(tǒng)計學上顯著的發(fā)現(xiàn)。同年發(fā)布的美聯(lián)儲討論文件也發(fā)現(xiàn)，已發(fā)表的經(jīng)濟學論文表現(xiàn)同樣糟糕。

如果頂級期刊發(fā)表的同行評審研究都不可信，那我們還能信任什么？自2015年以來，一些流行的答案是“什么都沒有”，或者是常識和意識形態(tài)基礎的先驗信念的混合。但在復制危機之后進行的科學改革，或許終于開始以可復制、可信賴的研究形式結(jié)出成果。

漂亮國均方是眾多依賴社會科學研究指導決策的機構之一。當復制危機引發(fā)對這項研究的質(zhì)疑時，他們決定采取行動。以資助互聯(lián)網(wǎng)和自動駕駛汽車等硬技術突破而聞名的國房高級項目研究局（ADA）為布萊恩·諾塞克和開放科學中心提供了資金，進行社會科學領域的大規(guī)模復制研究。其目的是測試這項研究的可靠性，以及在哪些研究類型中是否存在任何可信度的共性。

這項工作的結(jié)果剛剛發(fā)表在《自然》雜志的特刊上。來自社會科學領域的數(shù)百名研究者（其中之一）試圖復制發(fā)表在頂級社會科學期刊上的數(shù)百項論文?？傮w來說，我們發(fā)現(xiàn)情況從糟糕的開始有所改善。例如，大多數(shù)論文并未分享據(jù)稱產(chǎn)生結(jié)果的數(shù)據(jù)或代碼，但它們比2009年研究期開始時更有可能分享。

我是斜杠青年，一個PE背景的雜食性學者！?致力于剖析如何解決我們這個時代的重大問題！?使用數(shù)據(jù)和研究來解真正有所作為的因素！

圖1： 按發(fā)布年份劃分的數(shù)據(jù)和代碼可用性

來源：自然

經(jīng)濟學和掙痣學在這方面表現(xiàn)相對不錯，約有一半的文章共享數(shù)據(jù)或代碼，而教育領域的文章不到十分之一。經(jīng)濟學同樣具有相對較好的“可重復性”，大多數(shù)文章都達到了這一低門檻?？芍貜托灾傅氖?，如果其他研究者以完全相同的方式分析了一篇已發(fā)表文章所說使用的完全相同的數(shù)據(jù)集，他們是否得到了完全相同的結(jié)果。經(jīng)濟學論文中，他們有67%的比例得出完全相同的結(jié)果，這一比例高于其他所有研究領域。

圖2：按場的可重復性

來源：自然

我稱之為低門檻，是因為這僅僅意味著最初的研究人員記錄得足夠好，以至于其他人可以復制，而不是說他們發(fā)現(xiàn)的內(nèi)容是正確的（反過來，如果他們沒記錄得足夠好，也不一定意味著他們錯了）。我們怎么知道他們是不是對的？

《自然》期刊的其他論文測試了結(jié)果對分析方法調(diào)整的敏感度。如果有幾種合理的數(shù)據(jù)分析方法，最初的研究人員是否偶然（或選擇性地）選擇了唯一能帶來統(tǒng)計顯著結(jié)果的方法？還是大多數(shù)合理的方法會得出差不多相同的結(jié)論？

在這里，大多數(shù)論文都可以稱為“方向正確”。在測試其魯棒性的嘗試中，74%的結(jié)果與原始結(jié)果方向一致，但只有34%發(fā)現(xiàn)效應量非常接近原樣本。

當嘗試在新數(shù)據(jù)集中復現(xiàn)主張時（而不僅僅是用現(xiàn)有數(shù)據(jù)使用新方法），只有一半人發(fā)現(xiàn)了與原始數(shù)據(jù)相同方向的統(tǒng)計學顯著結(jié)果，且發(fā)現(xiàn)的效果不到原數(shù)據(jù)的一半。

總體而言，這表明已發(fā)表的社會科學研究通常夸大了效應的規(guī)模，并且常常聲稱那些可能不存在的效應。這遠非理想，但依賴研究仍然比偶然好得多。例如，魯棒性測試在與原論文相反方向的顯著效應中僅有2%。

這對研究的消費者意味著什么？信任整篇文獻而非單篇論文一直是個好主意。在經(jīng)濟學方面，《經(jīng)濟視角雜志》很好地以相對通俗易懂的方式總結(jié)了研究領域。

作為一個受《自然》論文啟發(fā)的新經(jīng)驗法則，“將估計效應量減半”是最好的選擇。如果一篇發(fā)表的論文說大學學位能提高工資100%，那么學位很可能確實提高了工資，但更像是40%到50%。2005年，約翰·約安尼迪斯曾表示“大多數(shù)已發(fā)表的研究結(jié)果都是錯誤的”。到了2026年，我們似乎已經(jīng)改善到“大多數(shù)已發(fā)表的研究結(jié)果都被夸大了”。

了解更多時間深度剖析，盡在于此@黃先生斜杠青年

商業(yè)咨詢和顧問業(yè)務，請@yellowscholar

關注我，帶你先看到未來！?

轉(zhuǎn)載聲明：除調(diào)整格式外，不得對原文做改寫、改編。原創(chuàng)不易，謝謝！E-mail:yellow@aliyun.com

?聲明：本文為原創(chuàng)文本，非生成式，轉(zhuǎn)載請注明出處！

商務咨詢/顧問/請@yellowscholar?作者：黃先生斜杠青年