再現性の危機

再現性の危機とは

再現性の危機（replication crisis, replicability crisis）とは、多くの科学実験の結果が、他の研究者や実験を行った研究者自身による後続の調査において再現が難しい、またはできないという、科学における方法論的な危機のことです。実験の再現性は科学的方法論において不可欠であり、再現できない研究は科学の信頼性を損なう可能性があります。

現状

2016年に行われた1500人の科学者を対象とした調査では、70%の研究者が他者の実験の再現に失敗した経験があると回答しています。また、自身で行った実験の再現に失敗した研究者も50%に上ります。

分野別の再現失敗の割合は以下の通りです。

化学: 90% (60%)
生命[[科学]]: 80% (60%)
物理学と工学: 70% (50%)
医学: 70% (60%)
地球[[科学]]と環境[[科学]]: 60% (40%)

医学における再現性の問題

医学研究においても、再現性の問題は深刻です。1990年から2003年にかけて、1000回以上引用された49の医学研究のうち、後続研究で否定されたり、効果が誇張されたり、再現されなかったものが多数存在します。

アムジェンの Glenn Begley とテキサス大の Lee Ellis は、癌の前臨床研究のたった11%しか再現に成功しなかったと主張しています。

心理学における再現性の問題

心理学は、再現性の危機が特に注目されている分野です。その背景には、疑わしい研究慣習（QRPs）の存在や、研究不正のスキャンダル、再現が難しい効果の存在などがあります。

疑わしい研究慣習（QRPs）

QRPsとは、意図的なねつ造ではないものの、望ましい結果を得るためにデータ収集、分析、報告を柔軟に行う慣習のことです。例えば、データを選択して報告したり、都合の良いようにp値を丸めたりする行為が該当します。

研究不正

Diederik Stapelによるデータ捏造事件など、心理学研究における不正行為も再現性の危機に拍車をかけています。

再現性の低い効果

無意識的思考理論のように、再現が難しい効果も存在します。特に、理論に懐疑的な研究グループによって実験が事前登録され施行されると、再現は困難になる傾向があります。

再現性の危機への対応

再現性の危機に対応するため、学術出版の分野では登録された報告を用いる試みが始まっています。また、心理学のコースではオリジナルな研究よりも再現実験を重視すべきという提案もあります。

再現実験の精度を高めるためには、元の研究よりも大きなサンプルサイズが必要です。また、データ、プロトコル、発見を記録・評価できるオンライン・レポジトリの活用も有効です。

方法論的な社会的ジレンマ

心理学においては、再現実験を推奨しない社会的な構造が存在します。再現実験は時間がかかり、独自性に欠けるとみなされがちで、研究者のキャリア上の利益にも繋がりにくいという問題があります。

社会学や経済学における再現性の問題

社会[[科学]]の分野では、心理学以外にも社会学や経済学などで用語の定義の曖昧さや研究の再現性の低さが指摘されています。

人工知能における再現性の問題

人工知能における機械学習の予測精度は過大評価される可能性があり、機械学習が不適切に行われた場合の再現性と情報漏洩の問題があります。

危機の原因

Glenn Begley と John Ioannidisは、現在の科学の苦境を招いた要因として、新しいデータの作成と出版の加速、証拠の強制、良い科学的慣習の欠如、出版至上主義などを挙げています。

再現性の危機への言及

再現性は「科学のコーナーストーン」として言及されており、科学的発見の誠実さと研究の再現性は将来の研究の基礎知識を形作る上で重要です。

対策

事前登録、データとプログラミングコードのオープンソース公開は、再現性の危機に対する効果的な対策と考えられています。

機械学習論文で使用されているデータセットに関する報告の厳密性と透明性を高めることも重要です。

参考文献

Big names in statistics want to shake up much-maligned P value, Nature.com
1,500 scientists lift the lid on reproducibility, Nature.com
November 2012 special edition of Perspectives on Psychological Science on the issues of replicability and research practices in psychology
Reproducibility in Science: Improving the Standard for Basic and Preclinical Research
Social, Behavioral, and Economic Sciences Perspectives on Robust and Reliable Science
Why Most Published Research Findings Are False
Bonett, DG (2012) Replication-extension studies. Current Directions in Psychology 21, 409-412.
Most scientific studies are wrong, but that doesn’t mean what you think it means - The Logic of Science
Article on The Conversation Science in crisis: from the sugar scam to Brexit, our faith in experts is fading, September 26, 2016

関連項目

不適切な科学
出版バイアス
システマティック・レビュー
計量書誌学
Center for Open Science
Reproducibility Project
メタ研究
サイエンス・ウォーズ

もう一度検索