どこでも効果

どこでも効果（Look-elsewhere effect）

「どこでも効果」（英: look-elsewhere effect、略称: LEE）とは、特に素粒子物理学のような複雑な科学実験における統計分析で直面する特有の問題を指します。広大な探索空間において、偶然に統計的に有意に見える観測結果が現れてしまう現象のことです。これは統計学でいうところの「多重比較問題」と本質的に同じであり、複数の仮説検証を同時に行う際に発生しうる偽陽性（実際には効果がないのに「有意」と判断してしまうこと）のリスクを扱います。この用語は、大型ハドロン衝突型加速器（LHC）でのヒッグスボゾンの探索に関連して、2011年頃に一部メディアの注目を浴びました。

なぜ偶然が有意に見えるのか

多くの統計的仮説検定では、観測された結果が偶然によって生じる確率を示すp値が計算されます。通常、「ある要因Xは結果Yに影響するか？」といった問いに対し、Xを変化させたときのYの変動の統計的有意性を調べます。もしp値が事前に定めた有意水準（例えばα=0.05）より小さければ、「統計的に有意である」と判断します。

しかし、もし多数の異なる問い（あるいは同じ問いに対して多数の方法や場所）を試行錯誤しながら検証する場合（まさに「他の場所を探す」：look elsewhere）、状況は変わってきます。例えば、なんの効果も存在しない状況でも、p値が0.05より小さくなる事象は、平均的には20回の試行に1回の確率で起こり得ます。多数の試験を行えば行うほど、偶然、基準を満たす結果が得られる可能性が高まるのです。

これを補正するために、より厳密な基準を用いる必要があります。一つの単純な方法は、有意水準αを試験の数nで割るというものです（α/nを新たな基準とする）。これはボンフェローニ補正として知られており、試験の数が多いほど基準を厳しくすることで、偶然による偽陽性の確率を抑制します。より正確には、ここでの「試験の数n」は、完全に独立した試験の数、すなわち自由度を指します。試験間に相関がある場合は、この自由度は実際の試験数よりも小さくなります。

見過ごされがちなリスク：出版バイアス

どこでも効果は、特に失敗した試験結果が公表されない「出版バイアス」が存在する場合に、深刻な問題を引き起こす可能性があります。研究者が多数の仮説を検証し、その中で統計的に有意に見えたものだけを論文として発表するとします。この場合、多数の失敗した試行があったという情報が隠されるため、あたかもその一つの結果が単一の試験で偶然ではなく得られたかのように見えてしまいます。これにより、見かけ上の有意性が不当に誇張され（「有意のインフレーション」）、学術文献が統計的な「外れ値」で占められてしまうリスクが生じます。これは、同じデータセットに対して非常に多くの角度から分析が行われる高エネルギー物理学のような分野で特に注意が必要です。

具体例：スウェーデンの送電線研究

どこでも効果の典型的な例として、1992年にスウェーデンで行われた送電線と健康影響に関する研究が挙げられます。この研究では、高圧送電線の近くに長期間居住していた人々を対象に、800種類以上の病気について、統計的に有意な増加が見られるかどうかを調べました。その結果、偶然にも小児白血病の発生率が送電線に最も近い居住者で4倍高くなっていることが見出され、大きな注目を集め、政府による対応が求められました。

しかし、この結論にはどこでも効果による問題が含まれていました。800種類もの病気を調べたということは、たとえ送電線との間に全く因果関係がなくても、純粋な偶然によって、どれか一つの病気で期待値から大きく外れた結果が得られる可能性が非常に高いのです。統計的に見れば、800回の独立な試行があれば、偶然だけで3σ（標準偏差の3倍）を超えるような稀な出来事が少なくとも一つ観測される可能性は十分にあります。この研究は、発見された一つの「有意な」関連性だけに注目してしまいましたが、実際には残りの799種類以上の病気では有意な関連が見られなかったという文脈を無視していました。後の追跡研究では、送電線と小児白血病との間に統計的に有意な関連性は確認されていません。

どこでも効果