‘Awash in False Findings’ Is most scientific research factually distorted?

「間違いだらけ」ほとんどの科学研究は事実上歪められている?
Newsweek，Feb 22, 2013．(参照)．

　全くの私見だけれど，もうほんと，scientific revolutionなるものが起こっているんじゃないかと思う．特に医学研究の発達は目覚ましく，それは今日的な，社会的な問題であるということ，また人間の経済活動として，「カネになる」領域であることもある．かつてはそれが，武器開発の技術だったのだろう．原子力や，量子力学．いま，医学が爆発的に進歩している．あるいは，"normal science"から一気に開花している段階，科学の危機の状態なのかもしれない．確率論，統計学に立脚した帰納のやり方，ロジックの構築．こうした新しい科学の概念の形成に伴って，現役の科学者はその方法論レベルで混乱しているのだろう．
　こうした新しい科学の潮流の中で，さまざまな科学研究の質が危機的な状況になっていること，統計学的手法が誤用され重大なバイアスが放置されていることを指摘した記事である．一方で，それらへの対策については非常に弱いのが現状である．まさに科学が大きく変貌しようという時機なのではないかと感じる．


　Daniele Fanelli氏という人が，Nature誌に以下のようなことを書いたらしい．

“an epidemic of false, biased, and falsified findings” where “only the most egregious cases of misconduct are discovered and punished.”「間違っていて，バイアスがかかっていて，改竄された発見の蔓延」であり，「それらの不正のうち，一番とんでもないものだけが発見され，罰せられる」

Fanelli氏はエディンバラ大学で，どうしてこれほどまでに多くの科学研究が間違いであると判明したのかを解明する研究に従事している．

　科学研究が正しくないねというとき，古典的というかまあぜんぜん古典的でもなく未だにそう信じられてるところがあるけど，たとえば医薬品研究において，製薬企業なんかが研究をさせるとバイアスの原因になりますとか，悪い科学者が意図的に，用意周到に不正な研究結果を発表したんだとか，そういう事例を考える．

For a long time the focus has either been on industry funding as a source of bias, particularly in drug research, or on those who deliberately commit fraud, such as the spectacular case of Diederik Stapel, a Dutch social psychologist who was found to have fabricated at least 55 research papers over 20 years.

もちろんそういう研究はダメなのは事実だけれど，今日，これほどまでにでたらめな研究は，バイオメディカル分野が多く，またその内容は，研究者にとって不都合なデータを無視したり，重要な統計学的手法を誤ったりすることに起因すると分析している．スタンフォード大学の，医学数学が専門のJohn Ioannidis氏も，出版されている殆どの研究は間違いであるとして，統計学的に手厳しく攻撃した論文を2005年に出版している．
Fanelli氏は以下のように言う．

“There’s little question that the [scientific] literature is awash in false findings—findings that if you try to replicate you’ll probably never succeed or at least find them to be different from what was initially said,” says Fanelli. “But people don’t appreciate that this is not because scientists are manipulating these results, consciously or unconsciously; it’s largely because we have a system that favors statistical flukes instead of replicable findings.”
「(科学)文献が間違いの結果だらけであること，すなわち，仮に反復実験をしようとしても決して成功しないか，あるいはもともと言われていたのと全く別の結果に行き着くもの，であることはほとんど疑いようがない．」
「しかし，科学者が意識的にせよ無意識的にせよ，これらの結果を操作しているからではないということは，よく知られていないのである．実のところ，反復・引用可能な発見より，統計学的なまぐれ当たりの方を採用してしまうシステムを採っているためにこのような事態になるのである．」

　このような実情を受け，Fanelli氏は以下のような提言をする．

This is why, he says, we need to extend the idea of academic misconduct (currently limited to fabrication, falsification, or plagiarism) to “distorted reporting”—the failure to communicate all the information someone would need to validate your findings.
だから我々は，アカデミックな不正行為(現時点では，偽造，改竄，剽窃に限られるが)の概念を押し広げる必要があり，「歪曲報告」すなわち，その結果を実証するのに他人が必要な全ての情報について，コミュニケーションに失敗したもの，という概念に変える必要がある．

こういった中で，特に影響の大きなバイアスとして挙げられているのが，アカデミックなジャーナルが，ポジティブな結果を出した研究のみをパブリッシュする傾向があるというもの．出版バイアスとよく呼ばれるもので，疫学領域ではお馴染ではある．なかなか逃れにくいバイアスではあるが，これを克服するための策も徐々にとられつつあるらしい．効果がないとした論文にも目をかけるとか，科学的方法論として，優秀なものに高い評価をつけるとか．

　最後に，Fanelliは以下のように言っている．

“We need a major cultural change,” says Fanelli. “But when you think that, even 20 years ago, these issues were practically never discussed, I think we’re making considerable progress.”
「我々は，大きなカルチャーの変化を遂げる必要がある．」
「しかし20年前のことを考えれば，これらの問題は実質全く議論されていなかったわけで，我々は大きな進歩を遂げているのだと考えることもできるだろう．」