このエントリーは、Second Language Research に掲載された Ionin & Wexler (2002) を読んだ上で書かれたものですが、内容がより一般的かつ重要に思われるものとなったため、分離して独立したものにしました。

僕は統計の専門家ではありませんが（むしろ数学は苦手で、センター試験を受けた時の200点満点の数学の得点は、100点満点のはずの地学の得点とあんまり変わらないぐらいでした）、自分で研究をしたり、他の研究者の論文を読んだりするのに必要な知識は身につける努力をしてきました。Ionin & Wexler も含め、Second Language Research の一部掲載論文で使われる統計処理のひどさにはホトホト参ってしまいます。仮にもこの分野で最も権威のあるジャーナルの一つが、このようなずさんな手法を取った論文を―しかもかなり頻繁に―掲載することに対して苦言を呈さずにはいられません。

例えば Ionin & Wexler の論文では文法性判断タスクの結果を載せていますが、被験者内計画の二要因（もしくは一要因）の分散分析を用いればいいところに、t 検定を続けざまに 8 つ使い、Type I Error のことなどどこ吹く風でさらには “p = .06″ の横に “Almost significant” なんて書いてます。100 歩譲ってこれに目をつぶったとしても、有意差があったなかったに関わらず、著者が注目したい差のみ勝手に強調して拾い上げているのは見過ごせません（ｔ検定の結果有意でない差まで、本文では「差がある」と言い切ってます）。あの MIT 所属の、しかも名の通った研究者の論文がこれですから悲しくなります。

SLR ほどのステータスを持つジャーナルでも、査読者は基本的に言語学・言語習得の専門家であって、一般的に統計やリサーチメソッドに関して詳しくない人が多いでしょう。それは仕方がないとしても（だって研究の中身の方が大事ですから、そっちについてちゃんとチェックできる査読者が必要です）、通常の査読者の他に、掲載決定論文だけでもいいから数字のチェックをすることはできないのでしょうか。統計専門の査読者をつけてるジャーナルってあるのでしょうか。

もっと大胆な提案をするとすれば、統計がよくわからない人は使わなければいいじゃないですか（というのはハワイ大学の某先生が言ってたセリフです）。よく意味のわからない、しかも誤って算出されたｐ値に振り回され、実際の数字（生データ）を直感的に理解しようとすらしない研究者も少なくないのでしょうか。そのぐらいなら、パーセントでも何でも理解できる数字（なり図表なり）で表して、データそのものをじっくり観察すべきです。パラメトリック検定をかけるタイプのデータなら、平均と標準偏差を求めて、分布図を描いてみるのが一番良いのではとも思います（ｔ検定や分散分析がわかる人は、ｔ値やＦ値を見ながらそういうことをしてるはずです）。そもそもｐ値というのは、サンプル数によってどうにでもなってしまう（というと言い過ぎか）わけですから、有意だ有意でないということだけ騒ぎ立てるのは本筋から逸れてる気がしてなりません。まぁ今回の論文はそれ以前のお話だったので、こうしてあえてコメントすることにしたわけですが。

最後になりますが、SLR 掲載論文にも、統計処理のしっかりした論文もあるんですよ。僕が問題にしてるのは、誤った手法や結論の導き出し方をしている論文に対するきちんとしたチェック機構がないことです。研究の中身はとても大事ですが、手続き論についてもおろそかにしてほしくないということです。