確かに自由産出は暗示的知識って考えは悪しき慣習な気がしますなー。とくに何らかの介入でアウェアネスが高まってる状態で対象項目が出てきて暗示的知識の習得なら、リキャストに対するアップテイクなんて一瞬の暗示的知識の習得だよ。

— Fukuta Junya (福田純也) (@fukuta_junya) October 30, 2013

先日のメソ研 in 秋田で行われた、草薙邦広さん（名古屋大学）の討論会「第二言語能力の構成技能としてみる明示的・暗示的文法知識」に参加して考えたことを、これまでの自分の研究などに照らし合わせつつまとめます。論文ではなく思いつきのメモなので、引用など細かいところには目をつぶってください。

第二言語習得（SLA）研究では、黎明期より学習者の自発的産出データ（spontaneous production data）*の分析が行われ、言語学的な研究などでは今でもよく利用されます。ただし、産出データ（特に発話データ）は収集とコード化に多大な時間を必要とするため、こういったデータを扱った研究は小さなサンプルを対象とすることが多いです（例外として学習者コーパスを利用した研究がありますが、これについては後述）。

*タイトルは自由産出データ（free production data）としていますが、本記事では個人的に好きな自発的産出データを使います。

SLA 研究の発展とともに、産出データ以外にも様々なデータ収集方法が提案され、たとえば Rod Ellis や Nan Jiang のようにデータ収集（測定）方法に焦点をあてた研究も進んでいます。学習者の知識を直接測定することは不可能なため、間接的な手法からどこまで知識に迫れるかが課題になります。

第二言語学習者の知識を測定する上で避けて通れないのが、いわゆる明示的・暗示的知識の区別です。詳細は割愛しますが、最近の測定法研究の多くは、明示的知識の影響（干渉）をいかに排除して、学習者の暗示的知識に迫ることができるかを課題としています。Ellis は「時間制限つきの文法性判断テスト」、「模倣テスト」、「口頭物語テスト」が暗示的知識の測定に適していると提案していますが、たとえば時間制限つきの文法性判断テストにしても、明示的知識の干渉を抑えることは難しいと僕は考えています（詳しくはメソ研論集の浦野 、草薙を参照）。

そこで考えられるのが、冒頭で述べた自発的産出データの利用です。Ellis 自身も “the ideal measure of implicit knowledge is probably ‘free production’” (Ellis et al., 2009, p. 28) と述べているように、一般的に産出データは明示的知識の影響が少ないと考えられています。ただ、話はそんなに単純ではないですよというのがこの記事の主旨であり、産出データに明示的知識がどのように干渉し得るか、その条件の整理を試みます。整理といっても網羅的なものではなく、僕が思いついた要因をいくつか書き記すだけですので、他にも要因がある可能性は十分あります。

1. モード

一般に話しことばよりも書きことばの方が明示的知識の干渉が多いと言えます。書きことばの方が時間をかける場合が多いし、その分産出前後に明示的知識を利用したモニター（修正）を行うことがあり得るからです。ただし、話しことばの方がデータ収集が大変で、しかも収集後に文字化する手間がかかるため避けられることが多いです（苦笑）。話しことばのデータを収集・分析するみなさん、おつかれさまです。

2. 時間あたりの産出量

書きことばのデータを集める際に明示的知識の干渉を減らす方法として、モニターをなるべくさせないことが考えられます。少々あらっぽでいすが、一番手っ取り早いのが時間あたりの産出量を増やすことです。たとえば、同じ300語を書かせるにしても、60分かけるのと10分でやってもらうのとではモニターに費やせる時間は大幅に変わってきます。学習者コーパスの多くは、時間あたりの産出量が少ないので、残念ながら統語や形態素に関する暗示的知識を推測するデータとしては不適切だろうというのが僕の考えです*。特にモニターしやすいような文法規則については、明示的知識によって産出された誤りの多くが修正されてしまっている可能性があるでしょう。もちろん学習者コーパスは文法の暗示的知識の測定を主目的として収集されているわけではないのですけど。

*たとえば NICE の場合、60分間の作文の平均語数は342語で、これは1分あたり5.7語のスピードで書いていることを意味します。実際に書くスピードはもっと速いはずなので、書く前や書いたあとに明示的知識などを動員していることが考えられます。

暗示的知識を調査するために産出データを用いるなら、短めの時間制限を設定して、時間内にできるだけたくさん書いてもらうことでモニターの機会を奪うことが必要でしょう。

3. 学習者の産出課題に対する意識

課題に取り組むにあたって、被験者が課題の目的をどう理解しているのかも明示的知識の干渉の有無（または大小）に影響を与えるでしょう。エッセイ形式の課題の場合、普段の授業で文法に関するフィードバック（添削）を受けている学習者であれば、文法的正確さにも意識を向けやすく、したがって明示的知識の使用が増えることが予想されます。また、実験環境で文法テストを受験したあとで産出課題を行えば、被験者は「これから書いたものは文法的な誤りをチェックされるのかな」と考えるかもしれません。

明示的知識の干渉を減らすには、形式よりも意味に焦点を当てるよううながしたり、正確さ（質）よりも流暢さ（量）を重視する旨を伝える必要があるでしょう。

以上3点をざっくりまとめると、「自発的産出データは話しことばが望ましいが、書きことばにする場合にも、限られた時間内にたくさん書かせることと、形式よりも意味に焦点を向けさせることが望ましい」ということになるでしょうか。絶対的なガイドラインとは言えないかもしれませんが、少なくともこのようなことに気を配らずに集めた産出データは、暗示的知識を測定する方法として適切でないとは言えると思います。

上記の提案は、実証的な根拠のない、いわば浦野の思いつき（一応経験には基づいていますが…）です。研究上のガイドラインとするには心細いので、なんらかのサポートを用意する必要があります。一番確実なのは、上記3つの要因を部分的に統制した形で産出データを集め、誤用率を計算することで明示的知識の干渉の程度を測定することです。たとえば、まったく同じライティング課題を用意して、ひとつのグループには制限時間を60分与え、もうひとつのグループには（たとえば）その半分の30分という短い制限時間を用意してみてはどうでしょう。また、制限時間も揃えた同じライティング課題で、片方のグループには質より量を重視する旨の指示を出し、もう片方には特に指示を与えなかった場合の誤用率の比較も可能です。明示的知識の干渉が少なくなれば、それだけ誤用率が上がる（つまり誤りが増える）ことが予想されます。

誤用率を計算する（つまり測定する）文法規則の選定も重要になります。学習者が明示的知識を持っていて、モニターの形でそれが使いやすく、なおかつその規則に関する暗示的知識を持っていない（と思われる）ことが望ましいです。産出データ中にある程度の頻度で観察されなければいけないことも踏まえて、主語と動詞の一致（agreement）、動詞の過去形、名詞の複数形といった形態素使用の正確さを測定することをここでは提案しておきます。

最後にひとつコメントです。忘れてはならないのは、（特に書きことばの）産出データを分析する場合、ある言語規則の誤用率が100%になることはほぼないということです。ある言語規則について、もし学習者が暗示的知識を持っていないとすると、暗示的知識のみを利用した産出データでは理論上誤用率が100％になるはずです。たとえば、日本語を母語とする英語学習者は agreement に関する暗示的知識を持っていない可能性が指摘されていますが、産出データで agreement の誤用率が100%近い数値を出した研究は僕の知る限りありません。これはつまり、どれほど統制を加えても、学習者が英語を書いたり話したりするときには明示的知識が複雑な形で暗示的知識（に基づく産出）に絡み合っている可能性を示唆し、そういう意味で明示的知識の干渉を産出データにおいて完全に排除することはほぼ不可能であることも意味します。この辺については、冒頭で紹介したメソ研討論会での草薙さんの発表内容ともつながります（興味のある方はUstreamでご覧ください）。

Streaming video by Ustream

外国語教育メディア学会（LET）関西支部メソドロジー研究部会（通称メソ研）の2013年度第2回研究会が10月26–27日に大学コンソーシアムあきた（秋田市）で開催されます。

26日の17:00–17:55に、静岡大学の亘理陽一さんと共同で以下のタイトルで発表を行う予定です：

「英語教育研究における追試（replication）の必要性 」

発表の補足を亘理さんがブログでまとめてくれています。

教育方法学でつっぱる: [研究][SLA] ケンカの後始末，またはSpada & Tomita (2010)について。 

亘理さんによるあらたなブログ記事も関係してますね。

[研究][ノート] 補足の補足でメタ分析について覚え書き（山田・井上(編), 2012. Ch.2）

わたくし浦野も Twitter 上で少し補足をしました。

メソ研補足

発表資料

Ustream（録画）

大会プログラム

（2016年8月追記）2016年に同じLET全国研究大会で類似のテーマのワークショップを行いました。情報も追加していますし、誤りも修正していますので、そちらをご利用ください。

LET2016 ワークショップ

このページは、2013年度外国語教育メディア学会（LET）全国研究大会中に行われるワークショップ「有意性と効果量についてしっかり考えてみよう」に関係する資料の保管・公開場所です。

ワークショップ中も含めて、Twitter 等でのシェアを歓迎します。また、@uranoken までメンションを飛ばしていただければ、できる限りお返事します。

当日の Twitter でのつぶやきのまとめを作っていただきました。後半部分が浦野担当ワークショップ関連のつぶやきです。ワークショップ内容の補足としてご覧ください。

LET2013ワークショップつぶやきまとめ

スライド

• PDF
• Keynote
  
• Slideshare

効果量の計算のシート（Excelファイル。水本篤さん作成）—リンクが正しくなかったのを修正しました（2013.08.08）

参考文献（随時更新。書籍のリンク先はAmazonです。）

• 吉田寿夫 (1998) 『本当にわかりやすいすごく大切なことが書いてあるごく初歩の統計の本』
• 大久保街亜・岡田謙介 (2012) 『伝えるための心理統計: 効果量・信頼区間・検定力』
• 竹内理・水本篤 (2008) 「研究論文における効果量の報告のために―基礎的概念と注意点―」『英語教育研究』31, 57-66. [PDF]
• 水本篤・竹内理 (2011) 「効果量と検定力分析入門―統計的検定を正しく使うために―」『外国語教育メディア学会 (LET) 関西支部 メソドロジー研究部会 2010 年度報告論集』, 47-73. [PDF]
• 竹内理・水本篤（編） (2012) 『外国語教育研究ハンドブック―研究手法のより良い理解のために』

ワークショップ概要（大会ウェブサイト）より：

「効果量（effect size）」ということばを目にすることが多くなりました。統計ソフトの中には有意性検定（「p値」の計算）とセットで計算してくれるものもあり、有意確率（p値）とともに効果量を掲載する論文も増えてきましたが、それが何を意味するのかについて本文でまったく触れない論文もあり、だったらなぜ載せるのだと疑問に思うことがあります。

本ワークショップは、効果量とは何か、有意確率との類似点と相違点は何かなどを考えることで、効果量の意味を理解することを第一の目標とします。その理解に基づいて、表計算ソフトや無料のウェブサービスを利用して実際に効果量の計算ができるようになることも目指します。