大会名：日本教科教育学会第49回全国大会（弘前大会） 開催日：2023年10月7〜8日 発表日：2023年10月7日 場所：弘前大学
学習指導法の効果を検証する研究デザインに関する⽅法論的研究―⽅法論的プラグマティズムを基盤にした多⾯的な検証⽅法の提案―東海⼤学児童教育学部雲財 寛[email protected]2023/10/7⽇本教科教育学会第49回全国⼤会＠弘前⼤学
View Slide
研究の概要 2研究の⽬的学習指導法の効果を検証する研究デザインの提案どんな研究デザイン︖⽅法論的プラグマティズムを認識論的基盤にした多⾯的な検証⽅法に基づく研究デザイン学習指導法の効果検証の観点概要 アプローチ理論的裏付けその学習指導法は特定の教授・学習理論によって裏付けられているか関連する先⾏研究に基づく論証など学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など平均効果その学習指導法は学習者集団にどの程度効果があるのか統計的因果推論，ベイズ推定，交差遅延効果モデルなど
研究の背景｜よりよいエビデンスの創出 3●学習効果に影響を及ぼすものは何か︖ーメタ分析による実証研究の統合ーHattieのVisible Learning プロジェクト●メタ分析は頑健なデータであることを前提とするー「ゴミを⼊れてもゴミが出てくる」ー頑健なエビデンスは頑健な⼀次研究からhttps://www.visiblelearning.com/content/visible-learning-research頑健なデータを得るための研究デザインを検討する必要がある
研究の背景｜教育研究における問題点（国外） 4●（医学）教育研究の７つの⼤罪（Picho & Artino Jr, 2016）1. 不⼗分な⽂献レビューの呪い2. 検出⼒不⾜3. 測定の重要性の無視4. 誤った統計ツールの使⽤5. データの無慈悲な拷問とその他の疑わしい分析⼿法6. P値の奴隷7. 結果の報告や⽣データの管理における透明性の⽋如
研究の背景｜教育研究における問題点（国内） 5●国内の理科教育教育研究における研究⽅法の問題点（中村・原⽥・久坂・雲財・松浦，2021）ー『理科教育学研究』に掲載の過去 4 年間の論⽂における QRPs の実態を調査ー８種類の問題のある研究実践が確認された①妥当性の確認不⾜，②⺟集団の未定義，③出版バイアス，④誤った多重⽐較⑤検定⼒不⾜，⑥HARKing，⑦過度の⼀般化，⑧記載情報の不⾜ー再現性の危機に対応する⽅法として 4つの提案１．理科教育学分野における過去の研究に対する積極的な追試の実施２．問題のある研究実践を防⽌するための適切な研究⽅法の普及３．事前登録制度の導⼊４．オープンサイエンスを推進と積極的なデータ公開
研究の背景｜テストのガイドライン 6●Standards for Educational & Psychological Testing（AERA et al, 2014）ーテストと評価による基準とガイドラインを⽰した本ーアメリカ教育研究協会（AERA），アメリカ⼼理学会（APA），アメリカ教育測定協議会（NCME）の共同執筆ー内容︓妥当性，信頼性，公平性，利⽤上の注意点などー関連領域の専⾨家による合意形成・ガイドライン策定ー多くの研究者が参照している（はず）
問題の所在｜学習指導法の効果を検証する研究の課題点7●学習指導法の効果を検証する研究の⽅法論的な課題ー無数にある変数教師，指導法，学習者，教室⽂化，教室環境など・・・ーアウトプットを規定することの困難さー学習指導法の効果をいつ測られるべきか︖実施直後に伸びていたらそれでいいのか︖ 数年後に減衰しないのか︖ーどのようにして「この学習指導法は◯◯に対して効果的である」という因果関係を実証するか︖ー量的研究︖ 質的研究︖ 混合研究︖ 終わりなきパラダイム論争●検討の⽷⼝は︖⽅法論的プラグマティズム（Foster, 2023）を認識論的基盤とした多⾯的な検証⽅法の提案
研究の⽬的・⽅法 8研究の⽬的学習指導法の効果を検証する研究デザインの提案研究の⽅法・認識論的基盤の検討・学習指導法の効果を検証する観点の検討
研究パラダイムに関するこれまでの議論 9教育界，特に科学教育界では，他の研究パラダイムの研究を無視する傾向がある（Kincheloe & Tobin, 2009）表⾯的で限定的逸話的で⽅法論的な厳密さに⽋ける実証主義者（量）解釈主義者（質）ポスト実証主義の調査研究解釈主義・構成主義の調査研究研究トピック・効果の評価・介⼊教育プログラムの有効性・⼤規模な評価・調査⽂化、⾔語使⽤、教室や学校の⽇常的な交流に焦点を当てた教師と⽣徒の⽣きられた経験研究デザイン代表的サンプリング、定量的測定、データを複数のプロセスから検証する説明的なデザイン（例．実験や調査研究）⾃然主義的な環境における探索的デザイン（例︓グラウンデッド・セオリー、エスノグラフィー、現象学研究）、厚い記述を含む進化した研究⽅法参加者との関係性における研究者の役割客観的で、バイアスのかかっていないデータ収集者、研究参加者とは密接にかかわらないデータ解釈者研究参加者の⽣きられた経験を洞察的かつ情熱的に意味づける⼈、ストーリーテラー質の基準• 構造・概念の明確な定義• 客観的かつ包括的なデータを得るための厳格な研究⼿法• 測定の信頼性 知識主張の内的・外的妥当性• 現場での⻑時間の有意義な交流と、データの再解析・再反省の繰り返し• 研究者のスキル、感性、誠実さに依存• メンバーチェック、オーディットトレイル、ピアレビュー、トライアンギュレーション報告のスタイル・伝統的な科学研究のフォーマット・三⼈称で書かれる・厚い記述・伝統的な実証研究として可能・参加者の⽣活体験と研究者の解釈を織り交ぜたストーリーテリングTreagust, D. F., & Won, M. (2023). Paradigms in science education research.In Handbook of research on science education (pp. 3-27). Routledge.「量」と「質」はグローバルなアイデンティティ・マーカーとして機能してしまっている（Foster, 2023）
⽅法論的プラグマティズムとは︖ 10⽅法論的プラグマティズムRQ（リサーチクエスチョン）に最適な研究デザインや⼿法を選択するためのアプローチ包括的原則（Foster, 2023）●RQ・状況依存性ー本質的に良い⽅法，悪い⽅法は存在せず，それぞれの状況において，特定のRQに適した⽅法が存在するー⽅法論的プラグマティズムを定義するには⼗分に定義されたリサーチクエスチョンを前提となる●研究⼿法ー質的⽅法，量的⽅法，混合法のいずれを⽤いるかは研究のニーズのみに基づき純粋にプラグマティックに決定されるー混合法の優位性を事前に約束するものではない●その他⽅法論的プラグマティズムはいかなる意味においても「中⽴的な」パラダイムとして描くことはできない
学習指導法の効果検証 11●今回着⽬する「指導法の効果検証」というニーズを踏まえると・・・ー「学習指導法の効果を⽰す証拠を収集する」という研究デザインになるー主たる⽬的︓量的⼿法，質的⼿法，混合法のあらゆる⼿法を⽤いて証拠を収集することー⽅法やデータを問わず，多様な視点から多様な証拠を収集し，統合する●学習指導法の効果検証に⽤いられてきた評価物・評価ツールー質問紙ー評価問題ーワークシート・ノートの記述ー⾏動観察ーパフォーマンス課題これらの証拠をどのように位置づけるか︖
公共政策学における評価観点の援⽤ 12様々な証拠を位置づける理論的枠組みとして公共政策学のプログラム評価の観点を援⽤ー「学習指導法」と「公共政策」の類似性ー条件の統制が難しい集団に対する介⼊プログラムの評価の種類志向性セオリー評価 プログラムセオリーに基づく因果関係の設定やデザインは適切か︖プロセス評価 プログラムプロセスはプログラムセオリーに基づき正しく実施されているのか︖アウトカム評価 プログラムは対象集団に対してどのような影響を与えているのか︖プログラム評価の主要要素（名島，2018）理論的裏付け学習過程・学習活動平均効果
学習指導法の効果検証の観点 13学習指導法の効果検証の観点概要 アプローチ理論的裏付けその学習指導法は特定の教授・学習理論によって裏付けられているか関連する先⾏研究に基づく論証など学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など平均効果その学習指導法は学習者集団にどの程度効果があるのか統計的因果推論，ベイズ推定，交差遅延効果モデルなど
理論的裏付け 14●学術的な知⾒に基づいている学習指導法であるか︖理科の⽂脈でいうと，動機づけの諸理論，概念変容の諸理論など学習指導法の効果検証の観点概要 アプローチ理論的裏付けその学習指導法は特定の教授・学習理論によって裏付けられているか関連する先⾏研究に基づく論証など学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など平均効果その学習指導法は学習者集団にどの程度効果があるのか統計的因果推論，ベイズ推定，交差遅延効果モデルなど
学習過程・学習活動 15学習指導法の効果検証の観点概要 アプローチ理論的裏付けその学習指導法は特定の教授・学習理論によって裏付けられているか関連する先⾏研究に基づく論証など学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など平均効果その学習指導法は学習者集団にどの程度効果があるのか統計的因果推論，ベイズ推定，交差遅延効果モデルなど●学習者が意図通りの学習活動を実施できているか︖特定の教授・学習理論に基づいていたとしても，実際の学習過程や学習活動が意図しないものであれば，再検討する必要がある
平均効果 16学習指導法の効果検証の観点概要 アプローチ理論的裏付けその学習指導法は特定の教授・学習理論によって裏付けられているか関連する先⾏研究に基づく論証など学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など平均効果その学習指導法は学習者集団にどの程度効果があるのか統計的因果推論，ベイズ推定，交差遅延効果モデルなど●学習者集団の平均的な変容はどの程度か︖ー統計的仮説検定のロジックは背理法であるため，有意差がなかった場合には何も結論することができないー統計的因果推論やベイズ統計に基づく分析が妥当である
そのほか重要な観点 17●適切な情報開⽰実践した学校の周辺環境，教師・学習者の特性，教室⽂化などこれらの情報を踏まえたうえで，総合的に学習指導法の効果を評価することが重要である
学習指導法の効果を検証する研究デザイン（例） 18学習指導法の効果検証の観点概要 アプローチ理論的裏付けその学習指導法は特定の教授・学習理論によって裏付けられているか関連する先⾏研究に基づく論証など学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など平均効果その学習指導法は学習者集団にどの程度効果があるのか統計的因果推論，ベイズ推定，交差遅延効果モデルなど実践前 実践中 実践後・厳密な⽂献レビュー・RQ・構成概念の厳密な定義・妥当性・信頼性の⾼い評価⽅法の選択・統計的因果推論が可能な調査デザイン・実践前後のデータの収集・実践中のデータの収集・発話・⾏動・記述分析・統計的因果推論・ベイズ推定 など
まとめと今後の課題 19本研究の概要今後の課題ー学習指導法の効果の統合の⽅法ーメタ分析（ハッティ，2018）やメタエスノグラフィー（⿃⽥，2008）などを参考に検討する予定学習指導法の効果検証の観点概要 アプローチ理論的裏付けその学習指導法は特定の教授・学習理論によって裏付けられているか関連する先⾏研究に基づく論証など学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など平均効果その学習指導法は学習者集団にどの程度効果があるのか統計的因果推論，ベイズ推定，交差遅延効果モデルなど
unzaih
nttcom
hpprc
yuri00
sumauma
kazutoshishinoda
tatsuropianooo
kuanyi_n_n
kosuken
ryou0634
eqpresents
yuukicammy
speed1313
akosma
yeseniaperezcruz
bluesmoon
addyosmani
lara
colly
eitanlees
jmmastey
bcantrill
bryan
deanohume
tammielis