EdTech の影響評価における 3 つのよくある落とし穴を回避する方法

ナタリア I. クシルコバ教授、ノルウェーのスタヴァンゲル大学および英国オープン大学の幼児発達教授

世界中で、主要な慈善団体が学習を改善するために教育テクノロジー (EdTech) に注目しています。子どもたちの学習を迅速、コスト効率よく、確実にサポートできるツールの特定を急ぐ中、「インパクト」が成功の中心的な尺度になっています。しかし、EdTech における教育効果を測定するのは決して簡単ではありません。理由はたくさんありますが、 広く議論されている 教育界では。ここでは、EdTech Impact 国際センターの所長として私が頻繁に遭遇する 3 つの落とし穴に焦点を当てます。

落とし穴 1: スコアの学習に使用される

多くのプロバイダーは、自社の製品がデフォルトで教育的であると確信しており、そのため、子供がアプリに何時間も費やしているため、何時間もの学習が得られると想定しています。 しかし、いくつかの研究では、子供たちが EdTech を利用しているだけではなく、 効果的に学習できない しかし、学習において挫折を経験することさえあるかもしれません。

ツールに費やした時間数は、 結果ではなくアウトプット。という仕組みです かもしれない 学習につながりますが、保証はありません。効果的に使用できるかどうかは、周波数と強度の適切なバランスを見つけることにかかっています。確かに、時間がかかりすぎると逆効果になる可能性があります。たとえば、カフート！ ～における教育上の利点を実証しました メタ分析、 しかし 特定の学生集団を対象とした研究 また、クイズを頻繁に行うとストレスレベルが上昇する可能性があることもわかっています。

したがって、学習上の利点が証明されている EdTech ツールであっても、バランスの取れた使用と、最適な学習をサポートする露出の量を理解することが不可欠です。

落とし穴 2: 心理測定による検証を行わない評価

多くの EdTech ツールには、アプリに組み込まれたクイズやテストが含まれています。これらはプロバイダーに既製のデータソースを提供し、「影響」を主張するための魅力的な近道を提供します。これは、特に学習チームと調達チームを検証するために研究者が派遣されていない環境で、プロバイダーが証拠として提示するものだけに頼っている状況でよく見られます。

子供が新しい単語を含む物語を読む早期読書アプリを想像してください。読み終わりに、子供は新しい単語を覚えたかどうかをテストする短いクイズに答えます。一部のアプリでは、子供が物語を読む前後に同じクイズを出題する場合があります。アプリプロバイダーは、多くの子供たちのデータを集計したところ、ほとんどの子供たちが物語を読んだ後、クイズで高得点を獲得していることを確認しました。 証拠、 彼らは言います、 アプリが子供たちに新しい単語を教えているということです。 しかし、研究者なら誰でも、それは実際の証拠ではないと言うでしょう。中心的な問題は、テストの心理測定の厳密さが欠けていることです。

あ 心理評価 クイズなどの機器が、測定対象を測定しているかどうか、時間の経過とともに確実に測定できるかどうか、結果を一般化できるかどうかを評価します。 EdTech プロバイダーによって開発されたほとんどのクイズ、アンケート、テストは研究者によって開発されたものではなく、社内スタッフによって開発されたものであるか、学習刺激に合わせて AI によって単純に生成されたものです。これらは標準化されたテストではないため、意図した学習目標とはまったく異なるものを測定する場合があります。

初期の算数アプリでクイズの心理測定特性を評価したところ、顕著な乖離が見つかりました。子どもたちはアプリのテストでは高得点を獲得していましたが、同じ子どもたちが教師が実施したテストでは成績が悪かったのです。アプリのテストを詳しく調べると、いくつかの質問は簡単すぎ、その他の質問は曖昧で、いくつかの質問は特定の数値概念ではなく一般的なパターン認識を評価していることがわかりました。

テストに埋め込まれたフィードバックは、子供たちにアプリ内で正しく答えることを教えましたが、テスト自体は子供たちの真の計算能力を測定するものではなく、テストに正しく応答する能力だけを測定していました。その結果、テストでは、実際には意図した概念の理解が進んでいないにもかかわらず、子供たちが初期の計算能力を習得しているという誤った印象を与えました。

開発者と資金提供者は、心理測定チェックを行わないアプリ内テストに依存すべきではありません。内部データが心理測定的に健全であることを確認するだけでなく、影響評価には外部データも含める必要があります。

落とし穴 3: 社内対策は十分であると考えられる

外部対策、つまり EdTech が収集する情報を超えて収集される情報は重要ですが、多くのプロバイダーは、独自のデータを持っているのになぜわざわざするのかと疑問に思っています。資金提供者もまた、データ収集者 (調査員) を雇ったり、有効なテストを設計するために研究者にお金を払ったりするにはコストと時間がかかるため、お金を節約したいという誘惑に駆られます。

これが問題となるのは、内部データは (心理測定的には適切であっても) 限られているためです。データは、子供がアプリ環境内で学習できることのみを測定します。その知識がアプリの外の知識に伝達されるかどうかは不明です。

外部データは、EdTech ツールの使用によるプラスの効果だけでなく、意図しない結果も示す可能性があります。たとえば、コーディング ソフトウェア Kodable を使用した研究では、 研究者が実施した 教室での直接観察により、ツールを使用して 1 週間後に子供たちがゲーム固有のコーディング スキルを習得したことが実証されました。別の研究で、ツールを使用して スピーチする そして イレブンラボ、 研究者が実施した 学生へのインタビューと調査の結果、これらの音声生成テクノロジーが言語的偏見とアクセントに基づく差別を永続させていることが判明しました。

研究調査などの一部の外部測定は、EdTech ツール自体に組み込むことができますが、バイアスが入り込む余地が生じます。プロバイダーはユーザーのパフォーマンス データを完全に把握できるため、アプリ内のアルゴリズムを調整して、ユーザーにとってより有利な結果を生み出すことができます。資金提供者や購入者に提示された場合、子供の見かけ上の「進歩」は、真の学習ではなく、デザインの選択を反映している可能性があります。

EdTech ツールの影響を真に理解するには、内部使用データを、資格のある研究者が独自に収集した外部データと組み合わせる必要があります。厳密な内部データと外部データを組み合わせ、明確な変化理論に従うことで、ツールが使用されていることを証明するだけでなく、それが実際に学習を向上させる理由と方法を示すことができます。混雑したEdTech市場において、政策立案者はまさにここに重点を置き、資金を投入して、学習を真に改善するツールとそれを主張するだけのツールを区別する厳格な影響評価に重点を置くべきだ。