世界

検証手法は、科学者がより正確な予測を行うのに役立つ可能性があります| MITニュース

ドアを出る前に傘をつかむべきですか？天気予報を事前に確認することは、その予測が正確である場合にのみ役立ちます。天気予報や大気汚染の推定など、空間予測の問題には、他の場所での既知の値に基づいて新しい場所の変数の値を予測することが含まれます。科学者は通常、実証済みの検証方法を使用して、これらの予測を信頼する量を判断します。しかし、MITの研究者は、これらの一般的な検証方法が空間予測タスクでは非常にひどく失敗する可能性があることを示しています。これは、実際にはそうではない場合、予測が正確であるか、新しい予測方法が効果的であると信じるようになるかもしれません。研究者は、予測検証法を評価する手法を開発し、それを使用して、2つの古典的な方法が空間的な問題で実質的に間違っている可能性があることを証明しました。次に、これらの方法が故障する理由を決定し、空間予測に使用されるデータの種類を処理するように設計された新しい方法を作成しました。実際のデータとシミュレートされたデータを使用した実験では、それらの新しい方法は、2つの最も一般的な手法よりも正確な検証を提供しました。研究者は、シカゴO-Hare空港での風速の予測や5つの米国メトロの場所での気温の予測など、現実的な空間問題を使用して各方法を評価しました。彼らの検証方法は、気候科学者が海面温度を予測するのを支援することから、特定の疾患に対する大気汚染の影響を推定する疫学者を支援することまで、さまざまな問題に適用できます。「うまくいけば、これは、人々が新しい予測方法を思いついたとき、より信頼性の高い評価につながり、方法のパフォーマンスをうまく理解することにつながるでしょう」と、MITの電気工学およびコンピューターサイエンス学科（EECS）の准教授であるTamara Broderick氏は述べています。 、情報および意思決定システムの研究室およびデータ、システム、社会の研究所、およびコンピューターサイエンスおよび人工知能研究所（CSAIL）の関連会社。Broderickが参加します 紙 主著者とMITポスドクデイビッドR.バートとEECSの大学院生Yunyi Shen。この研究は、人工知能と統計に関する国際会議で発表されます。検証の評価Broderickのグループは最近、海洋学者や大気科学者と協力して、強力な空間コンポーネントの問題に使用できる機械学習予測モデルを開発しました。この作業を通じて、彼らは、従来の検証方法が空間設定で不正確になる可能性があることに気付きました。これらの方法は、検証データと呼ばれる少量のトレーニングデータを保持し、それを使用して予測子の精度を評価します。従来の方法では、検証データとテストデータは独立しており、同一に分散されていると想定しています。これは、データポイントの値が他のデータポイントに依存しないことを意味します。しかし、空間的アプリケーションでは、これはしばしばそうではありません。たとえば、科学者はEPA大気汚染センサーの検証データを使用して、保全地域の大気汚染を予測する方法の精度をテストしている可能性があります。ただし、EPAセンサーは独立していません。他のセンサーの位置に基づいて配置されました。さらに、おそらく検証データは都市近くのEPAセンサーからのものであり、保全サイトは農村部にあります。これらのデータは異なる場所からのものであるため、おそらく異なる統計的特性を持っているため、同一に分布していません。「私たちの実験は、検証方法によって行われたこれらの仮定が崩壊した場合、空間ケースで本当に間違った答えを得ることを示しました」とブロデリックは言います。研究者は、新しい仮定を考え出す必要がありました。具体的には空間さまざまな場所からデータが収集される空間コンテキストについて特に考えると、検証データとテストデータが空間でスムーズに異なると仮定するメソッドを設計しました。たとえば、大気汚染レベルは、2つの近隣の家の間で劇的に変化する可能性は低いです。「この規則性の仮定は、多くの空間プロセスに適しており、空間ドメインの空間予測因子を評価する方法を作成することができます。私たちの知る限り、誰も、より良いアプローチを思いつくために何がうまくいかなかったかについて、体系的な理論的評価をしていません」とブロデリックは言います。評価手法を使用するために、予測因子、予測する場所、および検証データを入力し、自動的に残りを行います。最終的に、問題の場所に対する予測子の予測がどれほど正確であるかを推定します。しかし、彼らの検証手法を効果的に評価することは課題であることが証明されました。「私たちは方法を評価しているのではなく、代わりに評価を評価しています。だから、私たちは一歩下がって、慎重に考え、使用できる適切な実験について創造的になりなければなりませんでした」とブロデリックは説明します。第一に、彼らはシミュレートされたデータを使用していくつかのテストを設計しました。これにより、非現実的な側面がありましたが、重要なパラメーターを慎重に制御することができました。次に、実際のデータを変更することにより、より現実的な半シミュレーションデータを作成しました。最後に、彼らはいくつかの実験に実際のデータを使用しました。その場所に基づいてイングランドのフラットの価格を予測し、風速を予測するなど、現実的な問題からの3種類のデータを使用することで、包括的な評価を実施することができました。ほとんどの実験では、それらの手法は、それを比較した従来の方法よりも正確でした。将来、研究者はこれらの手法を適用して、空間設定の不確実性の定量化を改善することを計画しています。また、通常の仮定が時系列データなどの予測因子のパフォーマンスを改善できる他の領域を見つけたいと考えています。この研究は、一部、国立科学財団と海軍研究局によって資金提供されています。 #検証手法は科学者がより正確な予測を行うのに役立つ可能性があります #MITニュース