数的推論タスクのための推論から計算を切り離す

Wenhu Chen と他の 3 人の著者による、「Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks」というタイトルの論文の PDF を表示します。

PDFを見る

抽象的な：最近、複雑な数値推論タスクを解決するための段階的な推論を実行する言語モデルの教育において、大きな進歩が見られました。思考連鎖プロンプト (CoT) は、これらのタスクに対する最先端の方法です。 CoT は言語モデルを使用して、複数ステップの「思考」プロセスで推論と計算の両方を実行します。計算と推論を分離するために、言語モデル (主に Codex) を使用して推論プロセスをプログラムとして表現する「思考プログラム」(PoT) を提案します。計算は外部コンピュータに委任され、生成されたプログラムが実行されて答えが導き出されます。私たちは、5 つの数学文章問題データセット (GSM、AQuA、SVAMP、TabMWP、MultiArith) と 3 つの財務 QA データセット (FinQA、ConvFinQA、TATQA) について、少数ショット設定とゼロショット設定の両方で PoT を評価します。少数ショット設定とゼロショット設定の両方で、PoT は、評価されたすべてのデータセットにわたって、CoT に対して約 12% の平均パフォーマンス向上を示すことができます。 PoT と自己無撞着デコーディングを組み合わせることで、すべての数学問題データセットで SoTA のパフォーマンスを達成し、金融データセットで SoTA に近いパフォーマンスを達成できます。すべてのデータとコードは Github で公開されています この https URL