OpenAIは請負業者に対し、AIエージェントのパフォーマンスを評価するために過去の仕事から作業をアップロードするよう求めている

OpenAIが問いかけているのは サードパーティの請負業者が、現在または以前の職場から実際の割り当てやタスクをアップロードし、そのデータを使用して次世代のパフォーマンスを評価できるようにします。 AIモデル『WIRED』が入手したOpenAIとトレーニングデータ会社Handshake AIの記録によると。

このプロジェクトは、AI モデルと比較できるさまざまなタスクに対する人間のベースラインを確立するという OpenAI の取り組みの一環であるようです。 9月に同社は新たなサービスを開始した。 評価 さまざまな業界の人間の専門家に対する AI モデルのパフォーマンスを測定するプロセス。 OpenAIは、これがAGI、つまり最も経済的に価値のあるタスクにおいて人間を上回るAIシステムの実現に向けた進歩を示す重要な指標であると述べている。

OpenAI の機密文書の 1 つは、「私たちは、フルタイムの仕事で行ったタスクをモデルにした現実世界のタスクの収集を支援するために、さまざまな職業の人を雇いました。これにより、AI モデルがそれらのタスクでどの程度うまく機能するかを測定できるようになりました」と書かれています。 「あなたの職業で行った長期または複雑な作業（数時間または数日以上）の既存の部分を取り出し、それぞれをタスクに変換します。」

『WIRED』が閲覧したこのプロジェクトに関するOpenAIのプレゼンテーションによると、OpenAIは請負業者に対し、現在の仕事または過去に行ったタスクについて説明し、実際に行った作業例をアップロードするよう求めているという。それぞれの例は「Word doc、PDF、Powerpoint、Excel、画像、リポジトリなど、具体的な出力 (ファイルの概要ではなく、実際のファイル)」である必要があるとプレゼンテーションの注意事項に記載されています。 OpenAIによると、人々は特定のシナリオで現実的にどのように対応するかを示すために作成された捏造された作業例を共有することもできるという。

OpenAIとHandshake AIはコメントを控えた。

OpenAI のプレゼンテーションによると、現実世界のタスクには 2 つのコンポーネントがあります。タスク要求 (その人のマネージャーや同僚がその人にやるよう指示したこと) とタスクの成果物 (その要求に応じてその人が生み出した実際の作業) があります。同社は指示の中で、請負業者が共有する例はその人の「実際の現場での仕事」を反映するものであるべきだと何度も強調している。実は 終わり。”

OpenAI プレゼンテーションの一例では、「超富裕層向けの高級コンシェルジュ会社のシニア ライフスタイル マネージャー」からのタスクの概要が説明されています。目標は、「初めてバハマを旅行する家族のために、バハマへの 7 日間のヨット旅行の概要をまとめた 2 ページの短い PDF 草案を作成する」ことです。これには、家族の興味や旅程がどうあるべきかに関する追加の詳細が含まれます。次に、「経験豊富な人間の成果物」には、この場合請負業者がアップロードするもの、つまりクライアントのために作成された実際のバハマの旅程表が表示されます。

OpenAI は請負業者に対し、アップロードする作業ファイルから企業の知的財産と個人を特定できる情報を削除するよう指示します。 OpenAIは「重要な注意事項」と題されたセクションで、「個人情報、専有データまたは機密データ、重要な非公開情報（内部戦略、未発表の製品詳細など）を削除または匿名化する」よう従業員に指示している。

WIRED のドキュメントで閲覧されたファイルの 1 つに、「」と呼ばれる ChatGPT ツールについて言及されています。スーパースターのスクラブ」では、機密情報の削除方法についてアドバイスします。

ニール＆マクデビットの知的財産弁護士であるエヴァン・ブラウンは『WIRED』に対し、この規模で請負業者から機密情報を受け取っているAIラボは営業秘密横領の申し立ての対象となる可能性があると語った。以前の職場からの文書を、たとえスクラブされたものであっても AI 企業に提供する請負業者は、以前の雇用主との機密保持契約に違反したり、企業秘密を漏洩したりするリスクにさらされる可能性があります。

「AI ラボは、何が機密で何が機密でないかを決定するために請負業者に大きな信頼を置いています」とブラウン氏は言います。 「もし何かが漏洩した場合、AI ラボは何が企業秘密であり、何が企業秘密でないかを判断するのに本当に時間を費やしているのでしょうか? AI ラボは自らを大きなリスクにさらしているように私には思えます。」