人工知能における言語のグランドモデル – 原理と課題

モロッコの人工知能に関する一連のパネルディスカッションで、私は高等工科大学に注目しました。 東2024年5月23日木曜日、カサブランカのハッサン2世大学で、フランス人エンジニアのマレック氏は、 マリク・ガラブ そして彼の講義（フランス語）では、（人工知能における言語のグランドモデル：原則と課題）。

同氏は導入スピーチで、自己学習を使用した事前トレーニングが深層学習の分野で最も重要な最新技術の 1 つであることを強調しました。この技術では、自己学習を使用した学習を行わずに、まず大規模な言語モデルが膨大な量のテキストでトレーニングされます。これにより、高度な言語理解能力を獲得し、指示された方法でテキスト分類や質問と回答などの特定のタスクにカスタマイズできるようになります。 この事前トレーニングは、多くの言語タスクにおけるモデルのパフォーマンスの向上に大きく貢献しました。。

彼はクロード・シャノンのアイデアを引用した クロード・シャノン彼はフランスとヨーロッパにおける人工知能科学の先駆者の一人であり、誰もがその言語を話すことができ、言語的相互作用を通じて幼児期から徐々に習得すると述べました。 この知識には、単語の繰り返し、構造、それらの組み合わせ、既成の表現が含まれます。 これらの暗黙の統計に基づいて、話者は常に文や単語を予測し、言語上の誤りや単語の欠落を自動的に認識し、言語的に正常なものと言語的に異常なものを区別することができます。 この暗黙の統計的知識は、確率システムとしての言語の性質を示しています。。

同氏はまた、人工知能分野の研究者が一連の方法を通じて、言語モデルの値と人間の価値観の互換性を達成するために取り組んでいることを賞賛した。その中で最も重要なのは、人間との会話を通じてモデルをトレーニングし、段階的に学習することである。価値観を獲得する。 一部のモデルは倫理原則に従って設計されており、機械学習技術を使用して許容可能な行動に報酬を与え、望ましくない行動に対処します。 また、常にモデルを評価して、人間の価値観を確実に捉え、行動のバイアスや逸脱を軽減します。。

教授はまた、人工言語モデルとそれに関連する最も重要な課題についての考察もいくつか挙げました。 :

GPT-3 などのモデルには、スムーズかつ一貫した方法でテキストを生成する機能があります。 彼らは膨大な量のテキスト データを利用し、多くのトピックについて自然に話すことができますが、理解力はまだ限られています。 生成するものの意味を実際には理解しておらず、統計モデルを再現するだけです。 そのため、ミスや危険・違法な状況を検知することが困難です。。

これらのモデルはサイズが巨大であるため、学習したデータに存在するバイアスを再現するため、バイアスのリスクがあります。 これらの偏見、特に差別に関する偏見を減らすための取り組みが必要であり、これらのシステムは悪い目的（誤った情報、詐欺など）に悪用される可能性があるため、システムを保護することが重要です。 あるいは、危険な意見を生成するもう 1 つの課題は、これらのモデルが深層学習に依存しているため、明確さが欠如しており、そのため、モデルがどのようにして特定の結論に達するかを理解するための調査が困難であることです。 これは彼らへの信頼を低下させ、これらのシステムが人間社会における道徳、尊敬、共感の価値観と一致する意見を生成するには、価値観の一致が不可欠です。。

これらのモデルには大きな可能性がありますが、知性、強度、安全性、そしてその価値を人間の価値と一致させるという点で多くの課題が残されています。 これらの課題を解決するために、日々研究が進んでいます。

正しい倫理原則に従ってスマート モデルを設計することが重要であることを考慮すると、この分野のエンジニアの役割は、モデルがどのように動作すべきかに応じて原則と価値観を定義する倫理的フレームワークを開発することと、適切な倫理原則に従ってモデルを設計することです。構造とアルゴリズムを通じてこれらの原則の遵守を保証する方法、およびモデルの逸脱または非倫理的な動作を早期に検出するためのメカニズムを含める方法、およびモデルが倫理原則を遵守し続けていることを確認するための継続的な評価を実施する方法、モデルの動作を解釈し、その決定の理由を理解するための技術を開発し、倫理の専門家とのコミュニケーションを強化して倫理フレームワークの継続的な開発を確保します。これにより、エンジニアは安全なスマート モデルを設計する上で主な役割を果たします。

Malek Ghallab はフランスの科学者およびエンジニアであり、多くの学術的および実践的な業績を残しています。 彼は、1982 年にトゥールーズ大学でロボット工学の意思決定プロセスの改善の分野で博士号を取得しています。また、1974 年にフランス国立高等航空宇宙学校でエンジニアの証明書を取得しています。研究室、プログラム、学会の管理などの研究分野を担当し、その最後は2001年の設立以来、ロボット工学分野の学際的研究プログラム総局でした。また、フランス外務省に付属する最大の研究所の管理者でもありました。研究。。