1732635174
2024-11-26 14:04:00
と訓練を受けました 1.5兆語イタリア語の大規模言語モデルのセキュリティ標準を向上させることを目的としています。このファミリーの最新バージョンは、11 月 26 日の朝、ローマのサピエンツァ大学で発表されました。 ミネルバカピトリーノ大学の人工知能言語モデル。正確に言うと、これは 7B であり、Cineca と協力して Leonardo スーパーコンピューターを利用可能にした FAIR (Future Artificial Intelligence Research) プロジェクトの文脈で開発されました。
ミネルバはLLMです イタリア語を「ゼロから」訓練された。コンピュータ工学科の自然言語処理正教授であるロベルト・ナヴィッリ氏率いるサピエンツァ NLP (自然言語処理) 研究グループによって作成されたこの計画は、Pnrr 資金のおかげで人工知能に関する国家戦略の一部となっています。
ミネルバ7Bの特徴
Navigli 氏がデモで示したように、Minerva 7B は昨年 4 月にオンライン公開されたものよりも強力なバージョンであり、強力です。 70億のパラメータ 前の 3 つとは対照的に、したがって、常にオープン ソースのデータに基づいて (つまり、保護されたデータベースや著作権で明確に保護されているものではなく、インターネットから取得したテキストに基づいて) テキストを記憶し、再推敲する能力が向上します。 LLM のパノラマにおける特徴的な要素です。 5 か月以上の絶え間ない作業の後、研究チームは、約 1 兆 5,000 億の単語に相当する、合計 2 兆 (数千億) を超えるトークンを含むこの新しいバージョンに到達しました。イタリア語で特別に作成された新しい命令の組み合わせにより、ミネルバ 7B はいわゆる「命令チューニングこれは、指示に従い、イタリア語でユーザーに話しかける能力を提供することを目的とした、人工知能モデルの高度なトレーニング手法です。
幻覚が減り、不適切なコンテンツがなくなる
この技術のおかげで、ミネルバはリクエストをより適切に解釈し、より適切で一貫性のあるコンテキストに適応した応答を生成することができ、これらのシステムが遭遇するいわゆる幻覚や下品な性的コンテンツの生成を可能な限り回避します。 、差別的で敏感。これは、すべてのチャットボットに関係する重要な問題であり、特に Sapienza チームの研究者が感じています。
ナヴィッリ：「ミネルヴァは常設の研究所だ」
ローマのプレゼンテーションには、サピエンツァ大学のアントネッラ・ポリメーニ学長、博覧会会長のジュゼッペ・デ・ピエトロ、そしてチネカの総監督アレッサンドラ・ポジャーニが出席した。 Navigli 氏はデモ中に、ストーリーの執筆、短いテキストの翻訳、要約のリクエストなど、モデルとのいくつかの会話を実演し、機密コンテンツや差別的なコンテンツを生成する可能性のあるリクエストに対するモデルの堅牢性を実証しました。 「私たちのコミットメントは、 一種の常設実験室でセキュリティと会話の側面を最大限に高める今日のリリースはマイルストーンではなく、 出発点 – プロジェクトマネージャーは強調する – 言語の事前トレーニングと会話と指示の両方に関するイタリア語の質の高いデータの不足は、今後数か月間で対処する予定の重要な問題の 1 つです。この観点から、私たちは、例えば、 出版界 編 公共団体 施設内でのミネルバの使用。 Minerva は、最初の、そして現時点で唯一の、完全にオープンなモデルであり、次のようなユーザーによる使用に適しています。 行政それはまさに、情報源とトレーニングプロセスが透明性があるからです。さらに、Sapienza のスピンオフとして成功した Babelscape のおかげで行われている技術移転を非常に誇りに思います。Babelscape は、LLM とそのアプリケーションのより強力で洗練された産業用バージョンに熱心に取り組んでいます。」
ミネルバを試す場所
このモデルは、次の場所から一般にアクセスできます。 https://minerva-llm.org 今後数週間以内にダウンロードできるようになる予定です。当然のことながら、テスト段階では、今後数日間に行われる会話に基づいてさらなる改良を行うことができます。私たちはミネルバといくつかの意見交換を試みましたが、時事問題に関して彼女が私たちに完全に従うことができない場合でも、プログラミングや、レシピからホームオートメーションのコード部分に至るまで、現在の文脈に関係のないその他のより広範な質問に関して、彼女は非常にうまく機能します。 「比較条件は大企業のモデルであることを忘れてはなりません。たとえば、ChatGPT の場合は何兆ものパラメータが存在します。Navigli 氏は次のように述べています。 イタリアの技術 – 7 という数字は、多くの産業用途にとって依然として有効な数字です。時事問題の多くの側面について、2023 年まで訓練を受けているにもかかわらず、おそらく最新ではない答えを提供することができます。 方向が明確になるまで （例えば、評議会議長の場合、「大統領」とは誰なのかを尋ねるだけで十分であり、モデルはマリオ・ドラギからジョルジア・メローニ編と答える）。私たちが何よりも重視したのは安全性でした。機密性の高い会話を検出すると、応答を拒否し、チャットを閉じます。 この意味で、イタリアにとって、これはまったく新しいことです。”。
「いくつかの企業がイタリア語でモデルのリリースを発表しました – たとえば、Almawave や Fastweb – 私たちはそれを示したかったのです。 学術研究の世界は最先端の分野に息づいており、迅速に前進することができます。 – マネージャーは説明します – ウェブへの接続も到着し、最新の研究だけでなく強化されます。 マルチモダリティたとえば、画像をプロンプトとして受信し、出力または相互参照として生成する機能です。 AIフェア拡大パートナーシッププロジェクトで他大学の仲間たちと来年から取り組んでいきます。」
近い将来の計画については、「モデルは当然オープンですが、現在はソフトローンチ段階にあり、モデルをさらに改善するためにユーザーとの会話が貴重です。今後数週間以内にダウンロードできるようになる予定です。そして私たちは次のことも考えています 専用のアプリケーション”。
「ラ・サピエンツァには、技術・科学研究の分野で優れた長い伝統があるとポリメーニ学長は付け加えた。近年では、人工知能などの戦略的分野における高度なスキルの開発への取り組みを強化し、学際的なアプローチを推進している」それは学術的な厳密さとイノベーション指向のビジョンを組み合わせたものです。ミネルバプロジェクトにより、私たちは社会と未来に奉仕してイノベーションと進歩の原動力となるという私たちの使命を確認します。」
#こちらは #Minerva #ですイタリアの新しい #LLM #はより強力でオープンソースに基づいています