1707933572
2024-02-14 13:45:15
Nvidiaがデモアプリケーションをリリース RTX とチャットする、これはすでにローカル ファイルの操作の将来を示しています。 既存の主要な言語モデルを活用します ラマ または ミストラルこれを使用すると、TXT、PDF、DOC/DOCX、XML ファイル、または YouTube のビデオやプレイリストを含むローカル フォルダーを挿入できます。
検索拡張生成 (RAG) と呼ばれる方法を使用すると、LLM でクエリに対する回答を生成するときに、モデルは実際のバックグラウンド データに依存できるため、生成されたテキストの幻覚や曖昧さを回避できます。
また、RTX を使用した Nvidia Chat はローカル データ上で純粋にローカルで実行されるため、高速であるだけでなく、同時に安全でもあります。 したがって、インターネット上のどこにも残すべきではない保護されたコンテンツに対してクエリを実行できます。 弁護士は法律や過去の判決を照会でき、技術者は他の方法では理解できない参考マニュアルを参照でき、医師は患者の医療記録を照会できます。
現時点での主な制限は、主に使用される言語モデルです。 これらは 1 台のコンピュータでローカルに実行するのが経済的ですが、チェコ語をまったく知らないか、非常に初期のほとんど使用できないバージョンです。 実際には、英語の基礎となるデータを使用して今日からのみ開始できます。 それでも、広く使用されることは間違いありませんが、熱意は抑えられなければなりません。 ローカルの ChatGPT 4 ではありません。
ハードウェア要件
より強力なハードウェアも必要になります。 少なくとも 8 GB のメモリを搭載した GeForce RTX シリーズ 30 または 40 グラフィックス カードが必要です。 安価な RTX 4050 または 4060 カードは、基本的なゲーム PC やラップトップと同様の量のグラフィックス メモリを備えていないため、より優れたカードが必要です。 しかし、これはまだ達成可能な要件であり、288 GB のメモリを搭載した NVIDIA GH200 Grace Hopper を探す必要はありません。
その他の要件は、Windows 11、16 GB のメモリ、最新の Nvidia ドライバーなど、すでに十分に達成可能です。
RTX とのチャットは、この基本バージョンであっても、ローカル言語モデルの可能性と限界をよく示しています。 インターネットから切り離された 1 台のコンピューター上で実行できるということは、限られた数の言語での単純な回答という形での譲歩を意味します。 同時に、言語モデルは通常のコンピューターでは見つけることができない大量のメモリを必要とします。
パフォーマンスと占有メモリに対する要求は、おそらくしばらくの間、コンピューター上の同様の言語モデルがバックグラウンドで永続的に準備できないことを示しています。 システムの通常の部分としては、あと数年は使用しないでしょうし、プロセッサに NPU ニューラル ユニットを直接追加しても、それは変わりません。
しかし、Nvidia によれば、これは単なるデモ アプリケーションですが、今日では、Chat with RTX は、ローカルに保存されたドキュメントから情報をマイニングする際に、多くの場合に非常に役立ちます。
#ファイルに問い合わせてください #Nvidia #Chat #RTX #を使用すると自宅のコンピューターで #チャットボットを開始できます #Živě.cz