手術ビデオで訓練されたロボットは人間のドキュメントと同じように動作します

熟練の外科医のビデオを見て初めて訓練されたロボットは、人間の医師と同じように巧みに同じ手術手順を実行した。

模倣学習をうまく活用することで、 電車 外科用ロボットは、医療処置中に必要な個々の動きでロボットをプログラムする必要性を排除し、ロボット手術の分野を真の自律性に近づけ、ロボットが人間の助けなしで複雑な手術を実行できるようにします。

調査結果ジョンズ・ホプキンス大学の研究者らが率いるこの研究グループは、今週ミュンヘンで開催されるロボット学習会議で注目を集めている。

「このモデルがあるのは本当に魔法のようで、カメラ入力を与えるだけで、手術に必要なロボットの動きを予測できるのです」と、主著者でジョンズ・ホプキンス大学機械工学部助教授のアクセル・クリーガー氏は言う。 「これは医療ロボットの新たなフロンティアに向けた重要な一歩となると信じています。」

研究者らは、模倣学習を利用して、外科手術に必要な 3 つの基本的なタスク (針の操作、体組織の持ち上げ、縫合) を実行できるようにダ ヴィンチ サージカル システム ロボットを訓練しました。いずれの場合も、チームのモデルで訓練されたロボットは人間の医師と同じように巧みに同じ手術手順を実行した。

このモデルは、ChatGPT を支える同じ機械学習アーキテクチャと模倣学習を組み合わせました。ただし、ChatGPT が単語とテキストを扱うのに対し、このモデルは運動学 (ロボットの動きの角度を数学に分解する言語) を使って「ロボット」を話します。

研究者らは、外科手術中にダヴィンチロボットのアームに装着されたリストカメラから記録された何百ものビデオをモデルに入力しました。これらのビデオは世界中の外科医によって記録され、術後の分析に使用され、アーカイブされます。世界中で約 7,000 台のダ ヴィンチ ロボットが使用されており、50,000 人以上の外科医が システムのトレーニングを受けた、ロボットが「模倣」するための大規模なデータのアーカイブを作成します。

ダヴィンチシステムは広く使用されているが、研究者らは、それが不正確であることで悪名高いと述べている。しかしチームは、欠陥のある入力を機能させる方法を発見しました。重要なのは、不正確な絶対的な動作ではなく、相対的な動作を実行するようにモデルをトレーニングすることでした。

「必要なのは画像入力だけです。そうすれば、この AI システムが適切なアクションを見つけます」と、筆頭著者でジョンズ・ホプキンス大学の博士研究員、ジ・ウン・“ブライアン”・キム氏は言う。 「数百のデモでも、このモデルは次のことができることがわかりました。 学ぶ この手順を確立し、これまでに遭遇したことのない新しい環境を一般化します。」

「このモデルは、私たちが教えていないことを学ぶのに非常に優れています」とクリーガー氏は付け加えます。 「針を落としても自動的に拾って継続してくれるのと同じです。これは私が教えたものではありません。」

このモデルを使用すれば、あらゆる種類の外科手術を実行できるようにロボットを迅速に訓練できる可能性があると研究者らは述べている。研究チームは現在、模倣学習を利用して、小さな手術作業だけでなく完全な手術を実行できるようにロボットを訓練している。

この進歩が起こる前は、手術の単純な側面であってもロボットをプログラミングするには、すべてのステップを手作業でコーディングする必要がありました。誰かが縫合のモデル化に10年を費やすかもしれない、とクリーガー氏は言う。それはたった 1 種類の手術のための縫合です。

「それは非常に制限的です」とクリーガー氏は言う。 「ここで新しいのは、さまざまな手順の模倣学習を収集するだけでよく、それを学習するロボットを数日で訓練できることです。これにより、医療ミスを減らし、より正確な手術を達成しながら、自律性の目標に向けて加速することができます。」

ジョンズ・ホプキンス大学とスタンフォード大学からも著者が追加されています。

ソース： ジョンズ・ホプキンス大学