視覚障害のあるプログラマーでも 3D モデリングにアクセスできるようになりました

ほとんどの 3D デザイン ソフトウェアでは視覚的なドラッグと回転が必要であり、視覚障害のあるユーザーにとっては課題となっています。その結果、さまざまなハードウェア設計、ロボット工学、コーディング、エンジニアリング作業が必要になります。 興味のあるプログラマーにはアクセスできません。視覚障害のあるプログラマーは素晴らしいコードを書くかもしれません。しかし、アクセス可能なモデリング ソフトウェアが不足しているため、プログラマーはシステムの物理コンポーネントと仮想コンポーネントをモデリング、設計、検証することができません。

しかし、新しい 3D モデリング ツールにより、この方程式が変わり始めています。 A11yShape と呼ばれる新しいプロトタイプ プログラムは、ギャップを埋めることを目的としています。人気の OpenSCAD ソフトウェアなど、ユーザーが 3D モデルをテキストで記述できるコードベースのツールはすでに存在します。他の最近の大規模言語モデル ツールは、自然言語プロンプトから 3D コードを生成します。しかし、これらを使用しても、目の見えないプログラマーや弱視のプログラマーは、コードとそのビジュアル出力の間のギャップを埋めるために、依然として視覚に訴えるフィードバックに依存しています。

視覚障害者や弱視のプログラマーは、以前はモデルのすべての更新を視覚的にチェックして何が変更されたのかを説明するために、晴眼者に頼らなければなりませんでした。しかし、A11yShape を使用すると、目の見えないプログラマーや弱視のプログラマーが、晴眼者に頼ることなく、独立して 3D モデルを作成、検査、改良することができます。

A11yShape は、アクセス可能なモデルの説明を生成し、モデルをセマンティック階層に編成し、すべてのステップがスクリーン リーダーで確実に機能するようにすることでこれを実現します。。

プロジェクトが始まったのは、 梁和テキサス大学ダラス校コンピューターサイエンス助教授は、3D モデリングを研究している弱視のクラスメートと話しました。彼は、クラスメートのコーディング戦略を変える機会があると考えました。 視覚障害のあるプログラマーのための 3D モデリング コース ワシントン大学で合理化されたツールに変換されました。

「グループにとって便利で実用的なものをデザインしたいと思っています」と彼は言います。 「私が想像力から作り出し、グループに適用したものだけではありません。」

OpenSCAD を使用して支援 3D 設計を再考する

A11yShape は、ユーザーがスクリプトベースの 3D モデリング エディターである OpenSCAD を実行していることを前提としています。 このプログラムは、3 つのアプリケーション UI パネルにわたってモデリングの各コンポーネントを接続する OpenSCAD 機能を追加します。

OpenSCAD を使用すると、ユーザーは完全に入力だけでモデルを作成できるため、クリックやドラッグの必要がなくなります。他の一般的なグラフィックベースのユーザー インターフェイスは、視覚障害のあるプログラマーにとって操作が困難です。

A11yshape には AI Assistance パネルが導入されており、ユーザーはリアルタイム クエリを ChatGPT-4o に送信して、設計上の決定を検証し、既存の OpenSCAD スクリプトをデバッグできます。

A11yShape の 3 つのパネルはコード、AI 記述、モデル構造を同期するため、盲目のプログラマーはコードの変更が設計にどのような影響を与えるかを独自に発見できます。郭安宏、梁和 他

ユーザーがコードまたはモデル コンポーネントを選択すると、A11yShape は 3 つのパネルすべてで一致する部分を強調表示し、説明を更新するため、視覚障害のあるユーザーは自分が何を作業しているのかを常に把握できます。

ユーザーフィードバックの改善されたアクセシブルなインターフェイス

研究チームは、さまざまな視覚障害とプログラミングの背景を持つ 4 人の参加者を募集しました。チームは参加者に A11yShape を使用してモデルを設計するように依頼し、そのワークフローを観察しました。

これまでモデルをしたことがなかったある参加者は、このツールは「 [the blind and low-vision community] 3D モデリングに新しい視点を加え、比較的単純な構造を実際に作成できることを実証しました。」

参加者はまた、長いテキストの説明では依然として複雑な形状を把握するのが難しいと報告し、最終的に物理モデルに触れるか、触覚ディスプレイを使用しないと、頭の中でデザインを完全に「見る」のは難しいと何人かが述べた。

AI が生成した説明の正確さを評価するために、研究チームは 15 人の晴眼者の参加者を募集しました。 「幾何学的な正確さ、明瞭さ、幻覚の回避に関して、1 ～ 5 のスケールで説明は約 4.1 ～ 5 の平均スコアを獲得しました。これは、AI が日常使用に十分な信頼性があることを示唆しています。」

視覚障害のあるプログラマー向けの新しい支援プログラムである A11yShape は、視覚障害のあるプログラマーがモデルの設計を検証するのを支援します。出典: Anhong Guo、Liang He、他。

フィードバックは将来の反復に情報を提供するのに役立ちます。これにより、触覚ディスプレイ、リアルタイム 3D プリンティング、AI が生成するより簡潔な音声説明が統合される可能性があると彼は言います。

プロのコンピューター プログラミング コミュニティでの応用を超えて、A11yShape は視覚障害者や弱視のコンピューター プログラミングへの参入障壁も下げると彼は指摘しました。 学習者。

「人々は、創造的な方法で自分自身を表現できることを好みます。…3D プリントなどのテクノロジーを使用して、実用性や娯楽のためのものを作ります」と、DiscoverABILITY Lab のディレクターであり、ノース テキサス大学コンピューター科学工学部の教授であるステファニー ルディは言います。 「視覚障害者もその関心を共有しています」A11yShape は、メーカー コミュニティでのアクセシビリティをサポートするモデルとして機能します。」

チームは 10 月にデンバーで開催された ASSETS カンファレンスで A11yshape を発表しました。