Vision AIを使用して、クラウドアプリケーションをテストします

最近、Tricentis Toscaを検討して、そのテストスイートがアプリ開発ワークフローにどのように役立つかをよりよく理解しています。私の中で トスカに関する最後の記事、QRコードテストなど、ツールの視覚機能のいくつかについて書きました。 QRコードのテストは、アプリの特定の部分を検証するための効果的な方法が必要な場合に最適です。それから、トスカを発見しました ビジョンAI ツール。

テストツールにシステムがどのように機能するかについての簡単な視覚的な手がかりを与え、機能を構築してテストを合格させることを想像してください。それがこれらのツールが行うように設計されていることです。

ユーザーがアプリとの対話方法を反映するテストを作成することが重要です。しかし、インターフェイスがより視覚的になるにつれて、テストはより難しくなります。テストにアプリ固有のマークアップを含める必要がある可能性がありますが、これは理想的ではありません。テストで再構築するのではなく、アプリをテストすることになっています。それで、どのようにこれを避けますか？

この記事では、UIテストを技術的な実装の詳細から遠ざける方法について説明し、代わりに視覚的な手がかりを説明して、期待どおりに機能するようにします。飛び込みましょう！

モックアップ駆動型開発

Vision AIを使用すると、モックアップから始めて、実際のUIを後で構築できます。私は以前にこのようなことに遭遇したとは思わない。インターフェイスビジュアルに関しては、私は、残念ながら、私が望むよりも実装の詳細により密接に結びついているテストを構築することに慣れています。

そして、これらのテストは脆弱です。

Vision AIを使用すると、テストをプロトタイプに向け、目的の動作についてテストスイートを訓練できます。 ToscaのVision AIが使用されているため、「列車」と言います 畳み込みニューラルネットワーク その下には、コンピュータービジョンを使用してテストスイートを構築します。

Toscaの司令官では、Toscaにアプリケーションをスキャンするように指示し、使用したいアプリケーションに基づいて新しいテストモジュールを設定しました。 Webフォームのシンプルなワイヤーフレームを取り、Microsoft Paintで開きました。次に、画面スキャナーの選択した画面上の機能を使用して、ページから適切な要素を選択してテストモジュールを作成しました。

ご覧のとおり、ワイヤーフレームで描かれたボックスをクリックして、Toscaが「アプリケーション」をスキャンしたときに見たアイテムのリストからそれらを選ぶことができました。それだけでなく、トスカは、見た「フォーム」にモックアップが示すものを解析することができました。

そこから、テストを構築するために、私がする必要があるのは、私がトスカにフォームに入力したい値を提供することだけでした。

各フォーム要素にはその隣にアイコンがあり、トスカがフィールドを決定したもの（ドロップダウンやテキストフィールドなど）を示しました。のために 次 要素、トスカはそれがボタンであると判断しました。

テストを実行する時が来ました。トスカがここでやったことを見るのは大きな衝撃でしたが、良い意味で。コードをまったく書く必要はありませんでした。しかし、Toscaは、これらの同じフィールドを備えたデモサイトにデータを入力できます。デモフォームのフィールドは、モックアップとは異なる順序でさえありましたが、それは問題ではありませんでした。

Toscaがフォームをナビゲートすると、各フィールドまたは要素の重要なプロパティを探し、テストケースで要求されたアクションまたは入力を実行しました。 Toscaが各アイテムを見つけると、各ステップの成功または失敗のログが作成され、それを実装するために使用されるすべてのコードを抽象化します。

変化についていく

モックアップに基づいたテストスイートの構築に加えて、Vision AIは、テスト対象のページの重要性の低い部分に変更が加えられていても、テストをそのままに保つことができます。たとえば、TOSCAがフィールドの位置が変更されたことを検出した場合、以前にトレーニングしたテストを実行できます。 Toscaが同じフォームの別の実装を処理したが、2つの列を取り上げるために再構築された方法は次のとおりです。

トスカは位置の変更に対処できますが、ラベルのようなものが変更された場合、「自己回復」を試みることもできます。たとえば、ユーザーがクリックする必要があるボタンを検討して続行します。もともとフォームを作成したとき、ボタンラベルは 次、しかし、後で変更しました 続く。

トスカはまだ何をすべきかを認識することができます。私がする必要があるのは入ることだけでした Toscaのいくつかのテストパラメーターが自己修復テストを有効にする。 Vision AIは、さまざまなアルゴリズムを使用して、要素が実際に見つからないことを確認するまでテストを再試行します。

これが、ボタンラベルが変更された例の例では、合格テストがどのように見えるかです。 次 に 続く。

Toscaが予想したボタンラベルを見つけることができなかったとき、それは自己治癒し、そのモデルを更新して、代わりに見つけることができたラベルを使用しました。かなり素晴らしい！

ビジョンはすべてではありません

アプリケーションの視覚的な側面が十分にテストされていることを知ってうれしいです。ただし、アクセシビリティ（A11Y）も重要であることを覚えておくことが重要です。できるだけ多くの人がアプリケーションを使用できるようにします。 Toscaはコンピュータービジョンを使用して視覚的側面が期待どおりに機能していることを確認できますが、Tricentisはアクセシビリティのための開発ツールも設計しています。

Toscaの最新バージョンには、順守に関する情報を詳述した更新されたA11Yレポートがあります WCAG 2.2。テスト中の機能のこのレポートを生成できます。

アクセシビリティテストの追加は簡単で、追加のコーディングは必要ありません。ドラッグするだけです Webページのアクセシビリティを確認してください あなたのテストケースに、そしてToscaがあなたがテストしているサイトの状態の簡単な要約をあなたに提供します：

11の重要な問題を見つけることはかなり懸念されているようです！より深く見るために、A11Yレポートをエクスポートできます。 Toscaが報告すべき基準を選択することもできます。

結果がまとめられるとすぐに、私のレポートが開かれ、問題がどこにあり、何を修正する必要があるかについての役立つチャートが表示されました。幸いなことに、サイト全体で修正する必要があるものに関して、レポートは、私が恐れていたほど多くのことを持っていなかったことを示しました。

結論

Vision AIは、UIテストを簡素化および強化する可能性のある世界を開きます。モックアップから直接テストを構築することから、変更を簡単に処理することまで、動的で視覚的に複雑なアプリケーションを扱う人にとってはゲームチェンジャーです。時間を節約することだけではありません。テストプロセス全体をよりスマートにし、より信頼性が高く、脆性の実装の詳細とはあまり結びついていません。

私は可能なことの表面をかろうじて傷つけませんでしたが、私がこれまでに見たことは私を完全に感動させました。

アプリテストワークフローにどのように使用していますか？視覚インターフェイスのテスト（およびテストライティング）をより速くしていますか？あなたの物語を共有してください！

本当に素晴らしい一日を！