はじめに

WinActorの画像マッチングを２つ組み合わせて、マウスドラッグ操作によってWEBページ内の範囲選択を行うサンプルシナリオ（以降、本サンプルシナリオ）について説明します。

本サンプルシナリオの概要

本サンプルシナリオは、以下の処理を行います。

• 選択対象のサンプルHTMLファイル(Input.html)をInternet Explorerで開きます。
• Internet Explorerの表示を先頭にします。
• Internet Explorerの表示ズーム倍率を100%にします。
• 「画像マッチング」によりマウスドラッグ操作を擬似し、WEBページを範囲選択します。
• 選択範囲の文字列をコピーします。

使用するWinActorモジュール

サンプルシナリオでは、以下のWinActorモジュールを使用します。

• 01_WinActor制御/06_シナリオ情報/シナリオファイル名取得.ums5
• 04_自動記録アクション/エミュレーション.ums5
  
• 07_文字列操作/03_連結/文字列の連結（３つ）.ums5
• 17_IE関連/URLを指定してIE起動.ums5
• ノード/アクション/画像マッチング
• ノード/アクション/指定時間待機
• プチライブラリ/23_ブラウザ関連/ブラウザのズームを100%にするライブラリ
  (プチライブラリはこちらからダウンロード可能です。)

動作確認環境

本サンプルシナリオは以下の環境で動作確認しています。

• Windows 10
• WinActor 5.3.0
  
• Internet Explorer 11

制限事項

ディスプレイ解像度が大きい環境(Full-HDよりも大きい解像度)やディスプレイの表示倍率を調整している場合はうまく動作しない可能性があります。

本サンプルシナリオの使い方

本サンプルシナリオの使い方は以下の通りです。

Step 1. サンプルシナリオの読み込み

ダウンロードしたZIPファイルを展開し、展開したフォルダに含まれている本サンプルシナリオをWinActorで読み込みます。

Step 2. サンプルシナリオの実行

WinActorで本サンプルシナリオを実行開始します。
サンプルシナリオを実行開始すると、サンプル入力ファイル(Input.html)を Internet Explorer 11 で開きます。
Internet Explorer 11 の画面上で文字列を選択し、テキストのコピーを行った後、1秒間待機します。

Step 3. サンプルシナリオ実行終了後の確認

Notepadなどの文字入力が可能なアプリケーションを開き、貼り付けを実施します。
本サンプルシナリオが正常に終了している場合、範囲選択された文字列が貼り付けられます。

トラブルシューティング

本サンプルシナリオがうまく動作しなかった場合、以下を確認してみてください。

サンプルシナリオ解説

本サンプルシナリオで使用している実装テクニックについて説明します。

マウスドラッグ操作を画像マッチングで疑似的に実現する

画像マッチングで以下の通り指定することにより、マウスドラッグ操作を疑似的に実現することができます。

• １つ目の画像マッチングで、マウスドラッグ開始位置を指定する。
  マウスドラッグ開始位置をマウス操作位置として指定し、アクションに「マウス移動のみ」を指定します。

  

• ２つ目の画像マッチングで、マウスドラッグ終了位置を指定する。
  マウスドラッグ終了位置をマウス操作位置として指定し、アクションに「「左クリックし、マッチング箇所までドラッグ」を指定します。

  

どちらの動作も、マウス操作位置を指定する際の原点（赤の点線、または水色で表示されるエリア）を、任意の場所に指定することができます。
しかし、表示文字列や枠線などを原点とした場合、フォントや文字色、線種、背景色、画面のサイズが変わったときなどに原点となる画像を見つけられなくなります。
そのため、できるだけ表示が変わらない画像を原点とすることをお勧めします。
また、ページ内に複数存在する画像を原点とすると、間違った場所にマッチすることになります。原点とする画像はページ上に１つしか存在しないものにすることをお勧めします。

画像マッチングの精度を上げるための処理

本サンプルシナリオは処理の中で、Internet Explorer 11を開いています。
通常、Internet Explorer 11を開いた直後は、ファイルの先頭を、ズーム倍率100%で開いている状態になりますが、ファイルを開いた状態でシナリオを実施した場合、すでに開かれているウィンドウが以下の状態になっている可能性があります。

• 先頭でない場所が表示されている。（画像マッチングの原点となる画像が見えない）
  
• ズーム倍率が100％以外である。

上記の状態になっている場合、そのままでは画像マッチングが正しく動くことができません。そのため本サンプルシナリオでは、画像マッチングの前に以下の動作を実施しています。

• エミュレーションにより、「HOME」キーを押し、先頭を表示する。
• エミュレーションにより、「Ctrl+0」キーを押し、100％の表示にする。

本サンプルシナリオの入力ファイルでは、原点となる画像を比較的先頭に配置していますが、画像マッチングの原点が画面先頭付近にない場合は、マウスクリックや検索動作などを疑似的に発生させて、画面スクロールする処理をする必要があります。

なお、上記の動作を組み込んでも、システムの設定が以下の通りになっている場合、画像マッチングで原点の画像を見つけることができません。

• Windows10のディスプレイ拡大縮小サイズが 100％ 以外となっている。

この場合は、Windows10の設定を見直してください。

変更履歴