マウスドラッグによる範囲選択を行うサンプルシナリオ

2019.02.19【04_自動記録アクション】

WinActorの画像マッチングを2つ組み合わせて、マウスドラッグ操作によってWEBページ内の範囲選択を行うサンプルシナリオとなります。

※本サンプルシナリオをダウンロードする前に、こちらの注意事項を必ずご確認ください。

DOWNLOAD
264.4 KB
マウスドラッグによる範囲選択を行うサンプルシナリオ

マウスドラッグによる範囲選択を行うサンプルシナリオ

はじめに

WinActorの画像マッチングを2つ組み合わせて、マウスドラッグ操作によってWEBページ内の範囲選択を行うサンプルシナリオ(以降、本サンプルシナリオ)について説明します。

注意事項

本サンプルシナリオ利用時の注意事項はこちらです。

本サンプルシナリオの概要

本サンプルシナリオは、以下の処理を行います。

  • 選択対象のサンプルHTMLファイル(Input.html)をInternet Explorerで開きます。
  • Internet Explorerの表示を先頭にします。
  • Internet Explorerの表示ズーム倍率を100%にします。
  • 「画像マッチング」によりマウスドラッグ操作を擬似し、WEBページを範囲選択します。
  • 選択範囲の文字列をコピーします。

使用するWinActorモジュール

サンプルシナリオでは、以下のWinActorモジュールを使用します。

  • 01_WinActor制御/06_シナリオ情報/シナリオファイル名取得.ums5
  • 04_自動記録アクション/エミュレーション.ums5
  • 07_文字列操作/03_連結/文字列の連結(3つ).ums5
  • 17_IE関連/URLを指定してIE起動.ums5
  • ノード/アクション/画像マッチング
  • ノード/アクション/指定時間待機
  • プチライブラリ/23_ブラウザ関連/ブラウザのズームを100%にするライブラリ
    (プチライブラリはこちらからダウンロード可能です。)

動作確認環境

本サンプルシナリオは以下の環境で動作確認しています。

  • Windows 10
  • WinActor 5.3.0
  • Internet Explorer 11

制限事項

ディスプレイ解像度が大きい環境(Full-HDよりも大きい解像度)やディスプレイの表示倍率を調整している場合はうまく動作しない可能性があります。

本サンプルシナリオの使い方

本サンプルシナリオの使い方は以下の通りです。

Step 1. サンプルシナリオの読み込み

ダウンロードしたZIPファイルを展開し、展開したフォルダに含まれている本サンプルシナリオをWinActorで読み込みます。

Step 2. サンプルシナリオの実行

WinActorで本サンプルシナリオを実行開始します。
サンプルシナリオを実行開始すると、サンプル入力ファイル(Input.html)を Internet Explorer 11 で開きます。
Internet Explorer 11 の画面上で文字列を選択し、テキストのコピーを行った後、1秒間待機します。

Step 3. サンプルシナリオ実行終了後の確認

Notepadなどの文字入力が可能なアプリケーションを開き、貼り付けを実施します。
本サンプルシナリオが正常に終了している場合、範囲選択された文字列が貼り付けられます。

トラブルシューティング

本サンプルシナリオがうまく動作しなかった場合、以下を確認してみてください。

発生現象 確認内容
「Internet Explorer 11の設定」のダイアログが出た。 「Internet Explorer 11の設定」を行ってから、再度本サンプルシナリオを実施してください。
「Internet Explorer 11が起動できません。」等のメッセージが表示された。 Internet Explorer 11が起動できなかったことを示します。Internet Explorer 11が起動可能なことを確認してから、再度本サンプルシナリオを実施してください。
「ウィンドウ識別名 マウスドラッグでの範囲選択テスト用ページ-Internet Explorer に一致するウィンドウが存在しません。」のメッセージが表示された。 サンプル入力ファイル(Input.html) が Internet Explorer 11 上に表示されていないことを示します。
Input.htmlがサンプルシナリオと同じディレクトリにあるか、Internet Explorer 11を起動して初期画面が表示できる状態かを確認してください。
「マッチング画像が存在しません。」のメッセージが表示された。 サンプル入力ファイルは表示されているのに、原点とする画像が見つからなかったことを示します。以下の問題がないか確認してください。
・ディスプレイ拡大縮小サイズが100%以外である。
・Internet Explorer 11起動時の表示が小さすぎて、画像が画面上に表示されていない。

サンプルシナリオ解説

本サンプルシナリオで使用している実装テクニックについて説明します。

マウスドラッグ操作を画像マッチングで疑似的に実現する

画像マッチングで以下の通り指定することにより、マウスドラッグ操作を疑似的に実現することができます。

  • 1つ目の画像マッチングで、マウスドラッグ開始位置を指定する。
    マウスドラッグ開始位置をマウス操作位置として指定し、アクションに「マウス移動のみ」を指定します。

    マウスドラッグ開始位置の指定
    マウスドラッグ開始位置の指定
  • 2つ目の画像マッチングで、マウスドラッグ終了位置を指定する。
    マウスドラッグ終了位置をマウス操作位置として指定し、アクションに「「左クリックし、マッチング箇所までドラッグ」を指定します。

    マウスドラッグ終了位置の指定
    マウスドラッグ終了位置の指定

どちらの動作も、マウス操作位置を指定する際の原点(赤の点線、または水色で表示されるエリア)を、任意の場所に指定することができます。
しかし、表示文字列や枠線などを原点とした場合、フォントや文字色、線種、背景色、画面のサイズが変わったときなどに原点となる画像を見つけられなくなります。
そのため、できるだけ表示が変わらない画像を原点とすることをお勧めします。
また、ページ内に複数存在する画像を原点とすると、間違った場所にマッチすることになります。原点とする画像はページ上に1つしか存在しないものにすることをお勧めします。

画像マッチングの精度を上げるための処理

本サンプルシナリオは処理の中で、Internet Explorer 11を開いています。
通常、Internet Explorer 11を開いた直後は、ファイルの先頭を、ズーム倍率100%で開いている状態になりますが、ファイルを開いた状態でシナリオを実施した場合、すでに開かれているウィンドウが以下の状態になっている可能性があります。

  • 先頭でない場所が表示されている。(画像マッチングの原点となる画像が見えない)
  • ズーム倍率が100%以外である。

上記の状態になっている場合、そのままでは画像マッチングが正しく動くことができません。そのため本サンプルシナリオでは、画像マッチングの前に以下の動作を実施しています。

  • エミュレーションにより、「HOME」キーを押し、先頭を表示する。
  • エミュレーションにより、「Ctrl+0」キーを押し、100%の表示にする。

本サンプルシナリオの入力ファイルでは、原点となる画像を比較的先頭に配置していますが、画像マッチングの原点が画面先頭付近にない場合は、マウスクリックや検索動作などを疑似的に発生させて、画面スクロールする処理をする必要があります。

なお、上記の動作を組み込んでも、システムの設定が以下の通りになっている場合、画像マッチングで原点の画像を見つけることができません。

  • Windows10のディスプレイ拡大縮小サイズが 100% 以外となっている。

この場合は、Windows10の設定を見直してください。

変更履歴

版数 日付 修正内容
1.0版 2019/02/19 初版
Twitterでシェア Facebookでシェア
ページの最上部に移動します