はじめに

WinActorEyeの「ヒストグラム探索」および「OCRツール」の2つの方法で、チュートリアルページの「登録」ボタンを探すサンプルシナリオ(以降、本サンプルシナリオ)です。
なお本サンプルシナリオは「WinActorEye シナリオ作成マニュアル」のシナリオ作成チュートリアルに従って作成したシナリオ(Eyeヒスト・OCRサンプル.ums6)と同一のものになります。
本ドキュメントで参照しているマニュアルは、WinActor 6.3.0のものを前提としております。

本サンプルシナリオの概要

本サンプルシナリオは、以下の処理を行います。
2-Aと2-Bは、サブルーチン呼び出しを用いていずれかを実行します。
詳細は「WinActorEye シナリオ作成マニュアル」を参照してください。

• 1 前処理
  • 対象ウィンドウ(チュートリアルページ)を前面化します。
• 2-A ヒストグラム探索
  • スナップショット機能によって対象ウィンドウをキャプチャします。
  • 事前に作成したチュートリアルページの「登録」ボタンを切り取った画像(以降、登録マッチング画像)をWinActorEyeで読み込みます。
  • ヒストグラム探索を実行し、対象ウィンドウ上の「登録」ボタンの位置を探索します。
  • 「登録」ボタンの位置からクリックさせる座標情報を抽出します。
• 2-B OCRツール
  • スナップショット機能によって対象ウィンドウをキャプチャします。
  • OCRツールによって対象ウィンドウのキャプチャ画像上の文字をテキスト情報と矩形情報に変換します。
  • クリップボードに出力したテキスト情報からWinActorノート上で「登録」を検索します。
  • 対象ウィンドウのキャプチャ画像上の「登録」ボタンの座標情報を抽出します。
• 3 後処理
  • WinActorEyeから「登録」ボタンの座標情報を取得します。
  • 対象ウィンドウの位置情報と「登録」ボタンの座標情報を加算します。
  • マウスを「登録」ボタンの位置に移動させ、対象ウィンドウ前面化後に左クリックします。

使用するWinActorモジュール

本サンプルシナリオでは、以下のWinActorモジュールを使用します。

• ノード/ユーザ/待機ボックス
• ノード/変数/四則演算
• ノード/変数/変数値設定
• 11_ウィンドウ関連/画面サイズ、位置取得.ums6
• 11_ウィンドウ関連/ウィンドウ前面化.ums6
• 12_マウス関連/マウス移動.ums6
• 12_マウス関連/マウス左クリック.ums6
• 25_WinActorノート/マクロ読込み実行.ums6
• 25_WinActorノート/動作モード変更.ums6
• 25_WinActorノート/状態読み取り.ums6
• 26_WinActorEye/Eye:マクロ読込み実行.ums6
• 26_WinActorEye/座標情報取得.ums6

動作確認環境

本サンプルシナリオは以下の環境で動作確認しています。

• Windows 10
• WinActor 6.3.0、WinActor 7.1.0
• Internet Explorer11 11.535.18362.0
• .NET Framework 4.8
• ディスプレイの解像度 1920×1080

制限事項

本サンプルシナリオでOCRツールを使用する場合、「WinActorEye 操作マニュアル」の「推奨環境」のソフトウェア環境を満たしている必要があります。
※ヒストグラム探索は上記のソフトウェア環境を満たしていない環境でもご利用になれます。

本サンプルシナリオの使い方

本サンプルシナリオの使い方は以下の通りです。
「WinActorEye シナリオ作成マニュアル」を参考に実行してください。
事前にチュートリアルページをInternet Explorerで開いてください。

Step 1. サンプルシナリオの読み込み

ダウンロードしたZIPファイルを展開し、展開したフォルダに含まれている本サンプルシナリオをWinActorで読み込みます。

Step 2. 動作に必要な変数の設定

本サンプルシナリオを実行するために必要な値を、変数一覧で設定します。

• 座標リソース名
  • WinActorEyeからWinActorへ渡す座標リソースを指定します。(WinActorEyeのマクロを変更し、出力する座標リソース名が変わる場合は設定し直してください。)
• インデックス
  • WinActorEyeで出力した座標リソースから取得したい座標情報の要素数を指定します。(一つしか座標情報が出力されない場合は0を設定してください。)

Step 3. 使用したい機能の選択

使用したい探索方法を選択します。

Step 4. サンプルシナリオの実行

WinActorで本サンプルシナリオを実行します。

Step 5. サンプルシナリオ実行終了後の確認

シナリオ実行が成功した場合、チュートリアルページは以下のようになります。

トラブルシューティング

本サンプルシナリオでエラーが発生した場合、以下を確認してください。

サンプルシナリオ解説

本サンプルシナリオで使用している実装テクニックについて説明します。

探索対象とするウィンドウを変更したい場合

探索対象とするウィンドウを変更する場合は以下の手順でシナリオおよびマクロファイルを修正してください。
探索目的の画像(「登録」ボタン)を変更する場合は、「WinActorEye シナリオ作成マニュアル」の「WinActorEyeのヒストグラム探索用のマクロ作成」を参考にマクロファイルを作成してください。

Step 1. ウィンドウ識別名の再設定[シナリオの編集]

フローチャート画面内において「ウィンドウ識別名を設定」という付箋がついたライブラリのウィンドウ識別名を全て設定しなおしてください。

Step 2. WinActorEyeのマクロファイルの読込み[マクロの編集]

WinActorEyeのマクロ編集画面でマクロファイルを開きます。

• マクロファイル
  • ヒストグラム探索の場合、「ヒストグラム探索.json」
  • OCRツールの場合、「MSOCR実行.json」

Step 3. コマンド名「capture」の削除[マクロの編集]

コマンド名「capture」を含む行を削除します。

Step 4. コマンドの再記録[マクロの編集]

マクロ記録を有効にした状態でスナップショット機能で対象ウィンドウをキャプチャします。

Step 5. コマンドの移動とマクロファイルの保存

Step 4で記録したコマンド名「capture」をStep 3で削除した位置に移動後、マクロファイルを保存します。

※保存時にファイル名を変更した場合、フローチャート画面の「Eye:マクロ読込み実行」もマクロファイル名を変更する必要があります。
※ウィンドウタイトルを変更した場合、「histMatch」上の入力画像リソースも変更してください。

探す文字を変更したい場合

OCRツールの読取結果から探す文字を変更する場合は以下の手順でマクロファイルを修正してください。
文字読み取りするウィンドウを変更する場合は、「WinActorEye シナリオ作成マニュアル」の以下の節を参考にWinActorEyeとWinActorノートのマクロファイルを作成してください。

• 「WinActorEyeのOCRツール用のマクロ作成」
• 「WinActorノートのOCRツール用のマクロ作成」

Step 1. WinActorノートのマクロファイルを読込み[マクロの編集]

WinActorノートのマクロ編集画面で「登録を検索.json」を開きます。

Step 2. コマンド名「search」のマクロ項目編集画面を表示[マクロの編集]

コマンド名「search」をダブルクリックし、マクロ項目編集画面を表示させます。

Step 3. パラメータの修正およびマクロファイルの保存[マクロの編集]

「-action」パラメータの第2引数を「登録」から任意の文字に修正します。
マクロ項目編集画面のOKボタンを押下後、マクロファイルを保存します。

変更履歴