Android自動化でUI Selector・OCR・画像認識を使い分ける
この記事で分かること
Android自動化において、UI Selector、OCR、画像認識の3手法を状況に応じて使い分ける基準が得られる。具体的には、UI要素の構造が安定している場面ではUI Selector、画像としてしか取得できないテキストにはOCR、レイアウトが動的な場面では画像認識を選ぶという判断軸を理解できる。
詳細要約
Android自動化では、操作対象の要素を特定する手法を状況に応じて切り替えることで、安定性と処理速度を両立できる。UI SelectorはアプリのUI構造が固定されている場面で最も高速かつ確実に要素を特定できるが、画像や動画プレイヤーなどテキスト情報が無い領域にはOCRが有効で、画面上の文字を読み取って操作する。画像認識は、アイコンやボタンの形状が変化しにくい場面で、座標に依存せずにタップ位置を特定できる。実際の使い分けでは、まずUI Selectorで要素が取得できるか試し、失敗した場合にOCRや画像認識へフォールバックする順序が推奨される。