DOM要素が存在しないアプリをAIに操作させる — Flutter/canvas製エディタを座標だけで攻略する手順
この記事で分かること
DOM要素が存在しないFlutterやcanvas製のエディタを、座標指定だけでAIに操作させる手順が得られる。具体的には、座標の取得方法と、AIエージェントに操作を指示するためのプロンプトの書き方が実用的なポイントとなる。
詳細要約
AIにDOM要素のないアプリを操作させるには、座標指定によるクリックと画像認識を組み合わせる。Flutterやcanvas製エディタでは要素のセレクタが使えないため、操作対象の画面上の位置を固定座標または相対座標で指定する。具体的には、アプリ起動後のウィンドウサイズを固定し、操作したいボタンや入力欄のピクセル位置を事前に計測してプロンプトに記述する。画像認識ツールと連携し、画面上の変化をトリガーに次の座標操作を実行する手順が有効。