SikuliXには、スクリプト作成をサポートするSikuliX用統合開発環境「SikuliX IDE」が提供されています。
スクリプトの編集と実行のための基本的な機能として、「ビジュアルワークフローに必要なイメージ作成機能」「ワークフロー作成機能」「スクリプトエディタ」を備えています。
「SikuliX IDE」を利用することで、プログラミングを習得していなくても、簡単に繰り返しタスクを自動化できます。
SikuliXは、HTMLなどの構造を把握するのではなく、画像をオブジェクトとして認識することで自動操作対象とする点が特徴です。
画像解析ライブラリ「OpenCV」を使用して画像認識を行い、操作対象となるUIコンポーネントをオブジェクトとして認識します。
画像ベースで処理するため、独自アプリケーションなど、ソースコード(内部構造)にアクセスできない場合でも対応できます。
「画面から取得したWebコンポーネントスクリーンショット」と「実際に表示されているWebコンポーネント」のマッチングは、OSの内部機能を利用せずにOpenCVを使用して行います。
OpenCVの動作はOSに依存しない実装になっているため、SikuliXは、WindowsやLinuxなど、OSに依存せずに使用できます。
SikuliXには、テキスト認識(OCR)機能も付属しており、イメージ内のテキストを検索するために使用できます。
手書き文字に対する認識精度はそれほど高くはありませんが、PCに表示されるテキスト文字であれば実用可能なケースもあります。
この機能は、光学文字認識エンジンである「Tess4J」や「Tesseract」によって提供されています。
→GitHub →tesseract-ocr/tesseract
「SikuliXスクリプトを実行しているシステム」または「SikuliX機能を使用しているアプリケーション」は実際の画面に接続され、なおかつ、表示されている必要があります。
SikuliXは実際の画面を監視する必要があるため、スリープモードやスクリーンセーバー表示などで対象アプリケーションが非表示となると、SikuliXは機能できません。
ユーザーがシステムを操作して、画面上で何が起こっているのかを見ることができる状態になっている必要があります。
OSS×Cloud ACCESS RANKING