「SikuliX」の主な特徴として、「SikuliX IDE」「画像認識機能」「テキスト認識機能」「リアルスクリーン表示が必要」について紹介します。

「SikuliX」の主な特徴

「SikuliX」の主な特徴として、「SikuliX IDE」「画像認識機能」「テキスト認識機能」「リアルスクリーン表示が必要」について紹介します。

■関連する比較ページ

「SikuliX」の主な特徴

■SikuliX IDE

SikuliXには、スクリプト作成をサポートするSikuliX用統合開発環境「SikuliX IDE」が提供されています。

スクリプトの編集と実行のための基本的な機能として、「ビジュアルワークフローに必要なイメージ作成機能」「ワークフロー作成機能」「スクリプトエディタ」を備えています。

「SikuliX IDE」を利用することで、プログラミングを習得していなくても、簡単に繰り返しタスクを自動化できます。

■画像認識機能

画像をオブジェクトとして認識

SikuliXは、HTMLなどの構造を把握するのではなく、画像をオブジェクトとして認識することで自動操作対象とする点が特徴です。

画像解析ライブラリ「OpenCV」を使用して画像認識を行い、操作対象となるUIコンポーネントをオブジェクトとして認識します。

https://opencv.org/

独自アプリケーションにも対応可能

画像ベースで処理するため、独自アプリケーションなど、ソースコード(内部構造)にアクセスできない場合でも対応できます。

OS非依存

「画面から取得したWebコンポーネントスクリーンショット」と「実際に表示されているWebコンポーネント」のマッチングは、OSの内部機能を利用せずにOpenCVを使用して行います。

OpenCVの動作はOSに依存しない実装になっているため、SikuliXは、WindowsやLinuxなど、OSに依存せずに使用できます。

■テキスト認識機能

SikuliXには、テキスト認識(OCR)機能も付属しており、イメージ内のテキストを検索するために使用できます。

手書き文字に対する認識精度はそれほど高くはありませんが、PCに表示されるテキスト文字であれば実用可能なケースもあります。

この機能は、光学文字認識エンジンである「Tess4J」や「Tesseract」によって提供されています。

→sourceforge →Tess4J

→GitHub →tesseract-ocr/tesseract

■リアルスクリーン表示が必要

「SikuliXスクリプトを実行しているシステム」または「SikuliX機能を使用しているアプリケーション」は実際の画面に接続され、なおかつ、表示されている必要があります。

SikuliXは実際の画面を監視する必要があるため、スリープモードやスクリーンセーバー表示などで対象アプリケーションが非表示となると、SikuliXは機能できません。

ユーザーがシステムを操作して、画面上で何が起こっているのかを見ることができる状態になっている必要があります。

SikuliX最新TOPICS

最新情報はありません。

SikuliX最新CLOSEUPコラム

イベント情報

セミナー講演資料

無料資料プレゼント

2021/03/04 セキュリティDAYS Keyspider資料

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該資料の作成・提供企業とも共有させていただき、当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

本資料を見るには次の画面でアンケートに回答していただく必要があります。



セミナー講演資料公開中

エンジニアにとって「情報発信」は重要なのか? ~テックピット DEVELOPERS RESKILLING CONFERENCE クロージングセッション~

CI/CDが開発ガバナンスの弱体化を招く?回避する方法とは ~複数ツールの組み合わせで生じる問題を、統合プラットフォーム「GitLab」で解決~

リアルタイム性の高いIoTの課題とは?スマートシティを支えるMQTT ~IoTメッセージングプラットフォームを活用し、セキュリティ確保や通信到達保障を簡単に実現~

  • オープソース書籍(サイド)
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter