基本情報
概要
Apache Drill(アパッチドリル)とは、ビッグデータに対応するスキーマフリーSQLクエリエンジンです。構造化データ/非構造化データなどのさまざまなデータソースに対して、直接SQLクエリを実行して結果を得ることができます。
基本説明
Apache Drillは、事前のスキーマ定義を必要とせずに、さまざまな種類のデータソースに対する分析機能を提供します。複数のデータストアから単一クエリ(SQL)でデータを集めることができます。
Googleが開発するクエリツール「Dremel」のオープンソース実装です。Linux/Windows/Mac上で動作します。
「クエリプラン自動再構成(オプティマイザ)機能」「実行時データ主導コンパイル/リコンパイル機能」「メモリ管理機能」なども備えています。
経緯
2012年：プロジェクト開始
2014年：バージョン1.0リリース
主な特徴
スキーマレス(Agility)
動的スキーマディスカバリをサポートしており、事前スキーマ定義は必要ありません。各種データモデルに対してフレキシブルに対応できます。
事前の準備作業が不要であるため、対象データストアから迅速にデータ集計できます。ビッグデータ活用の場面においても非常に有効です。
SQL(ANSIベース)サポート
慣れ親しんでいるSQLで、構造型データ(RDBMSなど)/非構造データ(Hadoopなど)/テキストファイル(JSON形式など)からデータをjoinできます。
対応データストア
構造化/非構造化関係なく、さまざまなデータストアに対応できます。
HBase、MongoDB、MapR-DB、Hive、HDFS、MapR-FS、Amazon S3、Azure Blob Storage、Google Cloud Storage、OpenStack Swift、NAS、JSONデータモデル、ローカルファイル(JSON形式/CSV形式)、ODBC/JDBC、Restful APIなど。
プラグイン機能を搭載しており、対応データストアを追加できます。
データ処理方法
Drillは、データソースを走査しフィルタすることを念頭に開発されています。データは走査した部分からパイプライン処理で次の処理に送られ、最短時間で最終結果が得られるように処理します。処理途中で障害が発生した場合には再実行になります。
その他ポイント
・分散クエリ対応
・分散されたサーバ上で「drillbit」というデーモンが動作
・「dillbit」の管理は「ZooKeeper」が行う
・他の実行エンジン(MapReduce/Sparkなど)には依存しない
同様製品(概要情報)
同様な機能を提供する製品として、次のようなものがあります。
オープンソース製品：「Apache Spark」「Apache Hadoop」など。
導入事例
SQLでビッグデータを処理できるクエリエンジンとして、大きな注目を集めています。
ライセンス情報
Apache Drillのライセンスは、「Apache License Version 2.0」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。
ダウンロード
※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。
