マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

OSS情報

2020.01.01

【OSS情報アーカイブ】Pentaho Data Integration

【OSS情報アーカイブ】Pentaho Data Integration

※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。

「Pentaho Data Integration」とは

概要

Pentaho Data Integration(ペンタホデータインテグレーション)はETLツールです。革新的なメタデータ駆動型アプローチを使用して、強力な「データ抽出」「データ変換」「データ読み込み」などを実行できます。開発経緯から「Kettle」とも呼ばれます。

基本説明

Pentaho Data Integration(PDI)(Kettle)は、「変換構築」「ジョブスケジュール」などを実行できるETLデスクトップアプリケーションです。

「直感的でグラフィカルなドラッグアンドドロップ設計環境」と「実績のあるスケーラブルな標準ベースアーキテクチャ」を備えたPDIは、「キャプチャ」「クレンジング」「保存プロセス」などのデータに関する操作をシンプルに実行できます。

開発経緯

Pentahoが、PDIのベースとなったKettle(Kettle Extraction Transformation Transport LoadEnvironment)を買収した時に「Pentaho Data Integration」に改名されました。

ユースケース

・異なるデータベースおよびアプリケーション間のデータ移行
・巨大データセットをデータベースにロード
・範囲ステップによるデータクレンジング
・PentahoReportingのデータソースとしてリアルタイムETLを活用する機能を含むデータ統合
・データウェアハウス構築—少しずつ変化するディメンションと代理キー作成に対するサポート など

オフィシャルサイト情報

■オフィシャルサイト

→community.hitachivantara.com →data-integration-kettle

■GitHub

→github.com →pentaho/pentaho-kettle

■主要開発元

Pentaho Data Integrationは、community.hitachivantara.comが中心となり開発が進められています。

→community.hitachivantara.com

■ライセンス情報

Pentaho Data Integrationのライセンスは「Apache License 2.0」です。

詳細について、こちらを参照ください。
→github.com →pentaho/pentaho-kettle →LICENSE.txt

■動作環境

「Linux」「Windows」「MacOS」がサポートされています。

■ダウンロード

→github.com →pentaho/pentaho-kettle

同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「Talend Open Studio」など。

変換機能

PDIの変換は、ステップと呼ばれる論理的なタスクのネットワークであり、データフローとして表現されます。

ジョブ機能

PDIのジョブは、ETLアクティビティの「リソース」「実行」「依存関係」を調整するためのワークフローのようなモデルです。

個々の機能を集約してプロセス全体を実装します。

Pentahoリポジトリ

Pentahoリポジトリは、ジョブと変換の保存と管理に加えて、完全なリビジョン履歴を提供します。

チームで共同ETL環境が必要な場合は、Pentahoリポジトリの使用が推奨されています。

プラグイン機能

コアプラグインとして各種プラグインが提供されています。

→github.com →pentaho/pentaho-kettle →plugins

負荷分散機能

PDIは、トランスフォーメーションクラスタリングを使用する場合に、トランスフォーメーション内および複数クラスタノードにわたるデータ負荷分散機能を提供します。

ロギング機能

ロギングは、「挿入されたレコード数」「変換に費やされた合計経過時間」など、ジョブや変換に関する要約情報を提供します。

また、例外やエラーなどの「デバッグ詳細情報」も提供します。

参考元サイト

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

この記事のタグ一覧

おすすめの記事

【IT用語解説】「 デジタルヒューマン 」とは😊

IT用語解説

2024.01.26

【IT用語解説】「 デジタルヒューマン 」とは😊

【IT用語解説】「 デジタルヒューマン 」として、「デジタルヒューマンとは何か?」「どのようにして作成できるのか?」「私たちの世界にどのような影響を与えているのか?」などについて、まとめています。

AIツール関連 記事リストポータル

AIツール

2023.10.05

AIツール関連 記事リストポータル

AI 関連の記事をまとめたポータルページです。

【AIツール実験室】チャットAI対抗「添削能力」選手権🏆

AIツール実験室

2023.12.27

【AIツール実験室】チャットAI対抗「添削能力」選手権🏆

各チャットAIの「添削能力」について比較確認をしています。 「ChatGPT4と同等の添削能力を発揮した無料チャットAI」にご注目ください。 また、 ChatGPTカスタマイズ機能「GPTs」を利用して作成した GPTs文章添削機能「添削師匠さん✍️」を紹介しています。 課金勢は試しに使ってみてください。