「Apache Hadoop」の主要技術③　並列分散処理フレームワーク「MapReduce」

「Apache Hadoop」の主要技術③　並列分散処理フレームワーク「MapReduce」

■概要

MapReduceは、コンピュータクラスタ上の巨大データセットに対する分散コンピューティングを支援する目的で、Googleによって2004年に導入されたプログラミングモデルです。

■フォールトトレラント

ノードが途中で失敗した場合、各フェーズのタスクはフォールトトレラントな方法で実行されます。

失敗ノードに割り当てられたタスクは残りのノードの間で再分配され、小さなランタイムオーバーヘッドで再実行します。

■Apache Hadoopでの実装

Apache Hadoopで実行されているほとんどのプログラムはMapReduceの計算パラダイムで記述されています。

アプリケーションは多くの小さな作業断片に分割され、それぞれがクラスタ内の任意のノードで個別に実行されます。

個別実行完了後に、これらの独立したプロセスの結果がグループとしてまとめられ処理されます。

参考元サイト

• Apache Hadoop
• Wikipedia　→Apache Hadoop

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。