「Hadoop分散ファイルシステム(HDFS:Hadoop Distributed File System)」は、「分散」「スケーラブル」「ポータブル」を実現し非常に大きなファイルを確実に保存できるように、Hadoop独自の分散ファイルシステムとして設計されています。
一般的なサーバにデータを格納し、クラスタ全体で非常に高い総帯域幅を提供する分散ファイルシステムです。
HDFSの主な利点として「非常に高い入出力速度」があります。
HDFSはHadoopクラスタ全体に分散ファイルを保存することによって非常に高い帯域幅を提供します。
個々のタスクが実行されるノード(もしくは近い場所)にファイルが配置されるため、タスクは近い場所にあるファイルに対する処理が可能となります。遠距離にあるデータを取得する必要がなくなるため、データ入出力に関するオーバーヘッドが軽減されます。
主要なオープンソースストレージソリューションを紹介。 ①Alluxio Alluxio(旧名:Tachyon)はメモリ速度の仮想分散ストレージを提供する。 →alluxio.io...
OSS×Cloud ACCESS RANKING