【OSS解説】「Apache Spark」×「Amazon EMR」、簡単な機械学習のSparkアプリケーションを作成しAmazonEMRで実行

【OSS解説】「Apache Spark」×「Amazon EMR」、簡単な機械学習のSparkアプリケーションを作成しAmazonEMRで実行

OSS×クラウド最新TOPICS 2016年10月4日 10:03

【OSS解説】「Apache Spark」×「Amazon EMR」、簡単な機械学習のSparkアプリケーションを作成しAmazonEMRで実行

Spark解説シリーズ。
今回は「簡単な機械学習のSparkアプリケーションを作成し、Amazon EMRで実行するまで」を解説。

【Apache Sparkとは】
http://www.ossnews.jp/oss_info/Apache_Spark

【テーマ】Amazon S3に置いてあるデータファイルを読み込み、Spark 2.0で回帰分析を行う
・分析データの作成
・Scalaの便利ツール「SBT」のインストール
・SBTプロジェクトの骨組みを作成
・メインとなる実装ファイルを記述する
・コード実行の前にSparkでS3のファイル読み書きができるように設定
・jarファイルの作成とローカルでの実行
・EMRでクラスターを構築し、Sparkアプリケーションを実行
・EMRにおけるSparkの設定
・次回は、さらにEMRでのSparkの実践的な使い方

(出所:http://www.atmarkit.co.jp/ait/articles/1609/27/news018.html

OSSNEWSに広告を掲載しませんか?

関連オープンソース

  • オープソース書籍(サイド)
  • OSSNEWSに広告を掲載しませんか?

facebook

twitter

facebook

twitter