【OSS解説】「Apache Spark」×「Amazon EMR」、簡単な機械学習のSparkアプリケーションを作成しAmazonEMRで実行
【OSS解説】「Apache Spark」×「Amazon EMR」、簡単な機械学習のSparkアプリケーションを作成しAmazonEMRで実行
OSS×クラウド最新TOPICS 2016年10月4日 10:03
Spark解説シリーズ。
今回は「簡単な機械学習のSparkアプリケーションを作成し、Amazon EMRで実行するまで」を解説。
【Apache Sparkとは】
http://www.ossnews.jp/oss_info/Apache_Spark
【テーマ】Amazon S3に置いてあるデータファイルを読み込み、Spark 2.0で回帰分析を行う
・分析データの作成
・Scalaの便利ツール「SBT」のインストール
・SBTプロジェクトの骨組みを作成
・メインとなる実装ファイルを記述する
・コード実行の前にSparkでS3のファイル読み書きができるように設定
・jarファイルの作成とローカルでの実行
・EMRでクラスターを構築し、Sparkアプリケーションを実行
・EMRにおけるSparkの設定
・次回は、さらにEMRでのSparkの実践的な使い方
（出所：http://www.atmarkit.co.jp/ait/articles/1609/27/news018.html）
LLVM Fortranコンパイラ「FC」とは 「FC」はFortranの新しいフロントエンドでLLVM/Clangの設計精神で書かれている。 フロントエンドは、セマンティック分析なしの完全なエンドツーエンドのソリューションで、約40000行以上のコード作業がFortran 95標準に近づけられている。 ...
OSS×Cloud ACCESS RANKING
