scikit-learn参考情報④scikit-learnで使える学習アルゴリズム「Random Forest」とは

scikit-learn参考情報④scikit-learnで使える学習アルゴリズム「Random Forest」とは

機械学習アルゴリズム「RandomForest」の概要について紹介します。

■「RandomForest」とは

概要

「RandomForest」とは、機械学習方法の1手法で、「分類」「回帰」「クラスタリング」などに用いられます。

仕組みとしては「決定木」の1つで、集団学習アルゴリズムです。

大量の決定木を生成して、それぞれの決定木が出した答えの多数決を取り、最も数が多かったクラスに分類します。

大量の決定木を使用するため、「木が集まっている森(フォレスト、Forest)」というイメージになります。

主なメリット

・学習/評価が高速
・並列化可能(決定木の学習はそれぞれ完全に独立)
・多クラス識別が容易
・実装が比較的容易
・説明変数が多数で欠損していても対応可能(欠損値を許容)
・説明変数重要度(寄与度)を算出できる
・特徴のスケールや距離尺度に影響を受けない
・クロスバリデーションのような評価が可能(Out of Bagエラー計算)

主なデメリット

・説明変数の中で「意味のある変数」が「ノイズ変数」よりも極端に少ない場合にはうまく働かない

■参考サイト(1)　決定木とランダムフォレスト

概要

「RandomForest」の基本である「決定木」の解説をベースにして、「RandomForest」について解説されています。

解説テーマ

・決定木とは
・ランダムフォレストとは
・やってみる(sklearnでの決定木)
・データ用意
・決定木をやってみる
・ランダムフォレストをやってみる
・ランダムフォレストで回帰をやってみる
・sklearnで実行

ページリンク

→Qiita　→決定木とランダムフォレスト

■参考サイト(2)　実務でRandomForestを使ったときに聞かれたこと

概要

「RandomForest」について実務的な視点から解説されています。

解説テーマ

・なぜRandomForestは精度が高くなるのか？
・baggingとの違いは何か？
・パラメータチューニングはどうすればよいか？
・実装

ページリンク

→shakezoの日記　→実務でRandomForestを使ったときに聞かれたこと

■参考サイト(3)　【Hivemall入門】RandomForestで毒キノコ推定モデルを作る

概要

「RandomForest」をHiveで実装する例が解説されています。

解説テーマ

1. RandomForestとは？
・まずは決定木から
・どうやって「条件」を取り出すか
・RandomForestは木が森になっただけです。
2. RandomForestで毒キノコ推定モデルを作る
・使うデータはmushroom
・Hiveで前処理
・ついにRandomForest！

ページリンク

→アドテクるびす界　→【Hivemall入門】RandomForestで毒キノコ推定モデルを作る

■参考サイト(4)　Random Forest とその派生アルゴリズム

概要

「RandomForest」の派生アルゴリズムと活用例について解説されています。

解説テーマ

・はじめに
・Random Forest
・基本的なアルゴリズム
・派生アルゴリズム
・Extremely Randomized Trees
・Alternating Decision Forests
・Random Ferns
・色々な使い方
・Depth 情報を使った姿勢推定
・画像の領域セグメンテーション
・キーポイントマッチング
・通常の単一カメラでの姿勢推定

ページリンク

→Sideswipe　→Random Forest とその派生アルゴリズム