米国ベイエリアレポート（第 10 回）OpenCVとコンピュータービジョン

Google, Apple, Facebook等、IT業界を牽引するグローバルカンパニーが集積するシリコンバレー。それら先進企業においても、オープンソースソフトウェアの存在は不可欠なものとなっています。

ここではシリコンバレーにおけるIT、オープンソースの動向について、紹介させて頂きます。今回は、第10回目として、コンピュータービジョンのオープンソースライブラリであるOpenCVの開発プロジェクトにて開発リードをご担当されているバディム・ピサレフスキー(Vadim Pisarevsky)さんにお伺いした内容を以下ご紹介いたします。なお、一部質問については、OpenCV財団代表のゲイリー・ブラッドスキー (Gary Bradski)さんにもご回答いただきました。

バディム・ピサレフスキーさんのご紹介

(過去のご経歴をご紹介いただけますか。)

私はロシアのNizhniy Novgorodというモスクワから500km東に行った人口150万人の町で生まれました。そして、1998年にNizhniy Novgorod State Universityを卒業の後、2008年までインテル社 (Intel Corporation) にて、契約社員として勤務しました。1999年 (1998年だったかもしれませんが)に、私はゲイリー・ブラッドスキーさんと出会い、OpenCVのまさに最初のバージョンから今日まで、彼の監督下の元、OpenCVの開発チームをリードしています。2008年に私はインテル社から、コンピュータービジョンを専門にして当時新たに立ち上げられたItseez社という、Nizhniy Novgorodを拠点とする会社へと転職しました。

(最近はどのようなことを中心に従事されているのですか。)

私は今でもOpenCVに従事していますが、たまに他のコンピュータビジョンのプロジェクト、たとえばOpenVXにも関わったりしています。そして、OpenCVをベースとした様々なプロジェクトに取り組む会社にコンサルティングをしています。メールでのやり取りやパッチのレビューに時間の大半を割いていますが、まだ時間を見つけてはコーディングもしています。

OpenCVプロジェクトについて

(今、プロジェクトにはどれくらいの開発者が参加しているのですか。またどこが開発の中心地となっているのでしょうか。)

コアチームは私を含めて3名であり、3名ともItseez社の従業員です。もう少し広い視野で見れば、Itseezでパートタイムで手伝ってくれている数名の他、さらにはアメリカ、ヨーロッパ、アジアといった世界各地からのアクティブコントリビューターが参加しています。ただ大切なこととしては、コアチームはMagicLeapにより完全に資金援助されているという事実があります。

(インテル社がOpenCVの開発を開始し、それをBSDライセンスとしてリリースした背景について何かご存じでしょうか。)

インテル社には、"Enabling" (可能にすること) という表現が日常的に利用されています。その単語はIDF (Intel Developper Forum) やインテル社からのプレスリリースにて耳にすることがあるかもしれません。より多くのコンピューターおよびプロセッサを販売していくためには、新たなコンピューターリソースを必要とするようなアプリケーション領域を開拓していく必要があります。OpenCVが開始された2000年当時、標準化されたコンピュータービジョンとして利用できるAPIはまだ存在していませんでした。科学者は実験のためにはMatlabを利用していましたが、そこから本番製造工程に移るとき、皆が「車輪の再発名」を行っていました。インテル社はこの技術領域を前進させるために、彼らのMKL (Math Kernel & Linear algorithm)、SPL (Signal Processing)、IPL (Image Processing)、MPL (Media Codecs)と言ったライブラリ群をひとまとめにするコンピュータービジョンのライブラリーを作りたいと考えました。ゲイリーは経営陣にオープンソースで行くべきだと説得しましたが、それは"enabling"を実現する上で非常に重要なことでした。

たとえば、GPL ver2ライセンスではなくBSDライセンスと言う選択肢をとったことは、とてもシンプルな考えに基づくものです。それは、ソフトウェア企業を怖がらせないため、です。他のライセンスはBSDライセンスよりも人気がなく、また、当時、Apacheライセンス 2.0もまだ存在していなかったためです。

(OpenCVとOpenVXではどのような違いがあると思いますか。)

それら二つの間では、大きく異なるアプローチが取られていると思います。

OpenCV:
・数百、数千といった解析アルゴリズムが含まれている。
・オープンソースで実装された唯一のデファクトスタンダードと位置づけられる
・Matlabに類似したC++によるAPIが実装されている (とても自由度があり、柔軟なコード構造をもっている)

OpenVX:
・標準版の1.0では42の解析アルゴリズムが含まれている。
・オープンソースおよびクローズドソースの実装を可能とするデジュールスタンダードと位置づけられる
・グラフモデルに基づく、ノードに対する処理アプローチを基本とするC言語によるAPIが実装されている。それは複雑な解析アルゴリズムには不便であり、限定的な機能のみが提供されているが最高レベルのパフォーマンスを実現できる。Matlabでいえば、OpenVXのAPIはSimulinkに相当する (実際、OpenVX 1.0でも、OpenCVのスタイルに類似した形で、いわゆる"immediate-mode API"を採用しているとされているが、私の見る限り、"graph-based API"としてのアプローチが採られている)

これら2つのAPIはそれぞれ個別または統合して利用することが可能です。
・OpenCVはOpenVXにて標準化されていない複雑な処理の実装に利用することが可能であり、OpenVXの次世代バージョンに反映させられるような新たなノードに向けたプロトタイプ開発に利用できる。
・OpenVXはOpenCVの処理性能向上に利用可能である。私達は今、OpenCV HALプロジェクトに取り組んでいますが、OpenVXはそのバックエンドとして利用される可能性がある。

(http://slideplayer.com/slide/4246341/のスライドによれば、GoogleはOpenCVを彼らのサービスに利用していると記載されていますが、彼らがどのように利用しているのか、ご存じですか?)

私から言えることとしては、OpenCVは世の中の製品で一般的に利用されているものであり、Androidにも古いOpenCV、すなわちOpenCV 1.0が組み込まれていることを確認できるでしょう。

(OpenCVは研究開発分野での利用に人気があると言われていますが、世の中ではどのような研究開発が盛り上がっているのか、ご存じでしょうか。)

今、コンピュータービジョンに関係するほぼすべての領域において、研究が進められていると言えるかと思います。たとえば、携帯から取得される写真画像に対して、一眼レフカメラからとられた画像のように変換する高機能な"content-aware" フィルターの開発であったり、物体のトラッキング解析であったり、3Dモデル構築などが挙げられます。しかし、もし、今最もホットな領域を答えるとすれば、"ディープ・ラーニング (deep learning)"、つまり、物体認識および、物体識別のブレークスルーとなる、ニューラルネットワーク"の特殊アプローチにあると思います。今、"ディープ・ラーニング"で最も人気があるパッケージの一つであるCaffeにおいて、OpenCVが利用されることとなりました。私達は今、OpenCVに、それらのアルゴリズムをサポートするいくつかの機能追加に取り組んでいます。

(OpenCVのC/Iで利用されているBuildbotを見る限り、OpenCVプロジェクトはC/I環境の構築および運用がうまく実現されていると感じますが、いつ、どのようにC/I環境が構築されたのでしょうか。また、その成功の秘訣はどこにあると思いますか?)

数年前に、OpenCVの開発ペースが加速した時期があり、2,3日に一回、ソフトウェアが動かなくなる、ということが発生しました。そこで、私達は簡単な品質管理のための仕組みとして、それぞれのOpenCVの断面を、Linux、Windows、OS X、x86/x64、ARMプロセッサそれぞれの環境でコンパイルしては単体テストを通過させる、と言うことを開始しました。現在、これらのテストツール群は、OpenCVに対して良好なコードカバレッジをカバーしていますが、コミュニティから追加されたcontributed module (opencv_contrib)においては、まだ対象外とされています。ただ、私達はopencv_contribuのモジュールにも拡張することを現在計画しています。同時に私達は新たなOS、コンパイラー、フレームワークの登場もチェックするようにしています。

OpenCV財団について

(OpenCV財団は、どのような背景から設立されたのでしょうか。)

*この質問にはOpenCV財団代表のゲイリー・ブラッドスキーさんにご回答いただきました。

私がインテル社に在籍していたころ、市場がより多くのコンピューターおよび、コンピューターチップを必要とするような方法を探索するインテルリサーチと言うプロジェクトを担当していました。それは当時のPentium 3は、ワードプロセッサーやスプレッドシートの処理には十分な性能をもたらしていたため、新たな技術開拓が必要とされていた背景にあります。

インテルリサーチは私にそのためのロードマップを書類としてまとめることを期待していましたが、私は世界の企業及び研究機関が、私の専門領域であるコンピュータービジョンにおいて、どのような取り組みを行っているのかを見て回るために、世界中を見てまわりました。そこで目の当りにしたのは、そういった世界中の組織の取り組みよりも、MITのメディアラボの修士課程の学生の方が、よほど面白い論文をかけている、と言う事実です。それは彼らにはコンピュータービジョンのために、時間をかけて構築してきたソフトウェアのベースがあるためです。そこで私は世界中の人にコンピュータービジョンのためのソフトウェアのベースを提供することを決意し、それは同時にインテルリサーチのミッションの実現にもかなうものであろうと考えました。

そこで、私は開発を開始し、いくつかのキーとなるコンピュータービジョンに関連するアルゴリズムを特定し、その最中、ロシアの人々との出会いがあり、プロジェクトに引き込むことにしました。バディムは、ビクター・エルヒモフ (Victor Eruhimov)と同様、そのロシアにおける最初のメンバーの一人です。バディムはプロジェクトにおけるメインのアーキテクトとなり、かつOpenCVのチーフデベロッパーとなりました。ビクターはItseezというコンピュータービジョンのコンサルティングを行う独立企業を起こし、この数年彼らの人員リソースをOpenCVに提供してもらっているという状況にあります。

最初、私にはコンピュータービジョンのライブラリを簡単に利用できるような機能を提供するビジョンをもっていました。そして、今、OpenCVはその当初のミッションを超えるものを提供できたと感じています。他のコンピュータービジョンのフレームワークは汎用化しようとしすぎるがゆえに、非常に複雑になっていました。それに対して、OpenCVはビジネス向けにできるだけシンプルにしようとしました。OpenCVはその当初のゴールを達成できたと同時に、学術界、それから産業界への連携へとつながりました。

現在の私達のゴールは、コンピュータービジョンのための最適化されたツールを提供することにより、人工知能を活用しながら、人類の視覚情報処理の能力を向上させることにあります。このような背景から、OpenCV財団および、その開発者向けサイトは、2,3年前に、Google社やIntel社との協業を推進するために公開しました。私がいなくてもOpenCVプロジェクトが長く続けられるように、と言う思いを込めて、また、将来の更なる進化に向けた希望を込めてOpenCVを運営管理する組織体を必要とした、と言う経緯にあります。

(OpenCVプロジェクトにおけるメインのスポンサーはどういった会社なのでしょうか。)

2008年より前はインテル社で、その後、2011年まではウィロー・ガレージ社 (Wilow Garage)、そして今はマジック・リープ社 (Magic Leap, Inc)となっています。(OpenCV財団代表のゲイリー・ブラッドスキーさんは、現在、マジック・リープ社のヴァイスプレジデント(Vice President)をご担当されています)。また、NVidiaもまた、OpenCV、特に、AndroidへのポーティングおよびJavaインターフェースの開発、C/Iに関連する部分に多額の資金をご提供いただいています。Google社もまた、彼らのGSoCプログラム (Google Summer of Code) を通して、OpenCVの重要なスポンサーの一つです。現にこの2-3年の間、GSoCはOpenCVの新機能開発における重要なリソースとなっています。

(プロジェクトおよび財団において、どのような貢献が期待されていますか。)

どんな協力でも大歓迎です。それはソフト開発者を増員できるように資金面での支援も挙げられますし、OpenCVプロジェクトに従事するインターン、技術文書のライターなどなどが挙げられます。その他、バグ改修のためのパッチ提供であったり、新たな機能追加、ドキュメントの作成が挙げられますが、プログラミングによる貢献については以下から手順を参照できます。
https://github.com/Itseez/opencv/wiki/How_to_contribute

最後に

(次のステップとしては、どのようなことを計画されていますか。)

私達は今後のいくつかの方向を模索しています。
1.それぞれのプラットフォーム、プロセッサアーキテクチャにおけるOpenCVのパフォーマンス改善に取り組みたいと考えています。そのために、今、OpenCV HALという、ライブラリで利用していて、処理時間が重要視されるカーネル機能をカプセル化した、低レベルAPIの機能を拡張しています。
2.パッチがきちんとチェックされ、ライブラリの品質チェックが正しく行われ、デグレードが発生しないように、C/Iインフラストラクチャの改善にも取り組んでいます。
3.また、"OpenCV Next"と呼ばれる新たな取り組みもあります。その詳細については後日アナウンスの予定です。

(ソフトウェアエンジニアにお薦めの本はありますか。)

OpenCVに関してであれば、ゲイリー・ブラッドスキー、エイドリアン・クーラー (Adrian Kaehler) 著の"Learning OpenCV: Computer Vision with the OpenCV Library"を含め、 http://opencv.org/books.htmlに多くの良書がリストされています。それは少し古い内容となっているかもしれませんが、OpenCV 3.0が反映された改定版がもうすぐリリースされる予定となっています。

コンピュータービジョンに関するもっともおすすめの本としては、リチャード・セリスキー (Richard Szeliski) 著の"Computer Vision: Algorithms and Applications"です。

ソフトウェアエンジニアに向けた一般的な書籍としては、ビャーネ・ストロブストロップ (Bjarne Stroustup) 著の書籍がお薦めです。

(本日はご協力ありがとうございました。)

関連サイト

OpenCV project
OpenCV receives the Mark Everingham Prizes
OpenVX
Caffe
Magic Leap
GSoC