Facebookが何千台ものMySQLを人手を使わず自律管理する仕組み「MySQL Pool Scanner(MPS)」

MPSはすべてのステータスを保持している

この2つの操作は完全に自動化されているとのことです。


These two operations (which are usually complex procedures for most companies running MySQL) have been completely automated to a point where MPS can run them hundreds or thousands of times a day in a fast and safe manner, without any human intervention.

この2つの運用（MySQLを稼働させている多くの企業にとって、一般にはとても複雑な操作）は完全に自動化され、MPSが毎日何百回、何千回と人手を介すことなく迅速かつ安全に実行している。


MPS自身はどのように動いているのでしょう？ MPSはまず、すべてのインスタンスの現在のステータスとメタデータとその履歴を保持するレジストリを持っており、それを元にさまざまな操作を行っています。

主なステータスとして以下の種類があります。


Production : 運用中
Spare : タスク割り当て可能
Spare allocated : タスク割り当てのターゲットとして選定済み、あるいはデータコピー中
Spare deallocated: 運用から削除され、一時的にクリーンアップされている
Drained: 使用停止中、テストやメンテナンスのため予約済みなど
Reimage: このサーバの全インスタンスは修理中


このステータスを決定するために、すべてのサーバにはエージェントが組み込まれ、ハードウェアの種類や状態、フラッシュディスクの残り容量やソフトウェアの状況などを数分ごとに報告しています。

この報告を元に、MPSは上記のステータスを割り当て、それを基に自動的な運用処理を行っているわけです。

そしてMPSのこのレジストリもまた、MySQLクラスタ自身で保持されていると。


This registry is managed by the database servers themselves so that it scales with the database cluster and MPS doesn't need a complex application server installation.

このレジストリは、このデータベースサーバ自身によって管理されているため、データベースクラスタとともにスケールしていく、だからMPSは複雑なアプリケーションサーバのインストールは不要なのだ。


クラスタに集団的知性を持たせる

一匹の蟻はあまり知性を持っているように見えませんが、蟻の集団であるコロニーにはそれを上回る集団的知性があるのではないかと考えた昆虫学者がいたそうです。

FacebookのMPSは、複数のインスタンスからなるMySQLのクラスタをコロニーとして捉え、全体として自律的に振る舞うような知性を与える仕組みのように見えます。

コンピュータはより高い並列性を持たせることで性能を向上させていくという時代に入っています。そのとき、並列なコンピュータのコロニーに対して集団的知性を持たせることが非常に重要な要素の1つであるとすれば、FacebookのMPSはまさにその方向へ進んでいる重要なツールだといえるのではないでしょうか。



.twitter-share-button {width: 99px !important}
.sbm {height:24pxvertical-align:middlemargin-right: 9pxfloat: left}