オープンソース活用研究所 | 【セミナーレポート】Zenko Night #01---Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」とは

【セミナーレポート】Zenko Night #01---Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」とは

オープンソース活用研究所

2018年03月07日
オープンソース活用研究所 所長 寺田雄一

みなさん、「Zenko」というオープンソースをご存じでしょうか。

「Zenko」とは、いま注目されているオープンソースの1つで、Amazon S3 APIでマルチクラウドのデータを一括管理できるデータストレージソリューションです。

2018年2月8日(木)に、Zenkoのイベント「Zenko Night #01」が開催されました。

本レポートでは、Zenkoの開発元であるスキャリティ・ジャパンの仁戸様の講演についてお伝えします。

目次

講演『Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」とは(Zenko Night #01)』
■「マルチクラウド」という考え方
・「マルチクラウド」とは
・マルチクラウド要望が高まる理由
・SIerもマルチクラウド体制に
■「Zenko」マルチクラウドコントローラー
■特徴① 単一インターフェース(業界標準Amazon S3 API)でクラウド接続
・Zenkoのインターフェース
・クラウドデータストレージを選択
・オンプレミスストレージにも対応
・対象ストレージを柔軟にコントロール
■特徴② ネイティブのクラウドデータフォーマット
・既存の一般的なゲートウェイ製品の場合
・Zenkoの場合
・ネイティブフォーマットの利点
■特徴③ データワークフローエンジン(ポリシーベースのデータマネージメント)
・データワークフローエンジン「Backbeat」
■特徴④ メタデータサーチ(属性情報検索)
・「メタデータ(属性情報)」とは
・Zenkoがメタデータを保存
・メタデータサーチ(メタデータによる検索)
・メタデータサーチのメリット① 検索精度向上
・メタデータサーチのメリット② トランザクションコストの削減
・メタデータサーチの前提条件
■オープンソース版「Zenko」+エンタープライズ版「Zenko」
■Zenko導入事例「Bloomberg Media」
・Bloombergの要望
・Zenkoの導入効果

まとめ
■ハンズオン+ビアバースト
■講演資料
■次回予定「Zenko Night #02」

講演『Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」とは(Zenko Night #01)』

■「マルチクラウド」という考え方

「マルチクラウド」とは

マルチクラウドとは「複数のクラウドサービスを組み合わせて利用する運用方式」です。

近年、「AWS」「Azure」「Google Cloud Platform」などの複数のクラウドサービスを並行して利用するマルチクラウドに対する要望が高まってきています。

仁戸氏によると『これがZenkoが登場してきた背景』ということでした。

マルチクラウド要望が高まる理由

各クラウドサービスには、それぞれの特徴があり、「得意な分野(非常に優れている機能)」「不得意な分野」「コストパフォーマンス」「使い勝手」などの特色があります。

開発現場(開発者やプロジェクトの単位)からは、「DBとしてAWSのAuroraを利用したい」「Azureのマシンラーニングサービスを利用したい」「分析基盤としてGoogle Cloud PlatformのBigQuery/Bigtableを利用したい」「コスト削減のためにこちらのクラウドに切り替えたい」などのように、さまざまなクラウドサービスを使い分ける要望が出てきています。

そのため、基本としては「オンプレミス+AWS」で運用していたとしても、「このサービスはAzureを利用する」のようなマルチクラウド化が増えてきています。

SIerもマルチクラウド体制に

実際に利用するエンドユーザー様からのマルチクラウド化についての要望が多いため、SIerの体制もマルチクラウド体制に変化してきています。

少し前なら「AWS専属部隊」や「Google Cloud Platform専属部隊」などのようにクラウド単位で分かれていましたが、マルチクラウドに対応できるように組織体制が変更されているとのことです。

■「Zenko」マルチクラウドコントローラー

マルチクラウド化する状況に合わせて、スキャリティ・ジャパンは「Zenko」というソリューションを提供しています。

「Zenko」とは「マルチクラウドでデータを透過的に最適配置するためのソリューション」で、「クラウド環境を統合する機能」を提供します。

■特徴① 単一インターフェース(業界標準Amazon S3 API)でクラウド接続

Zenkoのインターフェース

Zenkoのインターフェースとして、事実上のデファクトスタンダードである「Amazon S3 API」を採用しています。

ユーザーのアプリケーションからは「Amazon S3 API」でZenkoに対してデータのput(get)を行います。

クラウドデータストレージを選択

Zenkoはマルチクラウドコントローラーとして機能します。Zenkoの設定で、実際にデータを書き込む(読み込む)クラウドデータストレージ(AWS/Azure/Google Cloud Platform)を選択できます。

オンプレミスストレージにも対応

スキャリティ・ジャパンが提供する「Scality RING」を利用することで、オンプレミスのデータストレージに対してもデータの書き込み(読み込み)を行えます。

対象ストレージを柔軟にコントロール

つまり、アプリケーション側から「Amazon S3 API」で1つのエンドポイント(Zenko)に対してput/getするだけで、実際にデータが書き込まれる(読み込む)ストレージをコントロールできます。

※スライド上で「S3 API」の下に「NFS」と記述されていますが、「NFS」はエンターブライズ版Zenkoの機能です。

■特徴② ネイティブのクラウドデータフォーマット

Zenkoは、アプリケーションとクラウドストレージの間に入る位置づけで、ゲートウェイ製品のような機能を提供します。

既存の一般的なゲートウェイ製品の場合

既存の一般的なゲートウェイ製品を経由してストレージに書き込まれたデータは、対象のゲートウェイ製品独自のフォーマットでデータの読み書きを行うため、「対象のゲートウェイ製品を経由しなければ読み込めない」という制限があります。

Zenkoの場合

Zenkoは、既存の一般的なゲートウェイ製品とは異なり、ストレージに対して、そのストレージのネイティブフォーマットで書き込みます。

例えば、アプリケーションから「Amazon S3 API」でZenkoに対して書き込みを行い、デフォルトストレージがAzureのストレージであった場合は、ZenkoはAzureストレージに対して、Azureのネイティブフォーマットで書き込みます。

ネイティブフォーマットの利点

各ストレージに対して、それぞれのネイティブフォーマットで書き込むことにより、Zenkoを経由しなくても、さまざまなサービスがそのデータを読み込めます。

AWSストレージの場合では、Zenko経由で書き込まれたデータに対して、「CloudFront」「Amazon EMR」「その他のAWSサービス」が直接アクセスできます。

Azureストレージの場合では、Zenko経由で書き込まれたデータに対して、「AzureマシンラーニングAPI」や「その他のAzureサービス」が直接アクセスできます。

■特徴③ データワークフローエンジン(ポリシーベースのデータマネージメント)

Zenkoを利用することで、「クラウドAからクラウドB」「オンプレミスからクラウド」のように、ポリシーベースでのデータマネージメント(データ移動)を行えます。

データワークフローエンジン「Backbeat」

Zenkoの内部に「Backbeat」というモジュールが搭載されています。

このBackbeatがメタ情報を活用して、「クラウドAからクラウドB」「オンプレミスからクラウド」のような形で、データレプリケーションを実行します。

■特徴④ メタデータサーチ(属性情報検索)

「メタデータ(属性情報)」とは

ファイルシステムベースの場合、「タイムスタンプ」「オーナー」「グループ」「パーミッション」などのメタデータ(属性情報)が付加されます。

オブジェクトストレージベースの場合には、ユーザーがオブジェクトに対して、任意の「タグ」や「ヘッダ」などのメタデータを付加できます。

Zenkoがメタデータを保存

Zenko経由でオブジェクトストレージにデータが書き込まれる場合、オブジェクトデータ自体は、バックエンドの対象オブジェクトストレージ(Azure/AWS/Google Cloud Platform)内に保存されます。

Zenko内部にオブジェクトデータは保存しませんが、Zenkoはオブジェクトデータに付加されているメタデータを抽出し、Zenko内部のデータベースに保存します。

メタデータサーチ(メタデータによる検索)

アプリケーションがZenko経由でデータを読み込む場合、Zenko内部に保存されているメタデータを活用した検索を行えます。

メタデータサーチのメリット① 検索精度向上

アプリケーションが付加したメタデータを検索条件として使用できるため、アプリケーション側が望むデータを検索しやすくなり、ストレージとしての価値を高めることができます。

メタデータサーチのメリット② トランザクションコストの削減

多くのクラウドオブジェクトストレージサービスでは、「データ書き込み時は無料」ですが「データ読み込み時は有料」という料金体系になっています。

一般的な検索システムで、クラウドオブジェクトストレージに大量に保存されているデータに対して検索をかける場合、対象範囲となるすべてのデータを読み込む必要があるため、データ読み込みトランザクションに対する課金が発生してしまいます。

しかし、Zenkoを経由する検索で、検索条件がメタデータのみでカバーできる場合、Zenko内部に保存されているメタデータのデータベースを検索し、合致したオブジェクトデータのみを読み込むことができるため、トランザクション課金を最低限まで削減できます。

メタデータサーチの前提条件

仁戸氏によると『メタデータサーチを十分に活用するためには、アプリケーション側(ユーザー側)で適切にメタデータが付加されるように、アプリケーション設計段階から考慮する必要があります』ということです。

■オープンソース版「Zenko」+エンタープライズ版「Zenko」

Zenkoには、無償オープンソース版「Zenko Open Source」と、有償エンタープライズ版「Zenko Enterprise Edition (EE)」の2つのエディションがあります。

今回の紹介では、主に、無償オープンソース版「Zenko Open Source」について紹介しています。

有償エンターブライズ版「Zenko Enterprise Edition (EE)」は、2018年の前半にリリース予定とのことです。

■Zenko導入事例「Bloomberg Media」

Zenkoを導入している一番大きなユーザーとして、アメリカの金融系メディア「Bloomberg Media」があります。

Bloombergはグローバルで展開しており、世界各国で「記事作成→編集→配信」業務を行っています。

Bloombergの要望

Bloombergはグローバル展開でしているため「クラウドサービスを使いたい」という要望でした。しかし、地域によって、サービス内容/機能/コストなどが異なるため「さまざまなクラウドサービスを使いたい」「オンプレミスにもデータがあるため、これらのデータもシームレスに連携したい」という要望でもあったそうです。

Zenkoの導入効果

そこで、Zenkoが導入され、透過的なデータコントロールにより、世界各地において、「それぞれの地域で利用できる各種クラウドストレージサービス」や「オンプレミスストレージ」などを連携でき、グローバルでの記事作成から配信までの一貫した作業について、大幅な効率化を実現されています。

まとめ

「Zenko Night #01」はいかがでしたでしょうか。

■ハンズオン+ビアバースト

ご紹介した講演の他に、「Zenkoハンズオン」「ビアバースト(懇親会)」も行われ、(ビアバーストならではの)貴重なお話も伺えるなど、参加者された皆様と有意義な時間を過ごすことができました。

■講演資料

講演資料は、以下のURLより無料で取得していただけます。

ぜひご参考いただければと思います。

→マジセミ →Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」、コミュニティ・キックオフイベント(Zenko Night #01)

■次回予定「Zenko Night #02」

次回の「Zenko Night #02」は、3月8日(木)に開催予定です。

Zenkoに興味を持っていただいた方は、ぜひご参加ください!

以下のURLから申し込みできます。

→Doorkeeper →Zenko使ってみた(Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」勉強会/Zenko Night #02)


OSSNEWSに広告を掲載しませんか?

著者プロフィール

オープンソース活用研究所 所長 寺田雄一

1993年、株式会社野村総合研究所(NRI)入社。 インフラ系エンジニア、ITアーキテクトとして、証券会社基幹系システム、証券オンライントレードシステム、損保代理店システム、大手流通業基幹系システムなど、大規模システムのアーキテクチャ設計、基盤構築に従事。 2003年、NRI社内に、オープンソースの専門組織の設立を企画、10月に日本初となるオープンソース・ソリューションセンター設立。 2006年、社内ベンチャー制度にて、オープンソース・ワンストップサービス 「OpenStandia(オープンスタンディア)」事業を開始。オープンソースを活用した、企業情報ポータル、情報分析、シングルサインオン、統合ID管理、ドキュメント管理、統合業務システム(ERP)などの事業を次々と展開。 オープンソースビジネス推進協議会(OBCI),OpenAMコンソーシアムなどの業界団体も設立。同会の理事、会長や、NPO法人日本ADempiereの理事などを歴任。 2013年、NRIを退社し、株式会社オープンソース活用研究所を設立。

最新TOPICS

【講演資料を公開】11/13 OSSの仮想化基盤(分散仮想化:oVirt と コンテナ仮想化:Kubernetes)の解説(2019年12月13日 09:15)

2019年 11月13日(水)15:30~17:00 AP大阪梅田東 にて「OSSの仮想化基盤(分散仮想化:oVirt と コンテナ仮想化:Kubernetes)の解説」と題したセミナーが開催されました。 当日はおかげ様で、盛況のうちに終了することができました。ありがとうございました。 当日の講演資料を以下に公開しましたので、ご興味のある企業さま、是非ご覧くださいませ。

関連オープンソース

バックナンバー

関連記事

  • オープソース書籍(サイド)

facebook

twitter