大容量データ管理のオブジェクトストレージとは?仕組みやメリットをご紹介
「増えすぎたデータの管理が大変」「1つのデータ容量が大きくなっていて、保存しきれない」とお困りの方へ。
販売データや顧客データなど、ECサイトが保存すべきデータは多岐に渡ります。5G時代になれば、さらに大容量のデータが増えていくでしょう。しかし現在一般的に使われているファイルサーバーは大容量を前提としておらず、最適とは言えません。
そこで大容量データ管理におすすめなのが、「オブジェクトストレージ」という仕組みです。データ管理者向けに、ペタバイトレベルのデータを保存できるオブジェクトストレージの仕組みやファイルサーバーとの違い、おすすめの製品についてご紹介します。
目次:
デジタル社会の現代ではビッグデータの重要性が知られ、管理すべきデータは昔とは桁違いの量になっています。つまりデータ管理者は、大容量データの保存方法について検討する必要があるのです。
ビッグデータは「事業に役立つ知見を導出するためのデータ」と定義されており、部門ごとに管理すべきデータ用は数十テラバイトから数ペタバイトともいわれています。
ソーシャルメディアやマルチデータ、ICカードやRFIDに取り付けたセンサーデータ、オフィスデータなど種類は多岐に渡り、その全てのデータが作業効率化や経営戦略の指針になります。
小売業界でいわずと知れたAmazon。代表のベソス氏は2019年時点で保有資産額が14兆6000億円を超えており、2018年・2019年と2年連続で世界長者番付首位をキープしています。
ベソス氏が金融業界の中心であるウォール街で働いていた1990年代は、「証券取引上からデータ収集して分析を行う」というシステムが運用されていました。リアルタイムでのデータ分析を行うことでリスク管理を行いながら自動売買できる、ディーリングシステムが確立されていたのです。
Eコマース分野に新規参入したベソス氏は、このデータ分析のノウハウをAmazonで存分に活かしています。未経験であった小売業界ではオンラインによる消費者データの分析を重要視して、消費者心理の理解に努めました。その結果を販売戦略に活かしたことで、Amazonは大成功を収めています。
年々成長しているネットショップ市場ですが、その分競争も日々激化します。楽天やAmazonといったモール型ショッピングに出品する企業および個人だけではなく、今では大手企業が独自でECサイトを開設するなど、ECサイトに参入する企業も続々と増えています。
消費者側としては選択肢が増える一方で、同じネットショッピングモールであっても最安値のショップを探したり送料無料の商品を探したりと、商品を賢く選ぶスキルを身につけています。
つまりECサイト側は顧客に「選んでもらう」立場となり、選ばれ続ける努力が必要です。せっかく立ち上げたECサイトを存続させるには、Amazonのようにビッグデータを分析して顧客の心理を掴み、顧客に寄り添った商品開発・販売戦略が欠かせません。
そこで最近注目を浴びているのが、オブジェクトストレージによる大容量のデータ管理なのです。
今まで一般的に使われてきたファイルサーバーでは、ファイルやブロックという単位でデータを管理していました。データを保存するためにはCドライブの中にファイルを作り、さらにそのファイルの中でカテゴリーごとにファイルを作り…という具合に、「階層」という概念が存在しました。
ファイルサーバーのほかにはブロックストレージも存在しますが、こちらは階層ではなく「ブロック」という概念があります。
ファイル単位やブロック単位ではサイズに制限があり、大容量のデータを一度にアップロードすることは困難でした。しかし、オブジェクト単位で管理できるオブジェクトストレージであれば、1データ当たりの制限量を気にする必要がありません。
オブジェクトストレージはファイルサーバーと違い、容量を拡張しやすい仕様になっています。そのため外付けメディアなどでストレージを増設する必要がなく、堅牢性が高いストレージです。
また、製品にもよりますが大容量データの格納を前提としているオブジェクトストレージは、預けるデータ容量が大きいからといって割高になることがほぼありません。
そのため、「なるべく安価に、そして安全に大容量データを保管したい」という企業こそオブジェクトストレージが適しているのです。
たとえばKDDIでは、「堅牢性99.999999999999%」を謳うオブジェクトストレージをリリースしています。爆発的にデータ容量が増えても制限なく管理できる拡張性があり、さらにKDDIのイントラ回線によって閉域環境で利用できるため高い堅牢性が保証されているのです。
RAIDとは複数のハードディスクでデータを保存するため、たとえ1台が壊れても運用可能です。その点が評価されファイルサーバーが一般的だったのですが、冗長性を持たせて保存するRAIDは大容量のデータ保存には向いていません。
日々増えるデータ管理に追われ、HDDの増設でしのいでいる企業も多いのではないでしょうか。
一方で冗長性がなく階層もないオブジェクトストレージは、ファイルサーバーと違って保存場所を記憶する必要がありません。それぞれのデータをIDで管理するため、データを取り出すときはAPIとIDを使って取り出せます。
オブジェクトストレージとファイルサーバーの違いは、よく駐車場でたとえられます。
ファイルサーバーは巨大ショッピングモールに併設された駐車場のようなもので、「4階のBエリア」など場所を覚えておかなくてはいけません。一方でオブジェクトストレージはIDがあれば呼び出せるので、タワーパーキングやコンシェルジュがいる駐車場のようにお任せすることができるのです。
Amazon S3がほぼ100%の耐久性を豪語するのは、データを3か所の物理施設に自動配信する仕組みにあります。しかし保存場所を指定することもできるので、国外に出したくないデータの管理も容易です。
スケールも大きいので、ペタバイトレベルの大容量データの扱いに悩む企業には特に向いているでしょう。
AmazonエコシステムによってAWSのほぼすべてのサービスが利用できるため、AWS機能の1つである「ビッグデータ分析」も可能となります。
2019年12月までは「FUJITSU Storage ETERNUS CD10000 S2」というオブジェクトストレージを提供しており、小規模から大規模まで対応できる仕様にしていました。しかし2020年からはPRIMERGY×SUSE Enterprise Storageとしてより大容量向けに改良しており、増え続ける大量のデータ保存を見据えた仕様にしています。
拡張しやすいオブジェクトストレージが良いという企業や、国内メーカーが良いという企業に向いているでしょう。
またAmazon 3SのAPIとの互換性もあり、Amazon 3Sとマルチクラウドの構成もできます。Amazon 3Sと同じく3拠点でのデータ管理を行っているため信頼性もあり、たとえ40%~50%のデータが消失しても完全に復元できます。
なぜならビッグデータから新しい価値を作る「デジタルトランスフォーメーション」という考えが広まっており、過去のデータが大きな財産となるからです。
Amazonのようにデジタル化で手に入れた膨大なデータを分析することは、顧客のニーズやトレンドを掴む絶好のチャンスとなり、今後のビジネス戦略を決める大きな手掛かりとなります。
デジタルトランスフォーメーションについては、「デジタルトランスフォーメーションの背景、成功事例と課題をわかりやすく解説」で詳しくご紹介しております。
国内でも5Gの導入が進めば、さらに大容量のデータを管理する必要があります。ECサイト運営者は、「いかに多くのデータを最適に管理できるか」が課題となるのです。
たとえば全従業員の通信記録(ログ)も膨大な量となりますが、不正アクセスや情報漏洩による調査のために一定期間保存しなくてはいけません。もちろん契約文書といった重要データも適切に管理する必要があります。
適切なデータ管理を行い、新たなビジネス価値の創造にもつなげていきましょう。
販売データや顧客データなど、ECサイトが保存すべきデータは多岐に渡ります。5G時代になれば、さらに大容量のデータが増えていくでしょう。しかし現在一般的に使われているファイルサーバーは大容量を前提としておらず、最適とは言えません。
そこで大容量データ管理におすすめなのが、「オブジェクトストレージ」という仕組みです。データ管理者向けに、ペタバイトレベルのデータを保存できるオブジェクトストレージの仕組みやファイルサーバーとの違い、おすすめの製品についてご紹介します。
目次:
膨大なデータ管理はECサイト運営の課題である
デジタル社会で急増するECサイトのデータ
すべてをインターネット上でやりとりするECサイトでは、販売履歴や顧客情報は「命」ともいえる存在です。デジタル社会の現代ではビッグデータの重要性が知られ、管理すべきデータは昔とは桁違いの量になっています。つまりデータ管理者は、大容量データの保存方法について検討する必要があるのです。
ビッグデータは「事業に役立つ知見を導出するためのデータ」と定義されており、部門ごとに管理すべきデータ用は数十テラバイトから数ペタバイトともいわれています。
ソーシャルメディアやマルチデータ、ICカードやRFIDに取り付けたセンサーデータ、オフィスデータなど種類は多岐に渡り、その全てのデータが作業効率化や経営戦略の指針になります。
参照:総務省情報通信白書「第1部 特集 ICTが導く震災復興・日本再生の道筋」ECサイトの具体的なデータといえば、主に以下のものがあります。
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/html/nc121410.html
- 顧客情報
- 販売や仕入れの履歴
- 商品画像や説明文といった履歴
- 配信メール
- システムの操作ログ
データ分析で大成功したAmazon CEOジェフ・ベソス氏
ビッグデータ活用の世界的な成功例といえば、Amazonではないでしょうか。小売業界でいわずと知れたAmazon。代表のベソス氏は2019年時点で保有資産額が14兆6000億円を超えており、2018年・2019年と2年連続で世界長者番付首位をキープしています。
参照:Forbes JAPAN 「世界長者番付、ジェフ・ベゾスが2年連続首位 21歳のビリオネアも誕生」実はベソス氏は1994年にAmazonを創業するまで、小売業に携わった経験がありませんでした。しかしAmazon創業前は金融システムの開発やヘッジファンドのアナリストとして活動しており、それら金融業界で活かしたことで大成功したといわれています。
https://forbesjapan.com/articles/detail/25883
ベソス氏が金融業界の中心であるウォール街で働いていた1990年代は、「証券取引上からデータ収集して分析を行う」というシステムが運用されていました。リアルタイムでのデータ分析を行うことでリスク管理を行いながら自動売買できる、ディーリングシステムが確立されていたのです。
Eコマース分野に新規参入したベソス氏は、このデータ分析のノウハウをAmazonで存分に活かしています。未経験であった小売業界ではオンラインによる消費者データの分析を重要視して、消費者心理の理解に努めました。その結果を販売戦略に活かしたことで、Amazonは大成功を収めています。
販売戦略の策定・分析には過去の膨大なデータが欠かせない
国内の電子商取引におけるBtoC市場規模は、2018年時点で約18兆円です。2012年は約9兆円だったことを考えると、6年の間に2倍にも成長する勢いを見せています。年々成長しているネットショップ市場ですが、その分競争も日々激化します。楽天やAmazonといったモール型ショッピングに出品する企業および個人だけではなく、今では大手企業が独自でECサイトを開設するなど、ECサイトに参入する企業も続々と増えています。
消費者側としては選択肢が増える一方で、同じネットショッピングモールであっても最安値のショップを探したり送料無料の商品を探したりと、商品を賢く選ぶスキルを身につけています。
つまりECサイト側は顧客に「選んでもらう」立場となり、選ばれ続ける努力が必要です。せっかく立ち上げたECサイトを存続させるには、Amazonのようにビッグデータを分析して顧客の心理を掴み、顧客に寄り添った商品開発・販売戦略が欠かせません。
そこで最近注目を浴びているのが、オブジェクトストレージによる大容量のデータ管理なのです。
オブジェクトストレージの仕組みやメリット
オブジェクトストレージとは
大容量のデータ管理方法として注目されているものがオブジェクトストレージです。オブジェクトストレージとは、データをブロックやファイル単位ではなく「オブジェクト単位」で扱うものであり、階層が存在しません。今まで一般的に使われてきたファイルサーバーでは、ファイルやブロックという単位でデータを管理していました。データを保存するためにはCドライブの中にファイルを作り、さらにそのファイルの中でカテゴリーごとにファイルを作り…という具合に、「階層」という概念が存在しました。
ファイルサーバーのほかにはブロックストレージも存在しますが、こちらは階層ではなく「ブロック」という概念があります。
ファイル単位やブロック単位ではサイズに制限があり、大容量のデータを一度にアップロードすることは困難でした。しかし、オブジェクト単位で管理できるオブジェクトストレージであれば、1データ当たりの制限量を気にする必要がありません。
堅牢性が高く多岐に渡るデータを保存できる
データが大容量になるほど、そして機密性が高まるほど心配になるのがセキュリティ問題です。オブジェクトストレージはファイルサーバーと違い、容量を拡張しやすい仕様になっています。そのため外付けメディアなどでストレージを増設する必要がなく、堅牢性が高いストレージです。
また、製品にもよりますが大容量データの格納を前提としているオブジェクトストレージは、預けるデータ容量が大きいからといって割高になることがほぼありません。
そのため、「なるべく安価に、そして安全に大容量データを保管したい」という企業こそオブジェクトストレージが適しているのです。
たとえばKDDIでは、「堅牢性99.999999999999%」を謳うオブジェクトストレージをリリースしています。爆発的にデータ容量が増えても制限なく管理できる拡張性があり、さらにKDDIのイントラ回線によって閉域環境で利用できるため高い堅牢性が保証されているのです。
参照サイト:KDDIニュースリリース「堅牢性99.999999999999%のオブジェクトストレージを提供開始」オブジェクトストレージは他の大手企業からもリリースされています。後ほど人気製品をご紹介するので、ぜひ参考になさってください。
https://news.kddi.com/kddi/corporate/newsrelease/2015/08/31/1326.html
従来のファイルサーバーとの違い
オブジェクトストレージはファイルサーバーのように階層を持たないことは前述した通りですが、ファイルサーバーには「RAID」(レイド)という仕組みを持っています。RAIDとは複数のハードディスクでデータを保存するため、たとえ1台が壊れても運用可能です。その点が評価されファイルサーバーが一般的だったのですが、冗長性を持たせて保存するRAIDは大容量のデータ保存には向いていません。
日々増えるデータ管理に追われ、HDDの増設でしのいでいる企業も多いのではないでしょうか。
一方で冗長性がなく階層もないオブジェクトストレージは、ファイルサーバーと違って保存場所を記憶する必要がありません。それぞれのデータをIDで管理するため、データを取り出すときはAPIとIDを使って取り出せます。
オブジェクトストレージとファイルサーバーの違いは、よく駐車場でたとえられます。
ファイルサーバーは巨大ショッピングモールに併設された駐車場のようなもので、「4階のBエリア」など場所を覚えておかなくてはいけません。一方でオブジェクトストレージはIDがあれば呼び出せるので、タワーパーキングやコンシェルジュがいる駐車場のようにお任せすることができるのです。
オブジェクトストレージのメリット
オブジェクトストレージのメリットをまとめると以下のようになります。- 階層構造がなく、すべてのデータをフラットに保存できる
- データのサイズや数に保存制限がなく、大容量のデータも保存・管理しやすくなる
- 大容量データでも低コストで管理できる
- データの格納場所を忘れた古いデータでも取り出しが簡単
人気のオブジェクトストレージ製品3選
Amazon S3
Simple Storage Serviceの意味を持つAmazon S3は、クラウド型のオブジェクトストレージです。耐久性、可用性、拡張性において自信を持っており、特に耐久性についてはKDDIのように「99.999999999% の耐久性」と謳っています。Amazon S3がほぼ100%の耐久性を豪語するのは、データを3か所の物理施設に自動配信する仕組みにあります。しかし保存場所を指定することもできるので、国外に出したくないデータの管理も容易です。
スケールも大きいので、ペタバイトレベルの大容量データの扱いに悩む企業には特に向いているでしょう。
AmazonエコシステムによってAWSのほぼすべてのサービスが利用できるため、AWS機能の1つである「ビッグデータ分析」も可能となります。
参照:AWS公式サイト「クラウドオブジェクトストレージとは」
https://aws.amazon.com/jp/what-is-cloud-object-storage/
Fujitsu PRIMERGY×SUSE Enterprise Storage
富士通のオブジェクトストレージは、分散ストレージである「Ceph」(セフ)を搭載しており、ハイパースケールストレージと同レベルの容量を実現しています。さらに「RADOS」(ラドス)というアーキテクチャも採用しているので、容量や性能の拡張も可能です。2019年12月までは「FUJITSU Storage ETERNUS CD10000 S2」というオブジェクトストレージを提供しており、小規模から大規模まで対応できる仕様にしていました。しかし2020年からはPRIMERGY×SUSE Enterprise Storageとしてより大容量向けに改良しており、増え続ける大量のデータ保存を見据えた仕様にしています。
拡張しやすいオブジェクトストレージが良いという企業や、国内メーカーが良いという企業に向いているでしょう。
参照:FUJITSU公式サイト「PRIMERGY×SUSE Enterprise Storage」
https://www.fujitsu.com/jp/products/computing/storage/eternus-cd/s2/
IBM Cloud Object Storage
ハイブリッドクラウド向けに作られているIBMのcloud Object Storageは、柔軟なライセンス体系が特徴です。パブリック以外に専有利用のDecicatedやオンプレミスがあり、企業のクラウド環境に合わせて選択できます。またAmazon 3SのAPIとの互換性もあり、Amazon 3Sとマルチクラウドの構成もできます。Amazon 3Sと同じく3拠点でのデータ管理を行っているため信頼性もあり、たとえ40%~50%のデータが消失しても完全に復元できます。
参照:IBM公式サイト「IBM Cloud Object Storage」
https://www.ibm.com/jp-ja/cloud/object-storage
ECサイトにも求められるデジタルトランスフォーメーション
5G時代に必要なデジタルトランスフォーメーションとは
デジタル化が進んだ現在では、たとえ管理しきれないほど膨大なデータでも消去することはできません。なぜならビッグデータから新しい価値を作る「デジタルトランスフォーメーション」という考えが広まっており、過去のデータが大きな財産となるからです。
Amazonのようにデジタル化で手に入れた膨大なデータを分析することは、顧客のニーズやトレンドを掴む絶好のチャンスとなり、今後のビジネス戦略を決める大きな手掛かりとなります。
デジタルトランスフォーメーションについては、「デジタルトランスフォーメーションの背景、成功事例と課題をわかりやすく解説」で詳しくご紹介しております。
国内でも5Gの導入が進めば、さらに大容量のデータを管理する必要があります。ECサイト運営者は、「いかに多くのデータを最適に管理できるか」が課題となるのです。
企業はデジタルデータの適切な管理が求められる
個人情報や機密情報の保持に限らず、今後は大容量データの適切な管理も企業の責任となります。たとえば全従業員の通信記録(ログ)も膨大な量となりますが、不正アクセスや情報漏洩による調査のために一定期間保存しなくてはいけません。もちろん契約文書といった重要データも適切に管理する必要があります。
参照:総務省セキュリティサイト「ログの適切な取得と保管」
https://www.soumu.go.jp/main_sosiki/joho_tsusin/security/business/admin/22.html
まとめ
「もう社内ではデータ管理の限界を迎えている」「ファイルサーバーでは管理しきれない」と悩んでいる企業担当者は、ぜひオブジェクトストレージの切り替えを検討してはいかがでしょうか。適切なデータ管理を行い、新たなビジネス価値の創造にもつなげていきましょう。