KumoScale™ ソフトウェア

NVMe-oF™ によるStorage Disaggregationをデータセンターに提供

KumoScale™はNVMe-of™ 接続を提供し、高速ネットワークで接続されているイニシエーターとターゲット間でブロックストレージサービスを提供するソフトウェアです。KumoScale™はNVMe™対応SSDを搭載したストレージノードで動作し、NVMe™ over Fabrics(以下、NVMe-oF™)による高速、低遅延の「ストレージディスアグリゲーション(Storage Disaggregation)を実現します。RDMAおよびTCPのネットワークトランスポートに対応しており、複数のSSDをプール化しNVMeネームスペースによる論理分割が可能です。このようなボリューム管理機能との組み合わせにより、DAS(Direct Attached Storage:サーバー直結ストレージ)に比較し、SSDからなる大容量のストレージを柔軟に管理することができます。

ユースケース

典型的なアプリケーション、導入形態

  • クラウドネィティブなアプリケーション向けのストレージ環境
  • OpenStack、Kubernetes向けのストレージ環境
  • 高速NVMeストレージサービス - HPCアプリケーションや科学技術計算など
  • AI/ML/DL向けのバックエンドストレージ
  • 大規模なマルチプレイヤーゲームのバックエンドストレージ

業界標準のNVMe-oF™イニシエーターやNVMe™ドライブを使用でき、独自仕様のソフトウェア、ハードウェアは不要です。

機能

高速NVMe™対応SSDをプール化し、SSDの使用率とストレージ全体の柔軟性を向上

最新のPCIe® Gen 4規格に基づくNVMe™ SSDの容量とパフォーマンスはPCIe® Gen に比べて飛躍的に向上しており、単独のコンピュートノードではもはや使いきれないレベルになろうとしています。複数のユーザアプリケーション、サーバー間で高性能なSSDを共有することは緊急の要件になっています。NVMe-oF™が登場し実用化されるまで、ネットワーク化されたストレージはパフォーマンスが劣化するかコスト高になるか、あるいはその両方になっていく一方でした。NVMe-oF™ を利用すれば、そのようなことはもうありません。KumoScale™は、ターゲットに装着されたSSDを共有し、プール化。それらをNVMe™ ネームスペースによって論理分割することで、多数のイニシエータからブロックストレージとして使用できます。これにより、DAS型のストレージに比べてストレージの使用率を向上させるのと同時に、必要な時に必要なだけの容量を切り出しすことが出来、ストレージ管理の柔軟性も発揮します。

RDMAおよびTCPのトランスポートプロトコルに対応

KumoScaleはRDMAおよびTCPのトランスポートプロトコルに対応しています。ネットワークの高速性を求めるお客様はRoCEv2(RDMA over Converged Ethernet)が利用できます。
一方、既存ネットワークとの互換性を求めるお客様はTCP/IPでの接続が可能です。ネットワークカードの対応については、HCL(Hardware Compatibility List : 互換性リスト)をご覧ください。

各種プロビジョニング環境、テレメトリデータベースとの親和性

  • OpenStack™ Wallaby以降の各リリースとの動作確認を実施。Cinder ドライバも提供しています。
  • Kubernetes® CSI ドライバにより、KumoScaleがコンテナ化されたアプリケーションのストレージとして使用可能です。
  • ベアメタル環境では、Ansible™に対応。KumoScale用に用意されたPlaybookにより、コンピュートノードへのストレージ割り当てを自動化します。
  • Graphite™およびPrometheus™といったよく使われるテレメトリ環境との接続性も確保。テレメトリ(時系列の指標)とロギング(非同期イベント)情報を既存のテレメトリ/ロギングインフラストラクチャに提供します。

データプロテクションと可用性確保

データプロテクション -Cross Domain Data Replication (CDDR)-
KumoScaleでは、SSDをプール化したうえでそれらをミラーボリュームとして別のKumoScaleストレージノードに複製します。データの複製は、イニシエータベースに行ない、2台目、3台目のKumoScaleに広帯域のデータパスを使ってレプリケーションを行います。ボリュームの消失やノード障害時をイニシエータ上のエージェントが感知すると、複製先のボリュームに遷移します。障害が復旧すると、現在接続しているボリュームからデータがバックグランドでコピーされ修復されます。障害検知からボリュームの付け替え、復旧後の修復までは自動的に行われます。

可用性確保
KumoScaleは、L3 BGPに対応。BGPによる最適パス設定を参照し、ノード障害、ネットワーク障害があっても、あらかじめ設定された最適パスルーティングにより、ストレージへの接続性を担保しています。

Version 3.20ハイライト

商用OSに対応した新しいデプロイモード
KumoScaleでは、専用のOSやソフトウェアを一括して提供・設定することにより、容易にNVMe-oF™規格に準拠した共有ストレージを実現することが可能になります。しかし、大規模なデータセンターでは既存の商用OSを用いてネットワークのプロビジョニングやモニタリングを行うシステムを組んでいる場合があり、KumoScaleの導入を検討する際、既存のシステムとの連係が課題となっていました。新しい「KumoScaleバージョン3.20」では、既存のOSを使いながらもKumoScaleソフトウェアを動作できる機能を追加し、ユーザーの多様な動作環境にも柔軟に対応しながら、新しい高速ネットワークストレージを構築することが可能になります。

NVIDIA社のGPUDirect® Storageをサポート
GPUDirect Storageは、NVIDIA社のGPUとNVMe接続されたストレージとの間でデータを直接やり取りできる技術で、GPUを用いた機械学習などの大規模なシステムにおいて、データ転送速度を向上させながらCPUの負荷を軽減することを可能にします。

OpenID® Connect™ 1.0をサポート
大規模なデータセンターで広く利用されているID管理技術のOpenID Connectとの連係機能により、KumoScaleを既存のデータセンターのセキュリティ管理へ組み込むことが容易になります。

アーキテクチャ

データセンターのシステムアーキテクチャとKumoScale™の関係

KumoScale™のアーキテクチャー図 KumoScale™のアーキテクチャー図

機能(モジュール)

1. KumoScale™ストレージノード
KumoScale™ソフトウェアが稼働するストレージサーバー

2. データパス
NVMe-oF™を介し、サーバーアプリケーションとストレージがデータを通信するネットワーク

3. コントロールパス
KumoScale™が提供する各種サービスの制御情報を通信するネットワーク

4. プロビジョナーサービス
指示、設定に基づいて最適なストレージ領域をストレージノードから切り出し、QoSを管理

5. CSIドライバー
KumoScale™用のコンテナストレージインタフェース。プロビジョナーサービスと密接に連携

6. テレメトリ―データベース
サーバーやKumoScale™ストレージノードの各種統計値を格納するデータベース

プラットフォーム要件

KumoScale™は、幅広い選択肢のある業界標準のサーバー上で、ベアメタル、OpenStack®、Kubernetes®の環境での動作を確認しています。Linux®カーネルバージョン4.8以降など、NVMe-oF™準拠のイニシエーターを使用することができます。具体的な機種名等は、以下を参照してください。

コンポーネント

最小構成

メモリ

64GB DDR4

システムディスク

2 x 128 GB SATA DOM

NIC

以下のいずれかを選択

MCX516A-CCATまたはMCX545A-CCAN ConnectX - 5 EN network interface card, 100 GbE dual/single port QSFP28, PCIe® 3.0 x16 ROHS R6 MCX416A-CCAT ConnectX - 4 EN network interface card, 100 GbE dual/single port QSFP28, PCIe® 3.0 x16 ROHS R6 Solarflare Communications XtremeScale SFC9250 10/25/40/50/100G Ethernet Controller

電源

Dual power supply, hot swappable

管理インターフェイス

KumoScale™ではデータポートを管理用のトラフィックに使用可能。管理専用のポートを使用することも可能。

KumoScale™ Provisioner

KumoScale™ Provisionerが動作する別のサーバー或いはコンテナは必要ありません。

ドキュメント

KumoScale™ ソフトウェアの概要と特長、アドバンテージ、ユースケースや導入時の環境条件について記載しています。

KumoScale™ ソフトウェアのデータプロテクション機能に関するアーキテクチャ、導入方法を解説。問題発生時にどのようにデータを保護し、自動修復を行うかについて解説しています。

データセンター向けストレージシステムとしてCephソフトウェアを導入した場合、同等の機能を提供するKumoScale™ ソフトウェアとの性能比較を通してNVMe-oF™ として開発したKumoScaleのアドバンテージを解説しています。

PCIe 4.0に対応したサーバーシステムを、RDMA接続のNVMe-oF™ ターゲットとして構成。CM6 SSDを使用した場合の性能計測結果とSSD台数追加によるスケーラビリティを詳細に解説しています。

お問い合わせ

KumoScale™に関するお問い合わせは、お問い合わせフォームからお願いします。

  • 「お問い合わせいただく前の同意事項」に同意の上、お問い合わせフォーム内の「製品名」に"KumoScale"を入力し、「製品分類」から"KumoScale"を選んでお問い合わせください。
  • 掲載されている情報(製品の価格/仕様、サービスの内容及びお問い合わせ先など)は、発表日時点での情報です。
  • 注:DASの場合と比べ4KBリード時に15usのレイテンシが発生するのみ。2020年6月 キオクシア株式会社調べ。 同一ハードウエア構成でDAS接続時とNVMe-oF™ 接続時に、当社指定の測定ツールにより計測。ブロックサイズ4KB時の遅延時間の差を示す。
  • NVMeとNVMe-oF は、NVM Express, Inc.の米国またはその他の国における登録商標または商標です。
  • PCIeは、PCI-SIGの登録商標です。
  • Kubernetesは、米国およびその他の国におけるThe Linux Foundation の登録商標です。
  • Ansibleは、米国およびその他の国におけるRed Hat, Inc の登録商標です。
  • Linuxは、米国およびその他の国におけるLinus Torvalds 氏の登録商標です。
  • 文字商標 OpenStackは、OpenStack Foundationの米国その他の国における商標または登録商標です。当社は OpenStack Foundationの関連企業ではなく、OpenStack Foundationから認可または後援を受けていません。
  • Prometheusは、米国およびその他の国におけるThe Linux Foundation の登録商標です。
  • GrafanaとLokiは、Grafana Labs, Incの商標または登録商標です。
  • その他記載されている社名・商品名・サービス名などは、それぞれ各社が商標として使用している場合があります。