FCケーブルより通信速度が速く、LANケーブルでお手頃に導入出来る10Gbpsイーサネットですが
その実力のほどはどれほどなのでしょうか？
NetAppのストレージで導入しストレージの性能測定をしてみました。

環境・前提条件

• VMware ESXi 5.5 U2
  HP　DL360 G9 メモリ192GB 10Gigabitサーバ アダプタ
• 10Gbpsスイッチ
  5700-32XGT-8XG-2QSFP
• カテゴリー6A LANケーブル
• NetApp FAS2520、OnTap 8.3
  SAS 1.2TB 10Krpm × 24

上記構成を使用し、VMwareからNetAppをデータストアとしてNFSマウントし、
VMware上の仮想マシンでストレージ性能測定を行いました。

NetAppの構成は
ホットスペアを2本確保したので、22本でRAID-DPを組んだ領域を使用しました。
VMware ESXiとNetApp間のMTUは1500を使用。

使用した仮想マシンは

• Windows server 2008 R2 メモリ4GB

使用したベンチマークソフトは

• CrystalDiskMark 3.0.4

です。

結果としては10Gbpの3分の1程度しか使いこなせなかった

まず、結論かは話すと

• 10Gbps ＝ 10,Gbps ÷ 8 ＝1.25GB/s

なのですが、シーケンシャルリードで450MB/s程度の性能しか使いきれませんでした。

-----------------------------------------------------------------------
CrystalDiskMark 3.0.4 x64 (C) 2007-2015 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

           Sequential Read :   440.532 MB/s
          Sequential Write :   176.699 MB/s
         Random Read 512KB :    91.028 MB/s
        Random Write 512KB :   146.727 MB/s
    Random Read 4KB (QD=1) :     1.149 MB/s [   280.6 IOPS]
   Random Write 4KB (QD=1) :     4.342 MB/s [  1060.0 IOPS]
   Random Read 4KB (QD=32) :    27.795 MB/s [  6785.8 IOPS]
  Random Write 4KB (QD=32) :    65.058 MB/s [ 15883.4 IOPS]

  Test : 4000 MB [D: 0.2% (0.1/40.0 GB)] (x5)
  Date : 2015/06/04 18:56:47
    OS : Windows Server 2012 R2  [6.3 Build 9600] (x64)
 

シーケンシャルリード時にNetAppのディスクアクセスがあったかというと

シーケンシャルリード時にNetApp上のパフォーマンス状況を確認したところ、
ネットワークのスループットは450MB/s程度出ていましたが
ディスクのスループットは読み取りで450MB/sも出ていませんでした。

つまり、NetApp上でキャッシュヒットしてこのくらいの性能ということは、(ディスクまでアクセスが行くともっと遅くなるので)限界に近いスループットということですね。

1Gbpsイーサネットネットワークの

• 1Gbps ＝ 1000Mbps ÷ 8 ＝ 125Mbps

よりはスループットが出ていますが、
8GbpsのFCケーブルでは

• 8Gbps ＝ 8Gbps ÷ 8 ＝ 1Gbps

FCケーブルの場合でも帯域を使いきれない感じですね。

多重度をかけてみた結果

２多重でストレージ性能測定を行っていました。
つまり、二個の仮想マシンを使用し、ほとんど同タイミングにパフォーマンス測定ツールを実行した結果です。

 

比較としてローカルディスクでストレージ性能測定をした結果

SAS RAID1構成でストレージ性能測定した結果。仮想マシン

環境としては、上記VMware ESXiホストの内蔵のハードディスクを使用して性能測定しました。
内蔵のハードディスクはSAS300GB 10Krpm×2本のRAID1構成です

-----------------------------------------------------------------------
CrystalDiskMark 3.0.4 x64 (C) 2007-2015 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

           Sequential Read :   301.423 MB/s
          Sequential Write :   182.393 MB/s
         Random Read 512KB :   128.532 MB/s
        Random Write 512KB :   209.018 MB/s
    Random Read 4KB (QD=1) :     1.298 MB/s [   316.8 IOPS]
   Random Write 4KB (QD=1) :    42.000 MB/s [ 10254.0 IOPS]
   Random Read 4KB (QD=32) :     3.754 MB/s [   916.5 IOPS]
  Random Write 4KB (QD=32) :     8.386 MB/s [  2047.4 IOPS]

  Test : 4000 MB [G: 0.2% (0.1/40.0 GB)] (x5)
  Date : 2015/06/04 19:25:27
    OS : Windows Server 2012 R2  [6.3 Build 9600] (x64)
 

物理マシンのwindowsを使用してSAS RAID1構成でストレージ性能測定を行った結果

-----------------------------------------------------------------------
CrystalDiskMark 3.0.4 x64 (C) 2007-2015 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

           Sequential Read :   272.446 MB/s
          Sequential Write :   231.704 MB/s
         Random Read 512KB :   118.228 MB/s
        Random Write 512KB :   193.182 MB/s
    Random Read 4KB (QD=1) :     1.514 MB/s [   369.7 IOPS]
   Random Write 4KB (QD=1) :     7.372 MB/s [  1799.8 IOPS]
   Random Read 4KB (QD=32) :     5.746 MB/s [  1402.8 IOPS]
  Random Write 4KB (QD=32) :     7.226 MB/s [  1764.1 IOPS]

  Test : 4000 MB [D: 3.0% (5.4/179.0 GB)] (x5)
  Date : 2015/06/04 19:49:40
    OS : Windows Server 2012 R2 Server Standard (full installation) [6.3 Build 9600] (x64)
 

物理マシンのwindowsを使用してSATA RAID6構成でストレージ性能測定を行った結果

RAID6構成はSATA 7,500rpm ×11本 使用し構成しました

-----------------------------------------------------------------------
CrystalDiskMark 3.0.4 x64 (C) 2007-2015 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

           Sequential Read :  1187.011 MB/s
          Sequential Write :  1513.097 MB/s
         Random Read 512KB :    83.872 MB/s
        Random Write 512KB :   182.527 MB/s
    Random Read 4KB (QD=1) :     1.019 MB/s [   248.8 IOPS]
   Random Write 4KB (QD=1) :     9.338 MB/s [  2279.7 IOPS]
   Random Read 4KB (QD=32) :     7.476 MB/s [  1825.2 IOPS]
  Random Write 4KB (QD=32) :     2.943 MB/s [   718.6 IOPS]

  Test : 4000 MB [E: 0.0% (0.4/33533.8 GB)] (x5)
  Date : 2015/06/04 19:41:07
    OS : Windows Server 2012 R2 Server Standard (full installation) [6.3 Build 9600] (x64)

RAIDコントローラーの性能が良いと、SATAでもシーケンシャルの性能はかなり良いですねー。

まとめ。10Gbps＆NetApp&VMwareはどうなのか？

10GbpsのNetAppを導入する意味はあるか？と聞かれれば「あります」と答える結果になりましたが、
10Gbps導入に見合うパフォーマンス性能が出るかといわれると、10Gbpsをとても使いきれない結果ですね。
多少良いRAIDコントローラーの内蔵ローカルディスクと同等くらいのストレージ性能ですね。

「NetAppで10Gbpsだから、非常に速い」とかではなく、やはり「やはりストレージも共有しているんだ」という認識で使うイメージですね。
つまり、ストレージに高パフォーマンスを求めるサーバーは専用ストレージを使うべきですね、ということです。