ここ数年、スケールアウトで逃げ続けたディスク容量問題。中心的に使ってきた3TBと昨今のSATAディスク最大容量との乖離も大きくなってきたので、いい加減8TBにスケールアップを行った。SeagateのアーカイブディスクST8000AS0002という製品。大きなファイル用途とのことで、OS領域などには向かないらしい。このディスクを迎えるに当たって、予めGlusterFS上にある細かいファイルはアーカイブして固めておいたので、普段使いで違和感を覚えたことはない。特にストレスを感じることもなく、GlusterFSの1ブリックとして立派に働いてくれている。

SeagateST8000AS0002 バルク品 (ハードディスク/3.5インチ/8TB/SATA) 価格：28400円（税込、送料無料) (2016/11/11時点)

この8TBディスクの投入によって、GlusterFSのブリックは1ノード当たり8TBと3TB3本といびつな構成になってしまった。これでdistributedな構成を取っており、同じ構成のもう１ノードとmirrorを組んでいる。2台目に8TBディスクを追加する前は、1台目が17TBで2台目が12TBな構成だった。GlusterFSのvolumeはmirrorを解除した状態だと17TBで見えたが、12TBのブリックとmirrorを組むと12TBに減ってしまった。mirror構成を組むときは、もっとも容量の低いメンバーに合わせてしまうようだ。さもありなん。

その後、2台目にも8TBを追加するとvolumeの容量は17TBに拡張した。これで当分、容量問題に苦しむことはないかな。そしてもう1つ気にしていたのが、いびつなブリック構成の時に、容量の平準化が何を基準に行われるのか。性能観点だと容量基準での分散、可用性観点だと使用率基準での分散となるだろう。自宅のGlusterFSは可用性重視で選択したのだから、当然後者であって欲しい。ドキドキしながら、GlusterFSのrebalanceを実行する。結構時間かかりそうだったので、そのまま就寝して翌朝確認。期待通り使用率基準での分散となっていた！容量的には8TBのディスクに相当偏ることになるのは仕方がない。

せっかくなのでST8000AS0002の具体的な性能を評価してみた。使ったツールはいつも通りfioで、sequentialのread/writeとrandomのread/writeを計測してみる。普段使いの評価をしたかったので、ファイルシステムキャッシュやディスクキャッシュを無視するような方法は取っていない。また、書き込んだサイズも100MB程度で、3回程度しか繰り返していないので、あくまで簡易的なものというとこで。比較したディスクたちは以下のもの。

• SAMSUNG MZNTE128HMGR M.2 SSD 128GB
• TOSHIBA MD04ACA300 SATA 3TB
• Seagate ST8000AS0002 SATA 8TB

sequencial readに関してはSSDがさすがの3倍性能で、3TBと8TBはそれほど変わらず。8TBは2〜3割性能が落ちる時があったので、何度も検証したらもう少し違う結果になるかもしれない。逆を言えば、大容量向きとは言いつつもsequencail readでアドバンテージを持っているわけではないようだ。そしてsequencial writeは3つとも性能横並びだった。ファイルシステムキャッシュの影響かもしれないので、巨大なファイルを書き込むと差が出るかもしれないけど。

Seagate 3.5インチ 内蔵HDD 8TB SATA ST8000AS0002 価格 : 26,563円（税込） by Yahoo! ショッピング

そしてrandom readですね。これがアーカイブディスクにとっては最も苦手と思われる処理。SSDに比べると8TBは10倍以上遅かった。お話にならないなあ。3TBは最初の1回のみSSDの3倍ほど時間かかったが、2回目以降はSSDよりちょっと早いくらいの性能だった。これ、何でだかよくわからない。ディスクキャッシュが効くんだっけ。。。ディスクキャッシュ効くなら、8TBも性能上がって欲しいけど。最後はrandom writeで、これも8TBが遅いかと思ったけど、結果は3台とも横並び。うーん、writeはバッファ処理が優秀なのかな。

という訳で、アーカイブディスクを使う上では、random readの性能だけ気にして使えばよさそう。OS領域には向いていないという話も納得。とはいえ、容量大きくて便利だから、ちょこっとコンテナのファイルシステムを配置して動かしてみたりしてみた。SSDに比べると、ほんのちょっと待つことがある気もするけど、普通に実用的なレベル。構成管理化する前の開発用コンテナの永続化に悩んでいたので、それらをアーカイブディスク上に配置してしまった。ただ、yum installみたいな処理はやはり苦手なようで一瞬凍ったかと思うくらい遅いｗ あとは突然見えなくなる問題だけ何とかしてくれれば、もっと買い足すんだけどなあ。