SSブログ
エステ
2013年07月｜ 2013年08月 ｜2013年09月 ブログトップ

新しいファイルサーバ構築の顛末　[Netatalk]

今まで使ってきたファイルサーバの残り容量が少なくなってきたので、これを機に新しいファイルサーバを構築することにしました。がNetatalkの本来のパフォーマンスがなかなか出ず、苦しむことに。。その顛末。
2013/3〜5月ころにかけて謎といていましたが、そのまとめ、というか当時のメモのまとめ。
もうちょっと忘れているけど。。

新しいファイルサーバのスペックは

HDD             SATA3.0 ST3000DM001/N
M/B              SUPERMICRO X9SBAA-F
 

Seagate 3.5inch 3.0TB 7200rpm 64MBキャッシュ SATA3.0 ST3000DM001/N

Seagate 3.5inch 3.0TB 7200rpm 64MBキャッシュ SATA3.0 ST3000DM001/N

  • 出版社/メーカー: Seagate
  • メディア: Personal Computers
 
箱はこれ、ZNSC-400P
 5155_l.jpg
 
見た目は専用NASケースライクでよいのですが、開閉などの機構や細部は10年前くらい前のケースを思いだすレベル。手をケガしました。。 
 
 

新しいファイルサーバでNetatalk 3.0.3をubuntu13.04, 12.10, 12.04.02, Debian7 へインストールし、ベンチマークを取るが、いずれの場合でもHDDのwriteが異様に遅い。特に小さいファイルについては、期待値の1/20以下。
 
ベンチマークは、新しいファイルサーバとMacBook Proとを有線LANで接続し、いくつかのベンチマークソフトで計測。 

■古いファイルサーバでのベンチマーク結果
QuickBench(TM) 4.0 Test Results
ｩ2000-2007 Intech Software Corp.
Test file created on 2013年 4月 13日 土曜日 at 11:13:59 PM
Test Volume Name: nao
Test Volume Type: AppleShare File System
Test Volume Size: 3.581 Terabytes
Test Volume Free Space: 861.068 Gigabytes
Allow Disk Cache Effects: Disabled
All reads and writes performed sychronously

Standard Test Results:
Test Cycles: 1 

Transfer Size   Sequential Read   Sequential Write    Random Read      Random Write

   4 KBytes      9.698 MB/Sec      2.135 MB/Sec      9.451 MB/Sec      1.340 MB/Sec
   8 KBytes      17.009 MB/Sec     3.916 MB/Sec      21.797 MB/Sec     2.718 MB/Sec
  16 KBytes      25.479 MB/Sec     6.938 MB/Sec      25.523 MB/Sec     2.813 MB/Sec
  32 KBytes      41.984 MB/Sec     11.211 MB/Sec     44.699 MB/Sec     4.190 MB/Sec
  64 KBytes      58.714 MB/Sec     11.612 MB/Sec     58.219 MB/Sec     7.746 MB/Sec
 128 KBytes      77.303 MB/Sec     25.337 MB/Sec     78.238 MB/Sec     12.518 MB/Sec
 256 KBytes      82.941 MB/Sec     25.876 MB/Sec     84.474 MB/Sec     18.964 MB/Sec
 512 KBytes      96.145 MB/Sec     28.143 MB/Sec     96.168 MB/Sec     11.447 MB/Sec
1024 KBytes      104.300 MB/Sec    34.597 MB/Sec     104.021 MB/Sec    30.888 MB/Sec

Standard Ave     57.064 MB/Sec     16.641 MB/Sec     58.066 MB/Sec     10.292 MB/Sec


■新しいファイルサーバでのベンチマーク結果

QuickBench(TM) 4.0 Test Results
ｩ2000-2007 Intech Software Corp.
Test file created on 2013年 4月 14日 日曜日 at 1:07:47 AM
Test Volume Name: share
Test Volume Type: AppleShare File System
Test Volume Size: 5.414 Terabytes
Test Volume Free Space: 5.398 Terabytes
Allow Disk Cache Effects: Disabled
All reads and writes performed sychronously

Standard Test Results:
Test Cycles: 1 

Transfer Size   Sequential Read   Sequential Write    Random Read      Random Write

   4 KBytes      8.162 MB/Sec      0.097 MB/Sec      7.873 MB/Sec      0.095 MB/Sec
   8 KBytes      14.103 MB/Sec     0.181 MB/Sec      13.482 MB/Sec     0.189 MB/Sec
  16 KBytes      8.469 MB/Sec      0.358 MB/Sec      24.439 MB/Sec     0.375 MB/Sec
  32 KBytes      44.139 MB/Sec     0.725 MB/Sec      5.871 MB/Sec      0.725 MB/Sec
  64 KBytes      58.049 MB/Sec     1.412 MB/Sec      57.801 MB/Sec     1.478 MB/Sec
 128 KBytes      61.821 MB/Sec     2.716 MB/Sec      61.199 MB/Sec     2.661 MB/Sec
 256 KBytes      66.164 MB/Sec     5.042 MB/Sec      66.107 MB/Sec     5.349 MB/Sec
 512 KBytes      91.826 MB/Sec     8.848 MB/Sec      96.652 MB/Sec     8.945 MB/Sec
1024 KBytes      103.316 MB/Sec    12.717 MB/Sec     102.547 MB/Sec    12.684 MB/Sec

Standard Ave     50.672 MB/Sec     3.566 MB/Sec      48.441 MB/Sec     3.611 MB/Sec

う〜ん、、という結果。。

そこでいろいろと、Software/Hardwareのmixを変えて、原因を突き止めることに。


1. Sambaでベンチマーク、チューニングなし
-> read/write共に問題なし
-> とすると、netatalk3.0.xに問題？
 
 
2. netatalk2.2.xでベンチマーク、チューニングなし
-> やはり、writeが遅い
-> sambaでのファイル共有時にはベンチマーク結果が問題ないことと、ローカルでのHDDのベンチマークの結果に問題ないことから、netatalkと特定の何かの組み合わせで発生する問題の可能性。
・ netatalk2.2.x, 3.0.3に共通する仕組みと現状のnetwork/hardware/OS/softwareなどの機能または設定との組み合わせで発生する問題か？
-> HDD4台を旧ファイルサーバ(ubuntu 10.04)でRAIDで認識させた際のWriteに問題なし。
-> MBを交換しても、writeは遅い
-> 最近のubuntuの問題か？
-> 旧ファイルサーバでは問題が発生していないので、旧ファイルサーバとの構成を比較する

-> 

構成             新ファイルサーバ             旧ファイルサーバ
OS               Debian6.0                          Ununtu10.04
                    Ubuntu13.04
                    Ubuntu12.10
                    Ubuntu12.04.02
                    4パターンで確認

HDD             SATA3.0 ST3000DM001/N    HGST Deskstar 7K2000HDS722020ALA330

M/B              ASROCK E350M1               Intel Desk Top Board G45FC BOXDG45FC
                     SUPERMICRO X9SBAA-F
                     2パターンで確認

-> OSやM/Bを変更した構成でも改善せず。
-> クリーンインストールの状態でも発生するので、software matterならmdadmか？
 
 
3. RAIDボリュームを崩して、素の状態でベンチマーク
-> やはりwriteが遅い
-> mdadmは関係ない
 
 
４．大きなHDDではありえる、4Kセクタの問題か？
古いファイルサーバのHDDを新しいファイルサーバにもってきてもWriteが遅いので、関係なし。 
HDDのCacheなどの設定も関係なし。
 
 
5. OSの問題か？
古いDistributionで試してみる
Ubuntu 10.04が最近のM/Bにインストールできない。。
たしか、言語のselectionの後ぐらいで、フリーズしてしまったような、、3ヶ月も前のことなので忘れ気味ですが。。
仕方ないので、Debian 6.0をインストール。
こっちもなにやらトラブっていましたが、なんとかインストールできたみたい。記憶から薄い。。

QuickBench(TM) 4.0 Test Results
ｩ2000-2007 Intech Software Corp.
Test file created on 2013年 6月 5日 水曜日 at 10:44:10 PM
Test Volume Name: Share
Test Volume Type: AppleShare File System
Test Volume Size: 5.372 Terabytes
Test Volume Free Space: 2.571 Terabytes
Allow Disk Cache Effects: Disabled
All reads and writes performed sychronously

Standard Test Results:
Test Cycles: 1 

Transfer Size   Sequential Read   Sequential Write    Random Read      Random Write

   4 KBytes      13.585 MB/Sec     0.685 MB/Sec      10.407 MB/Sec     1.034 MB/Sec
   8 KBytes      20.359 MB/Sec     0.986 MB/Sec      15.218 MB/Sec     2.081 MB/Sec
  16 KBytes      31.542 MB/Sec     2.672 MB/Sec      27.756 MB/Sec     3.663 MB/Sec
  32 KBytes      47.401 MB/Sec     5.824 MB/Sec      43.974 MB/Sec     6.648 MB/Sec
  64 KBytes      60.857 MB/Sec     9.368 MB/Sec      67.024 MB/Sec     11.789 MB/Sec
 128 KBytes      81.043 MB/Sec     17.940 MB/Sec     78.084 MB/Sec     17.703 MB/Sec
 256 KBytes      88.710 MB/Sec     16.081 MB/Sec     91.061 MB/Sec     31.123 MB/Sec
 512 KBytes      95.200 MB/Sec     13.058 MB/Sec     89.745 MB/Sec     27.685 MB/Sec
1024 KBytes      104.821 MB/Sec    50.395 MB/Sec     102.737 MB/Sec    43.264 MB/Sec

Standard Ave     60.391 MB/Sec     13.001 MB/Sec     58.445 MB/Sec     16.110 MB/Sec

結果、Writeのパフォーマンスがよくなった。
根本的な原因はよくわからないが、Hardware matterではなく、OS周りで、DistributionというよりはKernelのバージョンとかそこら辺との組み合わせで発生するのかも。というぼんやりしたところで、Closeとする。
Sequential Writeがまだまだ遅いんだけどな。。。 

実際のところは、「3. RAIDボリュームを崩して、素の状態でベンチマーク」にたどり着くまでに、RAIDの設定に問題があるんじゃないかと、設定を試行錯誤し、結局、ここまでたどり着くのに2〜3ヶ月かかる。だらだらやってましたが。。
やっぱりassumptionが悪いと遠回りするよね、、ということ。 



2013-08-17 10:36  nice!(0)  コメント(1015)  トラックバック(0) 
共通テーマ：パソコン・インターネット

2013年07月｜2013年08月 ｜2013年09月 ブログトップ

Amazon Wish List

この広告は前回の更新から一定期間経過したブログに表示されています。更新すると自動で解除されます。