ファイルのデータサイズを仕分けてみる

RAIDを構成する際の参考として、chunk sizeをいろいろと変えて

ベンチマークを取ってみましたが、まぁ、あまり変わらなかった訳です

そもそもchunk sizeとはLinuxのSoftware RAIDで一度に取り扱う

データブロックのサイズのことを表します。

ファイルシステムとしてのブロックサイズとはまた別です。

最近はext4とかでフォーマットするとデフォルトでは4096Byteが

ブロックサイズとして使われるようです。

# tune2fs -l /dev/md0 などで調べられます。

ですので、chunk sizeは4KB以上で設定し、読み書きスピードや

無駄があまり出ないサイズに設定するのがよさそうです。

とすると、一体、普段ファイルサーバに保存しているデータのサイズは

いかほどに？という疑問がわいてきますので、調べてみました。

今、ファイルサーバは再構築中なので全てのデータはiMac上に

待避中です。

なので、OSXのターミナルからファイルサーバで保存している

ファイルの一覧を取得し、エクセルでちゃちゃっとヒストグラムを

作ってみます。

$ find ./Desktop/St1 -type f -exec ls -la {} \; >> volume.txt

対象とするフォルダ　./Desktop/St1

にあるファイルだけを抽出して、

volume.txtに書き出します。

ls- la コマンドで出力される情報がそのまま出てきますので、

ファイルサイズ以外の情報を削除して、エクセルのfrequency()関数で、

頻度を抽出します。

あまり細かく分けても仕方ないので、わりとおおざっぱです。

ls- la の結果はbyte単位で出力されているので、

4000
8000
16000
32000
64000
128000
256000
512000
1024000
1024000000
1.024E+12
1.024E+15

この１２段階に分けます。

結果、こんな感じ。

横軸：ファイルサイズグループ（x）

縦軸：個数

ほとんどのデータが16KB~64KBに集まっていることがわかります。

ですので、ハードディスクの無駄使いを抑えるためには、

chunk size を16KBに設定するのがよさそうですが、一方で、

16KBだと1chunk? に入りきらないので、2~4chunk使うことに

なり、読み書きの効率が悪そうです。

1chunkに納めるためにはchunk sizeを64KBに設定すると、

85%以上のデータが1Chunkに収まることになり、効率は

良さそうです。

ところで、chunk size = 64KB はデフォルト値です。

やっぱり、「デフォルト最適説」がまた検証されました

タグ：stripe size RAID構築

コメント 10

Cephalexin For Felines Viagra Beziehen <a href=http://addrall.com>is alli back in stock</a> I Need To Order Some Viagra
by AustJath (2019-04-19 20:18) 

Precio Cialis En La Farmacia Cialis Rezept Gunstig Kaufen Cialis Wo Frei Erhaltlich <a href=http://allngos.com></a> Isotretinoin Roaccutane How To Buy
by AustJath (2019-06-08 02:13) 

Pattaya Kamagra <a href=http://aquedan.com>buy zoloft uk</a> Walmart Rx Plans Propecia Complications Women
by StepOdors (2019-06-11 07:14) 

Buy Cialis From Mexico 41 Buy Tadalafil Online <a href=http://asacdz.com>online cialis</a> Buy Hydrochlorothiazide Viagra 50 Mg Durata Effetto
by StepOdors (2019-06-19 21:17) 

Viagra Online Switzerland Priligy Acquistare Online <a href=http://realviaonline.com>cialis for sale</a> Propecia Tabletki
by AustJath (2019-06-25 07:05) 

Shipped Ups Stendra Amoxicillin Suspention Dosage For Cat <a href=http://kamagorder.com></a> Generic Viagra Shipped Overnight Zithromax Bronchitis Dosage Foros De Kamagra
by StepOdors (2019-06-30 02:50) 

Viagra Indien Bestellt Ordinare Viagra Line <a href=http://cialonlinecs.com>cialis from canada</a> Peligroso Propecia Generico
by StepOdors (2019-07-16 15:59) 

Lasix (Furosemide) 40 Mg <a href=http://orderciali.com>tadalafil cialis from india</a> Doctor To Prescribe Metformin
by StepOdors (2019-07-26 01:47) 

Cialis E Altri <a href=http://cialisjh.com>Buy Cialis</a> Viagra 100mg Preis Apotheke <a href=http://cialisjh.com>Cialis</a> Macrobid Cheap
by Stepomits (2020-02-25 22:00) 

Viagra En Andorra <a href=https://buyciallisonline.com/#>Buy Cialis</a> On Line Pharmacys In India <a href=https://buyciallisonline.com/#>cialis 20mg price at walmart</a> Cialis Non Generique
by StepLot (2020-03-01 06:37)