obmedzenia filesystemu UFS2: Too many links

[Lubomir Host]

On Mon, Jan 15, 2007 at 10:49:29PM +0100, martinko wrote:
> skromne si myslim, ze rozumne napisana aplikacia by nemala byt problem
> takto upravit.  dokonca aj tie id by ste mohli ponechat, akurat zanorit
> adresare ako napisal dan.

Ja to chapem, ako by to chcelo spravit.. Akurat vzhladom na to, ze ten
server treba tak ci tak preinstalovat/upgradnut, tak sa ako riesenie
ponuka zmenit platformu, kde nie je uvedene obmedzenie. Linux s XFS
filesystemom.

> okrem toho sa nazdavam, ze vo fs typu ffs je rozumnejsie to s poctom
> podadresarov prilis neprehanat, aj keby tam bol teoreticky pocet vyssi
> ako 32k.  (ale to sa naozaj len nazdavam, detaily si uz nepamatam.)

Pekne citanie o XFS:
http://oss.sgi.com/projects/xfs/
http://oss.sgi.com/projects/xfs/papers/xfs_usenix/index.html

A tiez pekne citanie o Solarisovskom ZFS:
http://www.sun.com/2004-0914/feature/

> a pocet 100t suborov myslite v jednom adresari?  to sa mi zda hodne
> prehnane.  je k tomu nejaky prakticky dovod?  bez ohladu na to kolko
> suborov znesie v adresari (akykolvek) fs.

Najjednoduchsi pristup: tuto je adresar, kam sa uploaduju subory.
Z kazdeho uploadnuteho suboru sa generuju napr. zmenseniny. Takze takto
ku kazdemu uploadnutemu suboru je ~ 5-10 "nahladov". A takto to narastalo
niekolko mesiacov. 

Ano, pri 100 tisic suboroch v adresari sa operacie nad tym adresarom
zacnu velmi spomalovat. Citelne spomalenie vsak uz mozno pozorovat
niekde na hranici 30 - 50 tis. suborov. To sa tyka filesystemov, ktore
pouzivaju inody a maju ich usporiadane pekne za sebou.

XFS pouziva binarne stromy (b+trees) kde sa len da, co rapidne zrychluje
operacie aj pri pocte suborov > 100 tis. v jednom adresari. No problem.
Udajne XFS testovali s milionmi suborov v jednom adresari a udajne to
bolo v pohode. ;-)

So ZFS zatial velmi velke skusenosti nemam. Kazdopadne zoznam vlastnosti
ZFS daleko prekracuje chapanie pojmu filesystem. Je to uplne ina
koncepcia, ktora sa mi paci. Uz sa tesim, az toto bude dostupne nielen
v Solarise, ale aj v *BSD skupine a v Linuxe.  Linux uz XFS ma, na
podpore ZFS sa pracuje rovnako ako vo FreeBSD. Do FreeBSD sa doraba
podpora aj pre XFS, ale este som nepocul o nikom, kto by to mal
nasadene. Nechcem to skusat ako prvy. ;-)

> ps: rychlost fs je relativna, resp. solidny benchmark je tazke spravit.
>  ale na druhej strane pre vas ako uzivatela je podstatne ako sa to chova
> vo vasom konkretnom pripade.

Presne tak. Zaujimave je si porovnat zoznam vlastnosti a algoritmov
implementovanych v niekolkych zaujimavych filesystemoch a urobit si
vlastny obraz o tom, co a kedy pouzit. Ja som fanusik XFS a postupne aj
ZFS. ;-)

rajo

-- 
  ,''`.  Lubomir Host 'rajo' <rajo AT platon.sk>    ICQ #:  257322664
 : :' :  Jabber: rajo AT jabber.platon.sk      VoIP: callto://rajo207
 `. `'   WWW: http://rajo.platon.sk/  Platon Group: http://platon.sk/
   `-    GnuPG key: DC0C C7EA 55C8 B089 C41D 944A F251 A93A 2361 A82F