OT: benchmarky ...

[Radim Kolar]

> kterych nemuzes odhadnout velikost chyby mereni, ktera muze byt nakonec
> vetsi nez namerena hodnota - a test nerika naprosto nic.
no tak zrovna chybou mereni bych lidi nestrasil, obvykle byva okolo 5% a testy,
ktere vyjdou < 5% pro prakticke pouziti staci zaradit do kategorie stejny vykon.

> Vyrobit slusnej test je ukol pro nekoho "kdo vi".
Testy neni potreba nejak komplikovane vymyslet, prece dopredu vime co
chceme otestovat.
Synteticke testy (pokus o neco univerzalne platne), to uz je vec jina.
Ja jsem zastance aplikacnich testu. Beha na XY Oracle 10g rychleji
nebo pomaleji? Dobra prezentace o benchmarkcich:
http://multicore.amd.com/us-en/benchmarks/

> Pokud neznas toho, kdo test delal, riskujes, ze z mnoha ruznych metodik vybral ty, kde vysledky vychazely tak, jak to odpovida jeho pocitu "tak bych to cekal" a ty, kde to
> vychazelo jinak vyhodil jako nevhodne.
No tak to je prirozene ve svete obchodu, nechame si zpracovat
nezavisle benchmarky a pokud je vyhrajeme tak s tim jde nase PR parta
machrovat. Pokud prohrajeme nic pochopitelne nezverejnujeme, neni k
tomu zadny duvod.
Zverejnene testy zfalsovane nejsou, tohle dneska nikdo nedela.
> Kdyz uz tedy nedokazes zam odhadnout zda bylo dobre vybrano "co a jak",
> tak se alespon ptej "kdo".
Tohleto nepomuze protoze se jedna o nezavisle jevy. Z toho, ze někdo
zatloukl cast testu c.1 nevyplyva ze totez udelal i u testu c.2. Navic
k tehle informaci (zda to zatloukl ci ne) proste neni pristup a tak je
zbytecne o tom spekulovat a dale s těmito dohady v rozhodovacím
procesu pracovat. Lepsi je se rozhodovat na zaklade znamych faktu nez
dohadu a uplne nejlepsi je si udelat vlastni testy.

Napriklad jeden z rozdilu mezi dobrym a spatnym hracem pokru spociva v
tom, ze spatni hraci se rozhoduji na zaklade predsudku. To, ze nekdo
blafuje v kole 1,2,3 totiz vubec nevypovida o tom, ze blafuje i v 4 a
5.