Traue keinem Benchmark den Du nicht selbst gemacht hast
Der Jörg regt sich hin und wieder über Benchmarks auf. Er prangert dabei zurecht an, das oftmals Äpfel mit Birnen verglichen werden. Aber selbst wenn einmal Äpfel mit Äpfel verglichen werden, sagen mir SPECints, TPC-C und SAPs nicht sonderlich viel. Ok, je höher je besser, trotzdem haben diese Buchstaben und Zahlen keinerlei Bezug zu meiner täglichen Arbeit.
In Zeiten von Dual-Quadcore sind viele Benchmarks sowieso überflüssig. Fast jeder Server bietet heutzutage mehr Rechen-Power als man je gebrauchen könnte, die Flaschenhälse liegen im wirklichen Leben ganz woanders z.B. bei den zwei 750GB S-ATA Platten - groß und langsam. Disk-IO Benchmarks lassen sich aber schlecht faken und sind zudem vollkommen unsexy.
Da ist es doch viel schöner, wenn man zwei Systeme unter echten Voraussetzungen vergleichen kann und feststellt, das Server A 6 Mails/Sekunde und Server B deren 20 erreicht. Tolles Ergebnis, nur kostet Server B mehr als das Dreifache von A. Das sind harte Fakten. Weiche Fakten sind dann eher Dinge wie der Stromverbrauch, wie viele konventionelle Systeme man ersetzen kann und wieviel Arbeit man durch die geringere Anzahl Server weniger hat.
Am Ende zählt man das zusammen und kommt zu einen Ergebnis dessen Rahmenbedingungen man selbst gewählt hat, man kann die Daten selbst deuten und kann auch kleinere Details erklären. Feine Sache so etwas.
Veröffentlicht am 23.Juni 2008 | Kommentare: 5 | Artikel 429mal angeschaut
Tags: Benchmark,Hardware
Verwandte Artikel
2. Kommentar von Otmanix | Datum: 23.Juni 2008
Wenn man sich eine wirklich neutrale Meinung bilden möchte müsste man sich über die zu erwerbenden Produkte im Vorfeld ausgiebig informieren, ggf. sogar an einer Schulung teilnehmen. Dann nimmt man sich das Thema in real life im eigenen Betrieb zur Brust und testet unter eigenen Vorgaben. Am Ende stehen dann Erkenntnisse wie Performance, Bedienbarkeit, Kosten, Folgekosten durch Lizezen, etc., … Daraus lässt sich dann eine für den eigenen Bedarf passende Bewertungsmatrix erstellen, die den am besten geeigneten Kandidaten nennt.
Im echten Leben hat man aber dazu kaum Zeit und kauft entweder das vom alteingesessenen Hersteller, da man dort zumindest ungefähr die Stärken und Schwächen der Produkte kennt, oder das Produkt, das der Chefetage auf anderer Ebene, z.B. beim Golfen, empfohlen wird.
3. Kommentar von Bernd Eckenfels | Datum: 23.Juni 2008
Das wirkliche Problem ist aber, kundenanforderungen auf eine HW Empfehlung zu matchen die sowohl der Kundenfilosofie entspricht (OS, Architektur, horizontal vs. vertikal, virtualisierung) als auch die geünschte Leistung bringt. Und das ganze auch noch ohne es auszuprobieren…
Leider helfen da Benchmarks selten.
Bernd
4. Kommentar von Joern | Datum: 24.Juni 2008
@Jörg: Ja, stimmt. Ist wie beim Doping. Kaum ist das eine Mittelchen ausgemerzt, schon gibt es ein Neues.
@Otmanix: Golfen, das müßte ich noch lernen.
@Bernd: Joar, das Lesen der Glaskugel will gelernt sein :)
5. Kommentar von Stefan Funke | Datum: 1.Juli 2008
Benchmarks von fremden wie z.B. spec.org geben dir ledigleich einen Vergleichswert verschiedener Systeme über den gleichen Workload. In wie weit dieser Workload deiner Anforderung entspricht, ist sicherlich eine Frage des Details. Ein von fremden ermittelter Benchmark, der im Detail veröffentlicht wird, gibt dir eine Baseline für deine Erwartungen und deine Entscheidungen - denn sind wir mal ehrlich: Wer von uns ist in der Lage eine auch nur Ansatzweise ähnliche Last auf ein Testsystem zu erzeugen, wie es reale User oder Applikationen könnten?
Wenn du für deinen Teil genau weißt welche Erwartungen es zu erfüllen oder gar zu übertreffen gibt, hast du eine Grundlage zum entscheiden. Wer diese nicht hat, greift auf Analysen von ‘unabhängigen’ zurück.
Das am Ende meist sehr andere Gründe als Benchmarks zu einer Kaufentscheidung führen, ist aus Techniker-Sicht zwar bedauerlich aber ein ganz anderes Blatt der Realität.
Ich für meinen Teil finde es richtig Äpfel mit Birnen (bzw. Lösung X von Hersteller A und Lösung Y von Hersteller B) zu vergleichen, wenn beide um die gleichen Kunden werben und behaupten es besser zu können AUCH wenn die Lösungen anders aussehen. Und mal unter uns: Joerg M. muss über Benchmarks anderer Hersteller herziehen, nichts anderes würde ich von einem Sun Vertreter erwarten.
1. Kommentar von Joerg M. | Datum: 23.Juni 2008
Wer sagt, das man Plattenbenchmarks nicht faken kann kann ? ;) Faengt bei so kleinigkeiten an, wie eingeschaltet write-caches beim einen system eingeschaltet sind, beim anderen nicht … falsche anpassung des stripesizes in relation zu den blockgroessen ;)
man kann jeden benchmal faken … aber daher macht es spass, sie auseinander zu nehmen …