Burnout

Benchmarking dient nicht nur dem virtuellen Kräftemessen, sondern bildet einen eigenen Industriezweig der IT-Welt: Benchmark-Ergebnisse beeinflussen viele Kaufentscheidungen maßgeblich – nicht nur bei Privatanwendern, sondern oft auch bei Firmen, die im Sinne der Gewinnmaximierung immer auf der Suche nach der für sie idealen Hard- oder auch Software sind.

Deshalb ist es besonders wichtig, dass Sie ihren Rechner in Benchmarks mit Aufgaben herausfordern, die wenigstens entfernt Ihrem tatsächlichen Nutzungsverhalten entsprechen. Ein Spitzenergebnis im populären Benchmark Super-Pi [1], der die Kreiszahl auf 32 Millionen Stellen genau ausrechnet, hilft niemandem. Viele "künstliche" Benchmarks wie beispielsweise Geekbench [2] werden jedoch zu Unrecht oft als synthetisch und deshalb irrelevant klassifiziert. Denn meistens integrieren die Autoren in diesen synthetischen Benchmarks Routinen für Algorithmen, die in normalen Anwendungen sehr häufig zum Einsatz kommen.

Fast-Fourier-Transformationen (FFT) beispielsweise spielen eine große Rolle bei der Kompression oder dem Filtern von Audio-, Video- und Bilddaten. Der Hidden-Markov-Model-Algorithmus (HMM) kommt bei der Erkennung von Sprache, Gesten und Schriften zum Einsatz. Matrixmultiplikationen, wie sie etwa GEMM/BLAS im Supercomputer-Benchmark Linpack testet, sind nicht nur für Rechencluster relevant: Zahllose Programme multiplizieren Matrizen, etwa beim Verrechnen zweier Ebenen in einem Bild. Finite Elemente kommen beispielsweise bei Physiksimulationen zum Einsatz – hierbei geht es nicht etwa nur um Spiele, sondern auch um 3D-Modelling in Blender oder simulierte Crashtests am Computer.

Generelles

Ein paar Dinge gibt es bei korrektem Benchmarking zu berücksichtigen. Um verlässliche Werte zu erlangen, sollte der Benchmark exklusiv laufen, damit keine anderen Programme oder Hintergrundprozesse Ressourcen abzwacken. Bildschirmschoner erweisen sich oft als erstaunlich ressourcenverschwendend, also sollten Sie auch diese unbedingt deaktiveren. Ein Benchmark sollte eine gewisse Zeit laufen, um verlässliche Werte zu liefern: Es gibt immer Hintergrundprozesse, die den Benchmark beim Lauf stören – und je kürzer der Benchmark läuft, umso stärker fallen die Auswirkungen aus. Auch die unvermeidliche Messtoleranz schlägt bei kurzen Benchmark-Lauzeiten unvermeidlich stärker zu Buche.

Es ist immer eine gute Idee, Benchmarks mehrmals laufen zu lassen, um eventuelle Störungen durch Systemprozesse auszuschließen. Vorsicht vor den Caches: Wenn nach dem ersten Lauf der Benchmark bei allen darauffolgenden Durchläufen deutlich schneller ist, dann wurden beim Benchmark geladene Dateien vom System im Speicher gepuffert. Da dies nicht dem Praxiseinsatz entspricht, sollten Sie Caching nach Möglichkeit ausschließen – bei Datei-Kopiertests beispielsweise durch das Kommando sync, das die Festplattencaches leert.

Schlussendlich sollten Sie sicherstellen, dass keine Flaschenhälse das System ausbremsen. Lädt der Benchmark beim Lauf beispielsweise größere Dateien und arbeitet das Speichermedium sehr langsam, kann die CPU ihr volles Potential nicht ausspielen, da sie die meiste Zeit auf Daten wartet. Bei zu wenig RAM im System lagert der Rechner auf den Swap-Bereich der Festplatte aus, was alle Vorgänge stark verlangsamt. Ähnlich verhält es sich bei einem Grafikbenchmark mit sehr großen Texturen in einem System mit wenig Videospeicher.

Wahl des Benchmarks

Zusätzlich sollten Sie bei der Beurteilung der Praxisrelevanz eines Benchmarks für Ihren Bedarf wissen, welche Systemkomponenten ihr bevorzugter Einsatzzweck primär beansprucht. Datenbankanwendungen etwa brauchen viel und schnellen Speicher sowie schnelle Festplatten mit möglichst niedriger Latenz, andererseits spielt schnelle Grafik hier keine Rolle. Spiele andererseits benötigen vor allem hohe Grafik-Performance und meist eine leistungsfähige CPU, kurze Speicher- und Plattenzugriffszeiten sind hier nur sekundär relevant – etwa beim Laden eines Levels.

Server brauchen viel Speicher, einen hohen Netzwerkdurchsatz, gute Festplattensysteme und – je nach Nutzeranzahl – so viele CPU-Kerne wie möglich. Die Grafikleistung spielt hier dagegen ebensowenig eine Rolle wie – zumindest bis zu einer gewissen Benutzeranzahl – die Geschwindigkeit des Speichers. Liegt der Haupteinsatzzweck eines Rechner bei Video-Encoding oder Raytracing, braucht er viele möglichst schnelle CPU-Kerne. Festplatten-Performance und Speicherdurchsatz spielen hier eine untergeordnete Rolle, ebenso Grafik – zumindest bis Video-Encoding auf der Grafikkarte auch unter Linux Realität wird.

Wissen Sie die für ihren Nutzungszweck relevanten Systemkomponenten, können Sie einen passenden Benchmark auswählen. Für Server und Datenbanken empfiehlt sich beispielsweise auf jeden Fall ein Festplattentest, je nach Server-Art mit sequenziellem (Fileserver) oder zufälligem (Webserver) Datenzugriff.