Zu Beginn eines Last & Performancetest Projektes wird noch wenig über die spätere Ergebnisauswertung gesprochen, meist ist dies noch zu abstrakt und undefiniert für alle Beteiligten. In den ersten Versuchen das JMeter Scripting zu implementieren, wird noch stark auf die Funktionalität geachtet. Aber je öfter ein Testlauf durchgeführt wird, vielleicht sogar in einer CI/CD-Umgebung, desto mehr erhalte ich den Wunsch als Lasttester:in, unterschiedliche Läufe miteinander zu vergleichen. Denn im Projektverlauf müssen immer wieder Fragestellungen wie “wurde durch die Code-Änderung eine Performance-Verbesserung herbeigeführt” oder “gehen die neuen Features zu Lasten der Geschwindigkeit” beantwortet werden.
Wieso bestehende Reports hier nicht weiterhelfen!
Natürlich wurde auch bei meiner Entwicklung der Last & Performance-Tests an das Reporting gedacht. So ist es möglich in unterschiedlichen Metriken oder Graphen die unterschiedlichen Requests und den dazugehörenden Response zu analysieren und zu interpretieren. Für ganze Testpläne lassen sich anschauliche Aggregationen und einiges mehr an Reports anzeigen. Aber immer nur zu dem gerade ausgeführten Testlauf bietet hier JMeter unterschiedliche Listener oder den HTML-Report. Schwieriger wird es schon einen Testlauf zu analysieren, der vor ein paar Wochen ausgeführt wurde. Es gibt hier zwar Importmöglichkeiten der JTL-Protokoll-Daten für die verschiedenen JMeter Listener, welche unterschiedliche Graphen, Tabellen und Aggregationen zur Verfügung stellen. Es gibt irgendwie keine Darstellung, die zwei Testläufe miteinander vergleicht. Auch der Standard HTML-Report aus JMeter bietet keine Lösung für einen Testlaufvergleich.