UI Testautomatisierung in der Landtechnik

Das Produkt

CLAAS 

CLAAS setzt stark auf Forschung und Entwicklung, um moderne Produkte zu schaffen, die Landwirten weltweit helfen, effizienter und nachhaltiger zu arbeiten. Im Laufe seiner mehr als hundertjährigen Geschichte hat CLAAS zahlreiche Innovationen auf den Markt gebracht, darunter der erste voll funktionsfähige Mähdrescher für den europäischen Markt. Diese Innovationskraft spiegelt sich auch in der digitalen Transformation der Landwirtschaft wider, bei der CLAAS eine Vorreiterrolle einnimmt. Mit digitalen Lösungen wie CLAAS connect, das Landmaschinenmanagement, Precision Farming und eine Vielzahl von Servicefunktionen auf einer integrierten und digital vernetzten Plattform bietet, treibt das Unternehmen die Entwicklung von Smart Farming voran. Bei der Weiterentwicklung von CLAAS connect zur Version 3.0 war es von zentraler Bedeutung, die Qualität und Funktionalität der Software durch eine umfassende Testautomatisierung von Anfang an sicherzustellen.

Das Projektziel

Als Testexperten lag unser Fokus darauf, CLAAS beim Aufbau einer leistungsfähigen und zuverlässigen Testautomatisierungslösung zu unterstützen, insbesondere bei der Überarbeitung bestehender Testfälle, der Erhöhung der Testabdeckung und der Verbesserung der Stabilität. Dieses Ziel musste innerhalb von sechs Monaten erreicht werden, um einen reibungslosen Start der Beta-Phase zu gewährleisten. Besonderes Augenmerk galt stets den Telemetrie-Features, die für die Präzision in der landwirtschaftlichen Flottenverwaltung unerlässlich sind.

Die Umsetzung

Zu Beginn des Projekts fanden wir eine bestehende Testautomatisierungslösung vor, die sich nicht an Best Practices orientiert hatte und somit instabil und schwer wartbar war. Bei den Entwicklern führte dies zu mangelndem Vertrauen in die Qualität der Testergebnisse innerhalb der CI/CD Pipelines und letztlich auch zu Unsicherheiten und ständig wiederkehrenden Fehlern in der Entwicklung. Entsprechend sahen wir keine andere Möglichkeit, als eine völlig neue Architektur aufzubauen, die auf bewährten Praktiken und unserer langjährigen Erfahrung in der Programmierung basierte. Anfängliche Bedenken, die dabei verständlicherweise wegen der langsamen Steigerung der Testabdeckung aufkamen, lösten sich schnell auf, als die Anzahl der durchgeführten Tests in der neuen Architektur innerhalb weniger Wochen von 30 auf 100 Tests pro Lauf anstieg, ein durchschnittlicher Zuwachs von ~12-15 Prozentpunkten pro Woche. In enger Zusammenarbeit mit einem zwischendurch neu eingestellten, professionellen Tester seitens CLAAS implementierten wir nach und nach rund 100 abstrakte Tests, die datengetrieben in etwa 350 konkreten Testfällen resultierten. Die gesamte Arbeit wurde dabei zu 100% remote durchgeführt.

Als zentrales Tool verwendeten wir Playwright für die Automatisierung, welches in Azure Pipelines im regelmäßigen und stufenbasierten Ausführen der Tests zum Einsatz kam – nächtlich sowie bei jedem Merge. Dank Playwrights Netzwerkmanipulation konnten Echtzeitdaten und Edge Cases effizient mitgetestet werden, ohne eine dedizierte, hochkomplexe Testdatenverwaltung einsetzen zu müssen. Von Anfang an legten wir viel Wert auf die Parallelisierbarkeit aller Tests innerhalb eines Testlaufs. Diese wurden immer über vier gleichzeitig arbeitende Worker in der CI/CD Pipeline ausgeführt, was enorme Zeitersparnisse mit sich brachte. Um die Unabhängigkeit und hohe Stabilität unserer Tests zu gewährleisten, wurden Setup und Teardown stets über die API ausgeführt. Ein netter Nebeneffekt war hierbei eine erneute Zeitersparnis, da APIs im Vergleich zur UI deutlich schnellere Workflows erlauben. Insgesamt konnten zum Abschluss des Projekts die 350 Tests zuverlässig in rund 20 Minuten durchgeführt werden. Weitere Ersparnisse durch Sharding oder ein noch höherer Grad der Parallelisierung werden in Zukunft problemlos umsetzbar sein, sollten die Laufzeiten aufgrund größer werdenden Testsuites weiter ansteigen.

Abb. 2 Auszug eines CI/CD Logs zu einem Zeitpunkt, als die Registrierung von Maschinen und Organisationen überarbeitet wurde

Unsere Lösung berücksichtigte auch die Notwendigkeit von automatischen Übersetzungen, das Management mehrerer Benutzer und die benutzerfreundliche Konfigurierbarkeit von außen wie beispielsweise über Umgebungsvariablen innerhalb der Pipelines. Zudem erstellten wir isolierte, wiederverwendbare Testkomponenten (Fixtures), die für eine effiziente und effektive Testdurchführung unerlässlich sind.

Dass die aufgebaute Lösung definitiv zukunftsfähig ist, zeigte sich im Projekt schon während der vielen Anpassungen, die bei Anwendungen in einem solch frühen Stadium häufig auftreten. Die Ursachenfindung eines fehlschlagenden Tests dauerte nie länger als fünf Minuten, Bugs konnten über aufschlussreiche HTML-Reports für alle nachvollziehbar erstellt werden und selbst notwendige Anpassungen innerhalb des Testframeworks gingen stets schnell von Hand.

Ergebnis

CLAAS setzt neue Maßstäbe in der digital vernetzten Landwirtschaft und trägt wesentlich zur Effizienzsteigerung und Optimierung landwirtschaftlicher Prozesse bei. Unsere strategische Unterstützung und die Anwendung fortschrittlicher Testautomatisierungsmethoden führten zu einer signifikanten Steigerung der Qualität und Zuverlässigkeit der Plattform. Im gesamten Projekt kam unsere Expertise in der Testautomatisierung voll zum Einsatz, um schnell eine umfassende Testabdeckung zu erreichen. Die Verwendung von Playwright erlaubte es uns, eine weitreichende und doch handhabbare Testarchitektur zu entwickeln, die sich nahtlos in das Entwicklungsprojekt integrieren ließ. Durch die enge Zusammenarbeit haben wir nicht nur zur technologischen Innovation beigetragen, sondern auch die Grundlage für eine fortlaufende Verbesserung und Anpassung an zukünftige Anforderungen geschaffen.