Podcast #17: Testsuiteoptimierung mit KI

🕒 Hördauer: 40 Minuten

Schnelles Feedback ist auch bei langlaufenden Tests gefragt, insbesondere wenn Teile von Ihnen in einer CI/CD-Pipeline laufen sollen. Welcher der vielen Tests sollen aber verwendet werden? Welche Tests sollen zuerst ausgeführt werden? Warum nicht eine KI zur Ermittlung geeigneter Tests einsetzen? Wie bei einer solchen Aufgabenstellung das Werkzeug Scryer unterstützen kann, welcher Zeitaufwand für die Bereitstellung der dafür notwendigen Daten zu kalkulieren ist und welche Erfahrungen beim Einsatz von Scryer bisher gesammelt werden konnten, erfahrt Ihr im Podcast von Gregor Endler im Dialog mit Tilo und Markus.

Hör' Dir hier den ganzen Podcast an:

 

 

Diese Themen erwarten Dich:

[00:29] Kurzer Überblick über den Podcast

[00:53] Vorstellung Dr. Gregor Endler

[01:34] Laufzeitprobleme von Testsuites

[03:04] Was ist Testsuiteoptimierung?

[03:35] Idee zum KI-Einsatz

[04:40] Vorgehen

[05:10] Vorteile

[06:15] Alternativen

[06:47] Trainingsdaten

[07:18] Datenhistorie und -herkunft

[07:39] Datenmenge

[08:44] Mindestmenge an Daten

[09:12] Trainingsdauer

[10:22] Fallstudie

[12:34] Effizienz

[13:34] Messung Verlässlichkeit

[14:19] Rahmenbedingungen

[15:12] Größe Testsuite und Nutzen

[16:34] Entstehung Scryer

[17:03] Vorteile Scryer

[17:58] Bestandteile Scryer

[18:56] Genutzte Techniken

[19:54] Typisches Vorgehen

[21:10] Unterstützte Programmiersprachen

[21:50] Training und Projekte

[22:56] Einsetzbarkeit

[24:38] Ausgabe Testfallbeschreibung

[25:21] Vorschlag neuer Testfälle ?

[26:13] Importschnittstellen

[27:05] Nutzergruppen

[28:00] Konkrete Einsatzszenarien für Nutzergruppen

[29:45] Notwenige Projektgröße

[30:45] Einsatzerfahrungen

[31:54] Weiterer Einsatz

[32:32] Einfache Einführung

[33:47] Manuelle Tests

[34:26] Toolanbindung

[35:08] Zukunft KI bei Testsuiteoptimierung

[36:21] Neue Features

[37:11] Lizenzmodell Scryer

[37:41] Informationen zu Scryer

[38:11] Wunsch KI-Tool

[39:01] Kontaktaufnahme mit Dr. Gregor Endler

 

Weitere Informationen sind erhältlich unter https://codemanufaktur.com/projekte/scryer/.

 

Eine neue Ära in der Testoptimierung

Die Welt des Software-Testings erlebt durch die Einführung künstlicher Intelligenz (KI) eine beispiellose Transformation. In dieser Episode tauchen wir mit unserem Gast Gregor Endler tief in das Thema der Test-Suite-Optimierung ein. Gregor stellt uns Scryer vor, ein bahnbrechendes Tool, das KI nutzt, um Testprozesse nicht nur schneller und kosteneffizienter zu gestalten, sondern auch intelligenter. Die Herausforderung langer Laufzeiten bei Testsuiten wird dabei besonders adressiert – ein Problem, das durch zeitaufwendige Tests und hohe Hardwarekosten gekennzeichnet ist.

Die Mechanik hinter Scryer

Scryer basiert auf einer simplen Prämisse: Durch Machine Learning vorherzusagen, welche Tests wahrscheinlich scheitern werden. Diese Vorhersage erfolgt basierend auf historischen Daten zu Codeänderungen und Testergebnissen. Gregor erklärt den Prozess: Von der Datenaufbereitung über das Training der Modelle bis hin zur Bereitstellung der Vorhersagen. Das Herzstück bildet dabei ein Ensemble von Entscheidungsbäumen, die für ihre Schnelligkeit und Interpretierbarkeit ausgewählt wurden.

Warum Geschwindigkeit zählt

Die Geschwindigkeit der Ergebnisvorhersage ist ein entscheidender Vorteil von Scryer. Anstatt Stunden oder Tage auf Testergebnisse zu warten, können Entwickler nun innerhalb von Sekunden Einsichten gewinnen. Dies ermöglicht es ihnen, schneller auf potenzielle Fehler zu reagieren und die Effizienz ihrer Arbeit zu steigern. Darüber hinaus bietet Scryer die Möglichkeit, Test-Suites so zu optimieren, dass wahrscheinliche Fehlschläge zuerst getestet werden – eine Strategie, die sowohl Zeit als auch Ressourcen spart.

Ein Blick in die Zukunft: Scryer & Beyond

Während Scryer bereits beeindruckende Ergebnisse liefert, stehen wir erst am Anfang dessen, was mit KI im Bereich der Test-Suite-Optimierung möglich ist. Gregor teilt seine Vision einer Zukunft, in der KI-gestützte Tools nicht nur Testfälle analysieren und vorhersagen können, sondern auch dabei helfen könnten, neue Testfälle zu generieren oder sogar vollständig automatisierte Testing-Strategien zu entwickeln. Die Möglichkeiten sind grenzenlos und versprechen eine spannende Zukunft für Tester und Entwickler gleichermaßen.

Wie man mit Scryer startet

Für Unternehmen oder Einzelpersonen, die an der Implementierung von Scryer interessiert sind, bietet Gregor praktische Ratschläge zum Einstieg. Dazu gehört das Mapping der eigenen Testdaten auf Scryers System sowie das Training des Modells mit historischen Daten. Er betont auch die Bedeutung eines soliden Datenmanagements als Grundlage für den Erfolg von KI-gestützten Testing-Tools.

Abschlussgedanken

Zum Abschluss unterstreicht Gregor nochmals den transformativen Effekt von KI auf das Testing. Mit Tools wie Scryer wird es möglich, Tests schneller durchzuführen, präzisere Vorhersagen zu treffen und letztlich bessere Softwareprodukte zu entwickeln. Unsere Diskussion zeigt deutlich: Der Weg zur Optimierung von Test-Suites führt unweigerlich über den Einsatz künstlicher Intelligenz.

Entdecken Sie mehr über diese faszinierende Integration von KI in den Prozess der Test-Suite-Optimierung durch Reinhören in unsere Podcast-Episode.

 

Veröffentlicht am 13.April 2023

Aktualisiert am 28.Mai 2024

Markus Thaler

Senior Testmanager, Testarchitekt

Markus Thaler war 22 Jahre in der Commerzbank tätig, wo er sich mehr als 10Jahre um Teststandards, Testwerkzeuge und Testautomatisierung in einer zentralen Funktiongekümmert hat, bevor er nach einer Zwischenstation im Testinfrastrukturmanagement achtJahre als Testmanager in der Risikofunktion der Commerzbank gewirkt hat. Vor derCommerzbank konnte er Testerfahrungen bei Lufthansa, Siemens, Nestle und der DZ-Bankgewinnen. Aktuell ist er als Senior Testmanager und Testarchitekt bei Qytera tätig.

Finden Sie weitere interessante Artikel zum Thema: