Inhaltsverzeichnis
- KI im Software Testing 2026: Realität hinter den Utopien
- KI-Grundlagen für QA-Verantwortliche
- Warum LLMs kein Taschenrechner mit Worten sind
- ISTQB CT-GenAI: Der neue Standard für KI im Testing
- Prompt-Engineering systematisch
- Use Case 1: KI im Requirements Engineering
- Use Case 2: Testdaten mit LLMs generieren
- Use Case 3: Testautomatisierung mit KI als Code-Generator
- Use Case 4: Testpriorisierung in CI/CD-Pipelines
- AI Agents und Agentic Testing
- RAG und LLM-as-Judge: Fortgeschrittene Patterns
- Risiken: Datenschutz, EU AI Act, Halluzinationen
- Fazit: KI-gestützte QA-Teams sind die neue Realität
- FAQ: KI im Software Testing
KI im Software Testing 2026: Realität hinter den Utopien
Willkommen in der Zukunft des Software Testings. In einer Zukunft, in der Softwareentwicklung und Qualitätssicherung scheinbar so einfach werden wie das Bedienen eines Kaffeevollautomaten: Knopf drücken, Code kommt heraus, fehlerfrei und genau nach dem gewünschten Geschmack. Generative KI schreibt den Code, AI-Agenten testen ihn, und das QA-Team schaut beeindruckt auf seine Bildschirme. So zumindest die Marketing-Story vieler KI-Anbieter im Jahr 2026.
Tatsächlich entsteht heute bereits ein beträchtlicher Teil neuer Software nicht mehr ausschließlich durch menschliches Tippen, sondern unter aktiver Mitwirkung KI-gestützter Systeme. Heißt das, dass Entwickler und Tester überflüssig werden? Die ehrliche Antwort lautet: Nein. Aber die Anforderungen an Ihr QA-Team verschieben sich messbar.
Aktuelle KI-Systeme sind beeindruckend darin, schnell Code zu generieren, Testfälle abzuleiten und große Mengen an Logfiles zu analysieren. Was den meisten Modellen aber nach wie vor fehlt, ist ein echtes Verständnis für Korrektheit. Anders gesagt: KI kann mit den richtigen Anweisungen hervorragend analysieren, kreieren und optimieren. Echte Innovation, das Erkennen völlig neuer Problemstellungen oder das Entwickeln tragfähiger Teststrategien bleibt jedoch eine Aufgabe für spezialisierte Menschen, die die Ergebnisse einordnen und prüfen.
Ohne den Menschen in Softwareprojekten gäbe es vermutlich weniger Bugs. Ohne die menschliche Komponente bräuchte es allerdings auch keine Software. Genau in diesem Spannungsfeld bewegen sich Ihre QA-Teams 2026.
Wenn KI bereits Code schreibt, stellt sich die Folgefrage: Brauchen wir dann überhaupt noch Software-Tests? Schließlich könnte eine KI doch einfach eine andere KI testen, wie zwei Schachcomputer im Duell. Einige Anbieter von AI-Agenten versprechen genau das. Doch ist das realistisch oder Marketing-Buzzword-Bingo? Wie weit sind wir wirklich von einer Welt entfernt, in der KI den kompletten Testprozess übernimmt? Und vor allem: Was ist heute bereits praktisch umsetzbar?
Dieser Artikel gibt Ihnen einen Praxis-Überblick: Welche KI-Patterns für das Software Testing tragfähig sind, welche Prompts in Ihrem QA-Alltag funktionieren, wie der frisch veröffentlichte ISTQB-Lehrplan "Testen mit generativer KI" (CT-GenAI) das Thema strukturiert, und welche Risiken Sie unter Compliance-Gesichtspunkten kennen müssen. Wenn Sie zuerst eine breitere Einordnung suchen, finden Sie diese im Hub-Artikel Was ist Software Testing? Definition, 7 Methoden, Testpyramide.
KI-Grundlagen für QA-Verantwortliche
Bevor Sie über konkrete Use Cases sprechen, lohnt sich ein Blick auf die Begriffe. In Diskussionen mit Fachbereich, Entwicklung und Management werden "KI", "Machine Learning" und "LLM" gerne synonym verwendet, obwohl es relevante Unterschiede gibt. Eine klare Sprache verhindert teure Missverständnisse in Workshops und Lastenheften.
Generative KI und klassisches Machine Learning
KI bezeichnet Systeme, die Aufgaben übernehmen, für die wir normalerweise menschliche Intelligenz unterstellen. Das ist eine sehr breite Definition. Sie umfasst regelbasierte Expertensysteme der 1980er-Jahre genauso wie heutige neuronale Netze. Im Kontext von Softwareentwicklung und Testing geht es vor allem um die Automatisierung von Prozessen wie Code-Generierung, Fehlererkennung und Test-Ausführung.
Generative KI ist eine Untergruppe innerhalb der KI. Diese Modelle reagieren nicht nur auf bestehende Daten, sondern erzeugen neue Inhalte auf Basis erlernter Muster. Sie produzieren Text, Code, Bilder oder Audio. Genau diese Fähigkeit, auf eine Anforderung mit einem neuen Artefakt zu antworten, macht sie für das Software Testing interessant.
Large Language Models (LLMs)
Innerhalb der generativen KI sind LLMs eine spezielle Familie, die sich auf natürliche Sprache und Code spezialisiert hat. Bekannte Produkte sind ChatGPT (OpenAI), Claude (Anthropic), Gemini (Google), DeepSeek und Mistral. Im Entwicklungsumfeld sind GitHub Copilot, Cursor und Claude Code als IDE-Integrationen verbreitet.
Da Quellcode technisch betrachtet nichts anderes als Text in einer Programmiersprache ist, eignen sich LLMs hervorragend für QA-Aufgaben: Sie analysieren Anforderungstexte, leiten Testfälle ab, generieren Testautomatisierungscode und prüfen bestehende Tests auf Lücken.
Weitere relevante KI-Modelle
Neben LLMs gibt es Modellfamilien, die für spezifische Testszenarien relevant sind: Reinforcement-Learning-basierte Systeme optimieren Teststrategien anhand von Belohnungssignalen, Computer-Vision-Modelle prüfen visuelle Regressionen, und klassische ML-Klassifikatoren werden für Bug-Triage und Defect-Prediction eingesetzt. Eine detaillierte Tool-Übersicht für Visual Testing und Self-Healing finden Sie in Die besten KI-Tools für Software Testing in 2026.
Warum LLMs kein Taschenrechner mit Worten sind
Ein verbreitetes Missverständnis lautet: "LLMs sind im Grunde sehr gute Taschenrechner, die mit Worten rechnen." Diese Analogie ist gefährlich. Ein Taschenrechner ist deterministisch. Bei gleichem Input liefert er immer das gleiche, korrekte Ergebnis. Ein LLM hingegen erzeugt Ausgaben auf Basis statistischer Wahrscheinlichkeiten. Bei gleichem Input bekommen Sie unterschiedliche, manchmal subtil falsche Antworten.
Fast korrekt ist immer noch falsch
Im Testing macht "fast korrekt" einen Unterschied. Wenn ein LLM einen Testfall generiert, der zwar plausibel klingt, aber den falschen API-Endpoint adressiert oder eine nicht existierende Spalte abfragt, verbringen Ihre Tester Stunden mit Debugging. Schlimmer noch: Wenn der Test grün läuft, obwohl er die falsche Sache prüft, gibt er falsches Vertrauen in die Testabdeckung.
Diese Eigenschaft ist nicht mit "mehr Daten" oder "größeren Modellen" allein zu beheben. Sie ist eine Konsequenz der Architektur. Wer KI im Testing einsetzt, muss diese Eigenschaft in seinen Prozess einplanen.
Halluzinationen erkennen und absichern
"Halluzination" ist der Fachbegriff für die Tendenz von LLMs, Inhalte zu erfinden, die plausibel klingen, aber faktisch falsch sind. Im Testing typische Symptome:
- Nicht existierende APIs: Das Modell schlägt Endpoints vor, die es im Projekt nicht gibt.
- Veraltete Library-Versionen: Es referenziert Methoden, die in der eingesetzten Version umbenannt oder entfernt wurden.
- Erfundene CSS-Selektoren: Bei UI-Tests werden Locator vorgeschlagen, die nirgends im DOM vorkommen.
- Plausibler, aber falscher Geschäftslogik: Edge Cases werden im Detail beschrieben, decken aber die tatsächliche Fachlichkeit nicht ab.
Drei Gegenmaßnahmen, die in der Praxis funktionieren: Erstens, alle generierten Tests müssen einmal grün laufen, bevor Sie sie ins Repository einchecken. Zweitens, die fachliche Bewertung bleibt beim Menschen mit Domänenwissen. Drittens, wo möglich, Retrieval-Augmented Generation (RAG, siehe weiter unten) einsetzen, damit das Modell auf tatsächlich vorhandene Artefakte zugreift statt auf seine Trainingsdaten.
ISTQB CT-GenAI: Der neue Standard für KI im Testing
Mit dem ISTQB-Lehrplan "Testing with Generative AI" (CT-GenAI) gibt es seit 2026 erstmals einen offiziellen, herstellerunabhängigen Standard für KI-Kompetenz im Software Testing. Wenn Sie als Testmanager oder QA-Leiterin Schulungs- und Skill-Roadmaps planen, ist dieser Lehrplan die aktuell beste Strukturierungsbasis. Wer sich zusätzlich für die spezialisierte KI-Tester-Zertifizierung interessiert, findet einen Einstieg unter ISTQB Certified Tester AI Testing.
Die fünf Module des Lehrplans
Der CT-GenAI-Syllabus gliedert das Thema in fünf Module:
- Einführung in generative KI für den Softwaretest: Das KI-Spektrum von symbolischer KI über klassisches Machine Learning bis hin zu Deep Learning und generativer KI. Grundlagen von LLMs und multimodalen Systemen.
- Prompt-Engineering für effektives Software-Testen: Strukturierte Prompts mit den Komponenten Rolle, Kontext, Instruktion, Eingabedaten und Einschränkungen. Verfahren wie Prompt-Verkettung und Few-Shot-Prompting.
- Management von Risiken bei generativer KI: Halluzinationen, Verzerrungen und Sicherheitsrisiken. KI-Regularien (EU AI Act) und Best-Practice-Rahmenwerke.
- LLM-gestützte Testinfrastruktur: Retrieval-Augmented Generation (RAG), Fein-Tuning von LLMs, LLM-gestützte Agenten und Architekturkonzepte.
- Bereitstellung und Integration in Testorganisationen: Adoptions-Roadmap, Skill-Entwicklung und Prozess-Optimierung.
Was Sie aus dem Syllabus mitnehmen
Für die Praxis sind drei Punkte besonders wertvoll: Erstens, das Lehrplan-Vokabular ist herstellerunabhängig und eignet sich für RFP-Texte, Lastenhefte und Schulungspläne. Zweitens, die Modulgliederung zeigt sehr deutlich, dass Prompt-Engineering nicht der Endpunkt ist, sondern lediglich der Einstieg. RAG, AI Agents und Risiko-Management gehören 2026 zum Pflichtprogramm. Drittens, das Modul zur Bereitstellung verdeutlicht, dass KI im Testing kein reines Tool-Thema, sondern ein Change-Management-Thema ist. Eine humorvolle Einschätzung dazu, wie weit ChatGPT mit klassischen Testing-Grundlagen kommt, finden Sie in Besteht ChatGPT die ISTQB Foundation Level Prüfung?.
Prompt-Engineering systematisch
Prompt-Engineering ist die Disziplin, einem LLM präzise Anweisungen zu geben, damit es brauchbare Ergebnisse liefert. In QA-Kontexten entscheidet die Qualität des Prompts darüber, ob Sie einen verwertbaren Testfall-Entwurf bekommen oder mehrere Iterationen Korrekturen schreiben.
Das Role-Context-Instruction-Pattern
Der ISTQB-Lehrplan empfiehlt eine Prompt-Struktur mit fünf Komponenten:
- Rolle: Welche Perspektive soll das Modell einnehmen ("Du bist Senior-Testautomatisierer mit fünfjähriger Erfahrung in Playwright")?
- Kontext: Welches System, welche Domäne, welche Stakeholder ("Eine Banking-Anwendung mit Kontoauszug-Funktion")?
- Instruktion: Was genau soll erledigt werden ("Leite aus der folgenden User Story positive und negative Testfälle ab")?
- Eingabedaten: Welche Spezifikation, welcher Code, welche User Story ist die Quelle?
- Einschränkungen: Output-Format (JSON, Markdown, Gherkin), Anzahl der Testfälle, abzudeckende Risikoklassen.
Wer diese fünf Komponenten in jedem Prompt explizit vergibt, bekommt deutlich konsistentere Ergebnisse als mit Ein-Satz-Anweisungen. Das gilt für ChatGPT, Claude, Gemini und alle anderen LLMs.
Few-Shot-Prompting für Testfälle
Few-Shot-Prompting bedeutet, dem Modell zwei bis drei Beispiele für gewünschte Ergebnisse mitzuliefern, bevor Sie die eigentliche Aufgabe formulieren. Wenn Sie etwa Testfälle im Gherkin-Format brauchen, geben Sie zwei vollständige Gherkin-Szenarien als Beispiel und fragen dann nach Szenarien für eine neue Funktion. Die Ergebnisse halten sich erheblich konsistenter an Ihr Format-Schema als bei Zero-Shot-Prompts (also ohne Beispiele).
Use Case 1: KI im Requirements Engineering
Schlechte Anforderungen führen zu schlechter Software und schlechten Tests. Fehler entstehen oft, bevor die erste Zeile Code geschrieben ist. Genau hier helfen LLMs konkret: Sie leiten strukturierte Testfälle aus Anforderungen ab oder prüfen vorhandene Testfälle auf Lücken und Mehrdeutigkeiten.
Testfälle aus Anforderungen ableiten
KI-gestützte Systeme erstellen Testfälle aus Anforderungstexten, indem sie natürliche Sprache analysieren. Sie erkennen kritische Szenarien, Randfälle und Edge Cases, die in einer rein manuellen Durchsicht häufig untergehen. Perfekt ist das Ergebnis nicht. Brauchbar als Erstentwurf, der von Ihrem Test-Team verfeinert wird, allerdings sehr wohl.
Ein bewährter Prompt:
"Sie sind Senior Test Engineer. Sie haben nachfolgend die Spezifikation einer Softwarekomponente erhalten. Ihre Aufgabe ist es, basierend auf dieser Spezifikation geeignete Testfalldefinitionen zu entwickeln. Achten Sie dabei auf folgende Punkte:
- Welche funktionalen und nicht-funktionalen Anforderungen sind in der Spezifikation enthalten und müssen geprüft werden?
- Welche Randfälle, Grenzwerte oder potenziellen Fehlerquellen könnten im Zusammenhang mit der Komponente auftreten?
- Welche positiven und negativen Testszenarien lassen sich ableiten, um die korrekte Funktionalität und Robustheit sicherzustellen?
- Welche Sicherheits- und Performanztests sollten berücksichtigt werden, falls relevant?
Stellen Sie sicher, dass die Testfalldefinitionen präzise und umsetzbar sind und die wichtigsten Anforderungen abdecken.
Hier ist die Spezifikation: {Spezifikation}"
Testfälle evaluieren und verbessern
KI prüft auch bestehende Testfälle und macht Vorschläge zur Optimierung. Sind die Formulierungen präzise genug? Sind sie redundant? Decken sie die relevanten Szenarien ab? Vorsicht bleibt geboten, denn LLMs bewerten nach Wahrscheinlichkeit, nicht nach echtem Verständnis. Sie können also zu vorsichtig oder zu optimistisch ausfallen.
Zwei mögliche Prompts:
"Stellen Sie sich vor, Sie sind Junior Test Engineer und erhalten die folgende Testfalldefinition zur Implementierung. Welche potenziellen Unklarheiten sehen Sie in der Definition? Gibt es Formulierungen, die zu vage oder ungenau sind und Schwierigkeiten bei der Implementierung verursachen könnten? Wenn ja, welche spezifischen Änderungen oder Ergänzungen würden Sie vorschlagen, um den Testfall präziser und leichter umsetzbar zu machen?
Hier ist die Testfalldefinition: {Testfalldefinition}"
"Sie erhalten nachfolgend die Testfalldefinition sowie die Implementierung des Testfalls. Prüfen Sie, ob die Implementierung alle Anforderungen aus der ursprünglichen Testfalldefinition vollständig und korrekt umsetzt. Achten Sie auf folgende Punkte:
- Wurden alle geforderten Schritte und Bedingungen aus der Spezifikation umgesetzt?
- Gibt es Unterschiede zwischen Definition und Implementierung, die zu Problemen führen könnten?
- Fehlen wesentliche Teile, die für die ordnungsgemäße Durchführung des Tests erforderlich sind?
Hier ist die Testfalldefinition: {Testfalldefinition}
Hier ist die Implementierung: {Testfallimplementierung}"
Testfälle aufsplitten
KI zerlegt umfangreiche Testfälle in kleinere, wartbare Einheiten. Das verbessert die Lesbarkeit und macht Fehlersuche effizienter.
"Sie haben eine umfangreiche Testfalldefinition, die sehr lang und komplex ist. Ihr Ziel ist es, diese Definition in kleinere, übersichtlichere Testfälle aufzuteilen. Achten Sie auf folgende Punkte:
- Welche logischen Abschnitte lassen sich aus der bestehenden Definition herauslösen?
- Welche Testfälle können unabhängig voneinander durchgeführt werden und sollten daher getrennt werden?
- Gibt es redundante oder überschneidende Schritte, die zusammengefasst oder entfernt werden können?
- Wie lässt sich die Reihenfolge oder Struktur optimieren, um die Wartbarkeit zu erhöhen?
Hier ist die aktuelle Testfalldefinition: {Testfalldefinition}"
Use Case 2: Testdaten mit LLMs generieren
Realistische Testdaten sind in vielen Projekten ein dauerhaftes Problem: Produktivdaten dürfen aus Datenschutz-Gründen nicht in Test-Umgebungen, anonymisierte Datensätze sind oft unrealistisch arm an Edge Cases. LLMs lösen einen Teil dieses Problems, weil sie aus einer Spezifikation heraus realistisch wirkende, aber synthetische Datensätze erzeugen.
Konkrete Patterns, die in der Praxis funktionieren:
- Synthetische Kundendatensätze mit deutschen Namen, Adressen, IBAN-Formaten und plausiblen Altersverteilungen für eine Banking-Anwendung.
- Boundary-Cases ableiten: Geben Sie dem Modell die Validierungsregeln und fragen Sie nach Datensätzen, die die Grenzen genau berühren oder knapp verletzen.
- Internationalisierungs-Daten für Tests in mehreren Sprachen, mit Sonderzeichen, langen Namen und Right-to-Left-Sprachen.
- Realistische Logfile-Sequenzen für Tests von Log-Aggregation und Alerting.
Wichtig ist die Validierung: Generierte Testdaten müssen automatisiert auf Schema-Konformität, Datentypen und Wertebereiche geprüft werden, bevor sie in eine Testdatenbank wandern. Andernfalls testen Sie gegen Daten, die fachlich gar nicht entstehen können.
Use Case 3: Testautomatisierung mit KI als Code-Generator
Testautomatisierung profitiert deutlich von KI-Unterstützung. KI hilft beim Schreiben von Komponententests (Unit-Tests), bei explorativen Tests und bei der Codegenerierung. Dabei gelten die zuvor beschriebenen Grenzen weiterhin: Erst prüfen, dann committen.
Komponententests mit GitHub Copilot und Cursor
Tools wie GitHub Copilot und Cursor erzeugen Komponententests automatisch. Häufig genügt es, eine Funktion zu markieren und das KI-Tool die passenden Testfälle generieren zu lassen. Die Modelle erkennen Randfälle und unerwartete Szenarien, die in klassischen Komponententests gerne untergehen. Mehr Hintergrund zu Copilot finden Sie in GitHub Copilot: Dein KI-gestützter Programmierassistent und zur GitHub-Plattform allgemein in GitHub für Entwickler: Repositories, Actions und Copilot im Überblick.
Wichtig: Eine eigene Studie und Erfahrungswerte zur tatsächlichen Treffsicherheit dieser KI-Tools im realen Projektalltag haben wir in Generative KI: ChatGPT für Software Testing und Testautomatisierung dokumentiert, inklusive Versuchsaufbau und realer Prompt-Ausgaben.
Die Frage, warum Komponententests gerade im Zeitalter KI-generierten Codes zum Sicherheitsnetz werden, beantwortet ausführlich der Artikel Unit Tests 2026: Sicherheitsnetz gegen KI-generierten Code.
Code aus Testfallbeschreibungen
KI generiert aus einer Testfallbeschreibung in natürlicher Sprache funktionierenden Testautomatisierungs-Code. Statt mühsam Skripte zu tippen, beschreiben Sie Testfälle umgangssprachlich und übergeben sie an die KI. Diese liefert eine erste, meist solide Implementierung.
"Sie erhalten nachfolgend eine Testfalldefinition in natürlicher Sprache. Ihre Aufgabe ist es, diese Definition in der folgenden Programmiersprache zu implementieren: {Programmiersprache}. Achten Sie darauf, dass alle Anforderungen und Bedingungen umgesetzt werden. Berücksichtigen Sie dabei:
- Welche Test-Frameworks werden in der angegebenen Programmiersprache üblicherweise verwendet?
- Werden alle Schritte der Testfalldefinition korrekt abgebildet und ist der Testfall in einer klaren, wartbaren Struktur implementiert?
- Achten Sie darauf, dass der Testcode präzise und fehlerfrei ist, und vermeiden Sie unnötige Redundanzen.
Hier ist die Testfalldefinition: {Testfalldefinition}"
Tipp: Bei KI-Tools, die direkt in die IDE integriert sind, erweitern Sie den Kontext einfach um bestehende Testfälle oder Codeabschnitte. Beispiele sind GitHub Copilot und Cursor.
Use Case 4: Testpriorisierung in CI/CD-Pipelines
Nicht alle Tests sind gleich wichtig. Manche laufen bei jedem Build, andere nur bei kritischen Änderungen. Aber welche sollten Sie zuerst ausführen, wenn die Build-Zeit knapp ist?
KI bewertet auf Basis historischer Fehlerdaten und Code-Änderungen, welche Tests am wahrscheinlichsten fehlschlagen werden. Statt Tests zufällig oder linear abzuarbeiten, führen Ihre Pipelines die "problematischsten" Tests zuerst aus. Solche Fail-Fast-Strategien beschleunigen Continuous-Integration-Pipelines erheblich, weil Probleme früh sichtbar werden statt erst am Ende eines 30-minütigen Suite-Laufs.
Ein konkretes Tool, das auf Testsuite-Optimierung spezialisiert ist, ist Scryer AI. Es analysiert historische Test-Ergebnisse und Pull-Request-Metadaten und priorisiert das aktive Test-Set entsprechend. In CI/CD-Pipelines kombiniert mit einer durchdachten Testpyramide vermeiden Sie unnötige Testläufe und erkennen Fehler früher.
AI Agents und Agentic Testing
Ein wachsendes Feld neben der reinen LLM-Nutzung sind AI Agents. Hier verschiebt sich das Paradigma von "Mensch stellt Frage, LLM antwortet" hin zu "Mensch definiert Ziel, Agent plant Schritte und führt sie aus". Für QA bedeutet das einen substanziellen Sprung.
Was AI Agents von LLMs unterscheidet
Ein LLM ist eine Funktion: Sie geben Text rein und bekommen Text zurück. Ein Agent ist ein System aus LLM, Werkzeugen, Gedächtnis und einer Planungs-Schleife. Der Agent kann selbständig entscheiden, ein Tool zu nutzen (etwa einen Browser zu öffnen oder eine API aufzurufen), das Ergebnis zu beobachten und die nächsten Schritte anzupassen.
Für das Testing heißt das: Statt nur einen Testfall zu schreiben, kann ein Agent eigenständig durch die Anwendung navigieren, Eingaben tätigen, Erwartungen formulieren und Abweichungen melden. Diese Form von "explorativem Testing durch eine KI" wird 2026 produktreif. Eine ausführliche Praxis-Sicht inklusive Playwright-Integration gibt es in Agentic AI Testing und Testautomatisierung mit Playwright.
Browser-Use, Claude Computer Use, OpenAI Operator
Drei Vertreter, die für QA-Teams aktuell relevant sind:
- Browser-Use: Open-Source-Framework, mit dem ein LLM einen Chromium-Browser steuert. Geeignet für End-to-End-Test-Generierung und Smoke-Tests, bei denen die Test-Schritte aus User Stories abgeleitet werden.
- Claude Computer Use: Anthropic-API, die Claude die Steuerung eines Desktops erlaubt (Maus, Tastatur, Screenshot-Analyse). Spannend für Tests von Desktop-Anwendungen, die keine Browser-Automatisierungs-Schnittstelle bieten.
- OpenAI Operator: ChatGPT-Agent, der eigenständig Web-Aufgaben ausführt. Eher für Use Cases im Bereich Customer Journey Testing und Robotic Process Automation als für tiefgehende Test-Automatisierung.
Wichtig: Alle drei sind 2026 noch frühe Stufen und brauchen Aufsicht. Sie eignen sich gut für Smoke-Tests und exploratives Testing, weniger als alleiniger Ersatz für deterministische Regressionssuiten.
RAG und LLM-as-Judge: Fortgeschrittene Patterns
Wer den Sprung von "ChatGPT als Schreibhilfe" zu "KI als Bestandteil der Test-Infrastruktur" macht, kommt an zwei Patterns nicht vorbei: Retrieval-Augmented Generation und LLM-as-Judge.
RAG für unternehmensinternes Test-Wissen
Retrieval-Augmented Generation (RAG) löst ein zentrales LLM-Problem: Modelle wissen nichts über Ihr konkretes Projekt. Sie kennen weder Ihre internen API-Spezifikationen noch Ihre Test-Konventionen oder Ihre Lastenheft-Texte. RAG schiebt diese Inhalte zum Zeitpunkt des Prompts kontrolliert in den Kontext.
Konkret läuft RAG in drei Schritten: Erstens, Ihre Anforderungs- und Test-Dokumente (Confluence, Jira, SharePoint, Git-Repos) werden in Embeddings umgewandelt und in einer Vektor-Datenbank gespeichert. Zweitens, zu jeder neuen Anfrage werden die ähnlichsten Dokument-Ausschnitte abgerufen. Drittens, diese Ausschnitte werden zusammen mit der Frage in den LLM-Prompt gegeben.
Für QA-Teams bedeutet das: Ein Test-Generator-Agent kann Testfälle ableiten, die zur Domain-Sprache Ihres Fachbereichs passen, weil er auf Ihre Glossare zugreift. Ein Test-Reviewer kann prüfen, ob neue Tests Konventionen aus Ihrem Test-Style-Guide einhalten, weil dieser Guide im Kontext liegt.
LLM-as-Judge mit Promptfoo
"LLM-as-Judge" beschreibt das Pattern, ein LLM zu nutzen, um die Ausgabe eines anderen LLMs zu bewerten. In der Test-Praxis ist das wertvoll, wenn Sie Test-Outputs prüfen müssen, für die es kein eindeutiges Soll-Ergebnis gibt (etwa Beschreibungstexte, generierte Zusammenfassungen oder UI-Texte).
Werkzeuge wie Promptfoo automatisieren diesen Workflow: Sie definieren Bewertungs-Kriterien, das Judge-LLM bewertet jede Ausgabe gegen diese Kriterien, und Sie bekommen einen automatisierten Pass/Fail-Report in Ihrer CI-Pipeline. Damit wird die Qualität von KI-Komponenten auf eine ähnliche Weise prüfbar wie klassische Software-Komponenten.
Risiken: Datenschutz, EU AI Act, Halluzinationen
KI im Testing bringt nicht nur Effizienzgewinne, sondern auch eine Reihe von Risiken, die Sie als Testverantwortliche kennen müssen. Zwei Dimensionen sind in Deutschland und der EU besonders relevant: Datenschutz und das EU AI Act.
Datenschutz: Cloud versus self-hosted LLMs
Jeder Prompt, den Sie an ein Cloud-LLM senden, verlässt Ihr Unternehmen. Bei ChatGPT, Claude und Gemini bedeutet das in der Regel: Daten gehen an US-Anbieter und werden potenziell in Trainings einbezogen, wenn Sie das nicht explizit abschalten. Für Unternehmen mit DSGVO-Pflichten, Bankgeheimnis oder ITAR-Anforderungen ist das problematisch.
Drei tragfähige Alternativen aus der Praxis:
- Enterprise-Verträge mit Daten-Ausschluss: OpenAI Enterprise, Anthropic Claude for Work und Google Workspace AI versprechen Daten-Ausschluss von Training und EU-Hosting.
- Self-hosted Open-Source-Modelle: Llama, Mistral, DeepSeek oder Qwen laufen lokal in Ihrem Rechenzentrum mit Werkzeugen wie Ollama oder vLLM. Etwas geringere Modell-Qualität, aber volle Daten-Hoheit.
- Europäische Anbieter: Aleph Alpha, Mistral und andere mit EU-Hosting und EU-Compliance als Differenzierungs-Merkmal.
EU AI Act und Compliance für Testorganisationen
Der EU AI Act, seit 2024 in Kraft und schrittweise umgesetzt, klassifiziert KI-Systeme nach Risikoklassen. Für Software-Tests ist relevant: Ein KI-Tool, das nur Testfall-Vorschläge generiert, ist meist unkritisch. Ein KI-Agent, der eigenständig produktive Tests deployed oder Test-Ergebnisse interpretiert und freigibt, fällt schnell in höhere Risikoklassen mit Dokumentations- und Audit-Pflichten.
Konkret heißt das für Sie: Führen Sie eine schlanke Risiko-Klassifikation pro KI-Einsatz im Test-Prozess durch. Dokumentieren Sie Prompts, Modellversionen und Bewertungs-Ergebnisse so, dass Sie eine Auditierbarkeit über Monate gewährleisten können. Ein qytera-Beratungsangebot zu KI-gestütztem QA-Aufbau finden Sie unter Agentic AI Testing: KI-Agenten testen Ihre Software.
Fazit: KI-gestützte QA-Teams sind die neue Realität
KI im Software Testing ist 2026 keine Zukunftsvision mehr, sondern Realität in jeder ambitionierten QA-Organisation. Sie liefert echte Effizienzgewinne in der Testfall-Generierung, der Testautomatisierung und der Testpriorisierung. Sie schafft neue Möglichkeiten durch RAG, AI Agents und LLM-as-Judge. Und sie bringt neue Risiken, die in Compliance- und Datenschutz-Strategien gehören.
Der von uns oft zitierte Claim bringt es auf den Punkt: KI ersetzt keine Tester. Sie ersetzt Tester, die keine KI nutzen. Die Teams, die heute ISTQB CT-GenAI-Kompetenz aufbauen, Prompt-Patterns systematisch anwenden, RAG-Pipelines verstehen und Risiken aktiv steuern, sind im Vorteil. Die Teams, die KI als Hype abtun, verlieren binnen kurzer Zeit den Anschluss.
Für Ihre nächsten Schritte empfehlen wir: Starten Sie mit einem konkreten Use Case (Testfall-Generierung oder Komponententest-Generierung), bauen Sie das Role-Context-Instruction-Pattern in Ihren Test-Alltag ein, klassifizieren Sie Datenschutz-Risiken pro Tool, und planen Sie eine ISTQB CT-GenAI-Qualifizierung für Ihr Kernteam. Wenn Sie dabei Unterstützung brauchen, stehen wir Ihnen zur Verfügung.
FAQ: KI im Software Testing
Was ist KI im Software Testing?
KI im Software Testing umfasst den Einsatz von Technologien, die Aufgaben übernehmen, die normalerweise menschliche Intelligenz erfordern: Testfälle generieren, Fehler erkennen, Tests priorisieren. Besonders populär sind Large Language Models (LLMs) wie ChatGPT, Claude und GitHub Copilot, die natürliche Sprache verstehen und Tests oder Code generieren. Eine breitere Einordnung gibt Was ist Software Testing.
Wie hilft KI bei der Generierung von Testfällen?
KI-gestützte Systeme generieren Testfälle automatisch aus Anforderungstexten. Sie erkennen kritische Szenarien und Randfälle und sparen Zeit. Menschliche Tester bleiben erforderlich, um Qualität und Relevanz der generierten Tests zu prüfen.
Kann KI Fehler im Code zuverlässig erkennen?
KI erkennt Fehler durch Musteranalyse, produziert aber auch falsche Treffer oder übersieht Probleme. Es bleibt wichtig, die KI-Ergebnisse zu hinterfragen und durch Tests, statische Analyse und menschliche Reviews abzusichern.
Brauchen wir noch menschliche Tester, wenn KI Tests übernimmt?
Ja. Der "KI-Testguru", der den Menschen ersetzt, existiert nicht. KI unterstützt den Prozess, aber menschliche Kontrolle, Domänenwissen und Verantwortung bleiben entscheidend, um Qualität und fachliche Korrektheit sicherzustellen. Mehr dazu in Unit Tests 2026: Sicherheitsnetz gegen KI-generierten Code.
Welche ISTQB-Zertifizierung gibt es für KI im Testing?
Seit 2026 gibt es den ISTQB-Lehrplan "Testing with Generative AI" (CT-GenAI) mit fünf Modulen zu Prompt-Engineering, Risiken, RAG, Agenten und Adoption. Daneben existiert die Vorgänger-Zertifizierung "Certified Tester AI Testing" mit Fokus auf ML-Modell-Validierung (siehe ISTQB Certified Tester AI Testing).
Was ist RAG im Kontext KI-Testing?
Retrieval-Augmented Generation (RAG) bedeutet, dass ein LLM zur Laufzeit auf unternehmensinterne Dokumente (Confluence, Jira, Test-Style-Guides) zugreift, bevor es eine Antwort generiert. Das reduziert Halluzinationen und macht generierte Testfälle domänen-spezifisch.
Was sind AI Agents im Testing?
AI Agents kombinieren LLM, Werkzeuge (Browser, APIs) und eine Planungs-Schleife. Sie führen Test-Szenarien selbständig aus, statt nur Code zu generieren. Werkzeuge wie Browser-Use und Claude Computer Use ermöglichen exploratives Testing durch eine KI (Details in Agentic AI Testing mit Playwright).
Wie kann ich KI im Software Testing nutzen?
Starten Sie mit konkreten Use Cases: Testfall-Generierung aus Anforderungen, Komponententests mit Copilot oder Cursor, Testpriorisierung mit Scryer AI. Bauen Sie schrittweise Prompt-Patterns auf und integrieren Sie KI in bestehende CI/CD-Pipelines. Tool-Übersicht in Die besten KI-Tools für Software Testing in 2026.
Was sind die Herausforderungen beim KI-Einsatz im Software Testing?
Die größte Herausforderung sind Halluzinationen: LLMs erfinden plausibel klingende, aber falsche Inhalte. Hinzu kommen Datenschutz (Cloud versus self-hosted), EU AI Act-Compliance und das Risiko, KI-Ergebnisse ungeprüft zu übernehmen. Kritisches Prompt-Engineering und RAG verbessern die Ergebnisqualität, ersetzen aber keine menschliche Validierung.
Datenschutz und KI im Software Testing: wie gehen Sie damit um?
Cloud-LLMs senden Daten an US-Anbieter und können trainings-relevant sein. Drei Wege: Enterprise-Verträge mit Daten-Ausschluss, self-hosted Open-Source-Modelle (Llama, Mistral) via Ollama oder vLLM, oder europäische Anbieter (Aleph Alpha, Mistral mit EU-Hosting). Klassifizieren Sie Prompts nach Sensitivität, bevor Sie sich für ein Tool entscheiden.