ISTQB Certified Tester AI Testing: Die Next-Gen Zertifizierung in Sachen AI und ML

Was ist die ISTQB AI-Tester Zertifizierung?

Die ISTQB AI-Tester Zertifizierung ist eine Erweiterung des ISTQB-Zertifizierungsschemas und richtet sich speziell an Tester, die sich mit künstlicher Intelligenz (KI) in Softwareprojekten auseinandersetzen, sei es beim Testen von KI-Systemen oder beim Einsatz von KI im Testprozess. Dabei werden Inhalte, wie Grundlagen von KI und Machine Learning (ML), spezifische Testansätze für KI-Systeme, Risiken und Herausforderungen beim Testen von KI sowie die Unterstützung der KI bei Testprozessen vermittelt.

Image

Die Inhalte im Detail

Basierend auf dem Syllabus sind von den 13 Kapiteln 11 Kapitel, die hier unten aufgelistet werden, für die Prüfungsvorbereitung relevant (Stand Version 2021 1.0D):

1 Einführung in KI
1.1 Definition von KI und KI-Effekt 
1.2 Schwache KI, Allgemeine KI und Super-KI 
1.3 KI-basierte und konventionelle Systeme
1.4 KI-Techniken 
1.5 KI-Entwicklungs-Frameworks
1.6 Hardware für KI-basierte Systeme 
1.7 KI-als-Dienst (AIaaS)
1.7.1 Verträge für KI-als-Dienst
1.7.2 Beispiele für KI-als-Dienst 
1.8 Vortrainierte Modelle 
1.8.1 Einführung in vortrainierte Modelle
1.8.2 Transferlernen 
1.8.3 Risiken bei der Verwendung von vortrainierten Modellen und Transferlernen
1.9 Normen, Vorschriften und KI

2 Qualitätsmerkmale für KI-basierte Systeme
2.1 Flexibilität und Anpassbarkeit
2.2 Autonomie
2.3 Evolution
2.4 Verzerrung
2.5 Ethik
2.6 Nebenwirkungen und Belohnungs‐Hacking
2.7 Transparenz, Interpretierbarkeit und Erklärbarkeit
2.8 Funktionale Sicherheit und KI
 
3 Maschinelles Lernen (ML) - Überblick
3.1 Arten von ML
3.1.1 Überwachtes Lernen
3.1.2 Unüberwachtes Lernen
3.1.3 Bestärkendes Lernen
3.2 ML-Workflow
3.3 Auswahl einer Art von ML
3.4 Faktoren, die bei der Auswahl von ML-Algorithmen eine Rolle spielen
3.5 Überanpassung und Unteranpassung
3.5.1 Überanpassung
3.5.2 Unteranpassung
3.5.3 Praktische Übung: Demonstration von Überanpassung und Unteranpassung

4 ML - Daten
4.1 Datenvorbereitung als Teil des ML-Workflows
4.1.1 Herausforderungen bei der Datenvorbereitung
4.1.2 Praktische Übung: Datenvorbereitung für ML
4.2 Trainings-, Validierungs- und Testdatensätze im ML-Workflow
4.2.1 Praktische Übung: Identifizieren von Trainings- und Testdaten und Erstellen eines ML-Modells
4.3 Probleme mit der Datensatzqualität
4.4 Datenqualität und ihre Auswirkungen auf das ML-Modell
4.5 Datenkennzeichnung für überwachtes Lernen
4.5.1 Ansätze zur Datenkennzeichnung
4.5.2 Falsch gekennzeichnete Daten in Datensätzen

5 Funktionale Leistungsmetriken von ML
5.1 Konfusionsmatrix
5.2 ZusätzlichefunktionaleLeistungsmetrikenvonMLfürKlassifikation,Regressionund Clusterbildung
5.3 Beschränkungen der funktionalen Leistungsmetriken von ML
5.4 Auswahl funktionaler Leistungsmetriken von ML
5.4.1 Praktische Übung: Evaluieren eines erstellten ML-Modells
5.5 Benchmark-Suiten für ML

6 ML - Neuronale Netzwerke und Testen
6.1 Neuronale Netzwerke
6.1.1 Praktische Übung: Implementierung eines einfachen Perzeptrons
6.2 Überdeckungsmaße für neuronale Netzwerke

7 Testen KI-basierter Systeme im Überblick
7.1 Spezifikation KI-basierter Systeme
7.2 Teststufen für KI-basierte Systeme
7.2.1 Eingabedatentest
7.2.2 ML-Modelltest
7.2.3 Komponententest
7.2.4 Komponenten-Integrationstest
7.2.5 Systemtest
7.2.6 Abnahmetest
7.3 Testdaten zum Testen KI-basierter Systeme
7.4 Testen auf Automatisierungsverzerrungen in KI-basierten Systemen
7.5 Dokumentieren einer KI-Komponente
7.6 Testen auf Konzeptdrift
7.7 Auswahl einer Testvorgehensweise für ein ML-System

8 Testen KI-spezifischer Qualitätsmerkmale
8.1 Herausforderungen beim Testen selbstlernender Systeme
8.2 Test autonomer KI-basierter Systeme
8.3 Testen auf algorithmische, stichprobenartige und unangemessene Verzerrungen
8.4 Herausforderungen beim Testen probabilistischer und nicht-deterministischer KI-basierter Systeme
8.5 Herausforderungen beim Testen komplexer KI-basierter Systeme
8.6 Testen der Transparenz, Interpretierbarkeit und Erklärbarkeit KI-basierter Systeme
8.6.1 Praktische Übung: Modell-Erklärbarkeit
8.7 Testorakel für KI-basierte Systeme
8.8 Testziele und Akzeptanzkriterien

9 Methoden und Verfahren für das Testen KI-basierter Systeme
9.1 Gegnerische Angriffe und Datenverunreinigung
9.1.1 Gegnerische Angriffe
9.1.2 Datenverunreinigung
9.2 Paarweises Testen
9.2.1 Praktische Übung: Paarweises Testen
9.3 Vergleichendes Testen
9.4 A/B-Testen
9.5 Metamorphes Testen (MT)
9.5.1 Praktische Übung: Metamorphes Testen
9.6 Erfahrungsbasiertes Testen KI-basierter Systeme
9.6.1 Praktische Übung: Exploratives Testen und explorative Datenanalyse (EDA)
9.7 Auswahl von Testverfahren für KI-basierte Systeme

10 Testumgebungen für KI-basierte Systeme 
10.1 Testumgebungen für KI-basierte Systeme
10.2 Virtuelle Testumgebungen für KI-basierte Systeme

11 Einsatz von KI für Tests
11.1 KI-Techniken für das Testen
11.1.1 Praktische Übung: Der Einsatz von KI bei Tests
11.2 Einsatz von KI zur Analyse gemeldeter Fehler
11.3 Einsatz von KI für die Testfallgenerierung
11.4 Einsatz von KI für die Optimierung von Regressionstestsuiten
11.5 Einsatz von KI für die Fehlervorhersage
11.5.1 Praktische Übung: Aufbau eines Fehlervorhersagesystems
11.6 Einsatz von KI zum Testen von Benutzungsschnittstellen
11.6.1 Einsatz von KI zum Testen über die grafische Benutzungsschnittstelle (GUI)
11.6.2 Einsatz von KI zum Testen der GUI
 

Empfohlene Lernmaterialien

Als Grundlage für die Prüfungsvorbereitung sollte als aller Erstes der offizielle Syllabus zu Rate gezogen, in dem der zentrale Lernstoff abgearbeitet wird. Zudem ist es wichtig, sich das Glossar auf der offiziellen Seite anzuschauen, das die Fachbegriffe behandelt, die ebenfalls in der Prüfung abgefragt werden können. Wenn die Möglichkeit besteht, sollten auf jeden Fall Übungsklausuren zur Vorbereitung genutzt werden, da diese ein gutes Gefühl für den Prüfungsstil geben. Übungsklausuren lassen sich z.B. auf Udemy oder dem GTB finden. Ansonsten ist auch der Youtube-Kanal StatQuest with Josh Starmer zu empfehlen, der ML/AI-Themen extrem verständlich erklärt.

Informationen zur Prüfung

Wie man es schon von anderen Prüfungen der ISTQB-Reihe kennt, dauert auch diese Prüfung 60 Minuten. Während dieser Zeit müssen dabei 40 Multiple-Choice Fragen beantwortet werden. Bestanden gilt die Prüfung, wenn mindestens 65% der Fragen richtig beantwortet wurden. Umgerechnet wären das mindestens 26 von 40 Fragen. Es ist hierzu wichtig zu erwähnen, dass der Prüfling vor Prüfungsantritt bestimmen kann, in welcher Sprache man diese ablegen will. Eine Besonderheit liegt hierin, dass beispielsweise nicht Muttersprachler aus Deutschland, die die Prüfung auf deutsch ablegen wollen, eine Prüfungszeitverlängerung von 25%, also in dem Fall 15 Minuten, beantragen können. Die Durchführung der Prüfung selbst kann auf zwei Wegen geschehen: So hat man die Möglichkeit diese entweder remote abzulegen oder in einem speziell zertifizierten Test-Center. Wurde die Prüfung erfolgreich bestanden, erhält man dann zeitnah das Zertifikat per PDF zugesandt, welches lebenslang gültig ist.
 

Fazit 

Die ISTQB-Zertifizierung für AI Testing vermittelt praxisrelevantes Wissen zum Testen von KI-Systemen, nämlich von Grundlagen maschinellen Lernens bis hin zu ethischen Fragestellungen und spezifischen Teststrategien. Sie richtet sich an erfahrene Tester, die den Umgang mit komplexen, datengetriebenen Systemen erlernen möchten. Der Fokus liegt auf einem strukturierten und risikobasierten Testansatz für KI, was eine sinnvolle Ergänzung im modernen Software-Testing ist.

FAQ - ISTQB AI-Tester

Q: Für wen ist die Zertifizierung geeignet?
Für erfahrene Softwaretester, Testmanager oder QA-Professionals, die sich auf KI-Projekte vorbereiten möchten.

Q: Welche Voraussetzungen gibt es?
Bevor die Zertifizierung für den AI-Tester in Angriff genommen werden kann, muss zuvor die Zertifizierung für den ISTQB Foundation Level mitgebracht werden. Ein technisches Grundverständnis für KI und ML ist hilfreich, aber nicht zwingend erforderlich.