Testmanagement mit Jira - Xray

In diesem Artikel stellen wir Ihnen das Testmanagement-Tool Xray für Jira vor. Jira ist eine Webanwendung für agiles Projektmanagement, Fehlerverwaltung und Problembehandlung. Ursprünglich wurde Jira vor allem in der Softwareentwicklung verwendet, hat jedoch mittlerweile auch in vielen anderen Bereichen eine Anwendung gefunden.

In Jira werden Projekte durch Aufgaben bzw. Vorgänge (Issues) dargestellt. Aufgaben können in Projekten organisiert, Benutzern zugewiesen und mit Deadlines versehen werden. Dargestellt werden können diese Aufgaben mittels agiler Boards (wie etwa Scrum- und Kanban-Boards), was Jira gerade für agile Teams zu einem interessanten Tool für ihr Projektmanagement macht.

Die Architektur von Jira ist darauf ausgelegt, dass Drittanbieter es mit eigenen Erweiterungen ausstatten können. Eine dieser Erweiterungen möchten wir Ihnen in diesem Artikel vorstellen: Xray.

Image

Was ist Xray?

Bei Xray handelt es sich um eine Erweiterung der Jira-Plattform, die zum Verwalten von Testprojekten entwickelt wurde. Xray zeichnet sich durch seine Skalierbarkeit und seine Möglichkeiten aus, mehrere Benutzer an einem Projekt mitarbeiten zu lassen.

In einem komplexeren Testprojekt ist es vonnöten, den Testprozess durch ein geeignetes Modell abzubilden. So müssen u.a. zu Beginn des Projektes Anforderungen an den Testprozess gesammelt und dokumentiert werden. Aus den Anforderungen werden in einem weiteren Schritt Testbedingungen und Testfälle abgeleitet. Schlussendlich werden die Testfälle zu Testplänen zusammengestellt. Eine zentrale Rolle spielt dabei die Dokumentation der Testergebnisse und die Rückverfolgbarkeit der Testfälle zu den Anforderungen, die stets gewährleistet sein muss.

Xray unterstützt hierbei den gesamten Prozess von der Planung der Testfälle bis hin zu deren Ausführung und dem Reporting. Dem Tester wird die Arbeit abgenommen, eine eigene Infrastruktur für ein Testprojekt aufbauen zu müssen, beispielsweise mittels Dokumentation der Testfälle in Word-/Excel-Files und Kommunikation über E-Mails. Die Nutzung von Xray führt zu einer deutlichen Zeitersparnis und somit einer Steigerung der Qualität und der Effizienz eines Testprojektes.

Xray für das Testmanagement mit Jira

Xray erweitert Jira um vordefinierte Issue Types zur Abbildung der Tests. Dies ermöglicht die einfache Interaktion von Xray mit anderen Erweiterungen für Jira. Die wichtigsten davon sind:

• Tests: In diesem Issue Type wird der eigentliche Test festgehalten. Sie können definieren, welche Aktion der Testfall testen und wie das zu erwartende Ergebnis aussehen soll. Tests lassen sich in einzelne Schritte untergliedern. Auch für diese Schritte lassen sich Testbeschreibungen und erwartete Ergebnisse definieren.
• Pre-Conditions: In diesem Issue Type können Sie festlegen, welche Vorbedingungen für einen Test erfüllt sein müssen, damit dieser ausgeführt werden kann. Beispielsweise kann eine Vorbedingung beinhalten, dass eine Testdatenbank mit vordefinierten Datensätzen eingerichtet und bereitstehen muss. Eine Vorbedingung kann mehreren Tests zugeordnet werden.
• Test Set: Tests können in Gruppen, den Test Sets, zusammengefasst werden. Alternativ lassen sich Tests auch in einer Ordnerstruktur, den sogenannten Repositories organisieren.
• Test Execution: Dieser Issue Type erlaubt die Planung von Testzyklen planen. Test Executions fassen eine Menge von Testfällen zusammen, welche entweder manuell oder automatisiert ausgeführt werden sollen und speichert die Testergebnisse für alle einsehbar ab.
• Test Plan: Testpläne fassen Test Executions und Tests zusammenfassen. Dies ermöglicht ein übergreifendes Reporting der Tests, die während verschiedener Testausführungen durchgeführt werden.

► Wie kann Xray eigentlich in großen Unternehmen eingeführt werden? Das beleuchten wir in unserem Podcast im Dialog mit Ssonja Lazarev, Testmanagerin/Beraterin bei der AIM. Jetzt reinhören: Podcast #34 Testmanagement mit Xray at Scale

Rückverfolgbarkeit

Xray stellt die Rückverfolgbarkeit der Testfälle zu Ihren Anforderungen sicher, indem sich Testfälle mit den Aufgaben aus dem Scrum- bzw. Kanban-Board des Projektes verknüpfen lassen. Somit lässt sich u.a. die Testüberdeckung eines Features und die Qualität der Implementierung dieses Features leicht beurteilen.

Xray Reporting

Nach dem Durchführen der Testfälle ist es nötig, die Testergebnisse zu dokumentieren, um den Fortschritt des Testprojektes und die Qualität der getesteten Software beurteilen zu können. Hierfür stellt Xray eine grafische Oberfläche zur Verfügung, die den beteiligten Personen einen Überblick über die vorhandenen Testfälle und deren Ausführungsverlauf gewährt. Wir möchten Ihnen dieses Feature von Xray anhand eines Beispielprojektes demonstrieren.

In der folgenden Ansicht sehen Sie das sogenannte “Testing Board” von Xray, in dem eine Auflistung der Testfälle zu sehen ist. In diesem Fall wurden Tests in Form eines Repositories organisiert. Sie sehen die drei Testfälle mit den Bezeichnungen “QTAF-1”, “QTAF-2” und “QTAF-3”. Bei diesen Testfällen handelt es sich um manuelle Testfälle, d.h. dass diese Schritt für Schritt ausgeführt werden. Wichtig ist hierbei, dass die Namensgebung "manuell" nicht bedeutet, dass man den Test nur manuell ausführen kann. Unter "manuellen" Tests versteht Xray lediglich eine schrittbasierte Definition, die auch ein Mensch problemlos abarbeiten könnte. Als Tipp empfiehlt es sich, einen eigenen Testtyp anzulegen, den man beispielsweise "schrittbasiert" nennt. Damit lassen sich solche Missverständnisse sehr gut vermeiden.

Die Ergebnisse des Testens lassen sich automatisiert über die REST-API-Schnittstelle von Xray eintragen. Diese drei Testfälle werden in unserem Beispielprojekt die Startseite von Google aufrufen, einen Text in das Suchfeld eintragen und anschließend diese Suchanfrage abschicken.

In der nächsten Grafik sehen Sie die Detailansicht des Testfalls “QTAF-1”. Dieser Testfall wurde in zwei Testschritte unterteilt. Diese beinhalten jeweils eine Beschreibung des Testschritts (Aktion), die für den Testschritt verwendeten Daten sowie ein weiteres Attribut, mit dem das erwartete Ergebnis dieses Testschrittes beschrieben werden kann.

Bei jeder Ausführung des Testfalls werden die Resultate des Testfalls an die Xray-API übermittelt. Xray sorgt nun dafür, dass Sie die Resultate der vergangenen Testdurchläufe in einer tabellarischen Ansicht ansehen können. Hier sehen Sie eine Auflistung vergangener Testdurchläufe und deren Status.

Wir sehen, dass einige Durchläufe ohne Abweichung von den erwarteten Ergebnissen durchgelaufen sind (passed). Jedoch ist es auch bei einigen Durchläufen zu Abweichungen gekommen (failed). Möchten wir nun detailliertere Informationen zu einem fehlgeschlagenen Durchlauf erhalten, können wir dies durch Klicken auf den jeweiligen Durchlauf (beispielsweise “QTAF-239”) erfahren.

Wir können nun sehen, dass die Testfälle “QTAF-1” und “QTAF-2” das erwartete Ergebnis lieferten, der Testfall “QTAF-3” jedoch fehlschlug. Durch Klicken auf “QTAF-3” erhalten wir nähere Informationen zu diesem fehlgeschlagenen Testfall.

Hier lässt sich erkennen, dass es im zweiten Schritt des Testfalls “QTAF-3” zu einem Fehler kam. Der erste Schritt wurde noch erfolgreich ausgeführt (grün), der dritte wurde erst gar nicht durchgeführt (grau). Durch Klicken auf den Button “Tatsächliches Ergebnis” können mehr Details über den fehlgeschlagenen Schritt eingeblendet werden

Sie sehen, dass es offenbar zu folgendem Fehler kam: Es sollte ein Wert in das Google-Suchfeld eingetragen werden, jedoch konnte dieses Feld nicht gefunden werden, wie es aus der Fehlerbeschreibung hervorgeht. Weiterhin wurde ein Screenshot (google_search.jpg) angehängt, anhand dessen wir nachvollziehen können, wie die zu testende Seite zum Zeitpunkt des Fehlers aussah. Klicken wir diesen Screenshot nun an, sehen wir folgendes Bild:

Wir können sehen, dass die Startseite von Google offensichtlich aufgerufen und korrekt dargestellt wurde. Jedoch konnte kein Wert in das Textfeld eingetragen werden, denn das Suchfeld war zu dem Zeitpunkt leer.

In diesem Abschnitt wurde Ihnen ein Beispiel für das Testmanagement mittels Xray vorgestellt. Es lassen sich Testfälle definieren und in Form von Test Sets / Repositories organisieren. Testfälle können weiterhin in einzelne Schritte untergliedert werden. Xray ermöglicht es, dass die Resultate vergangener Testdurchläufe bis auf Testschrittebene in Form von Texten und Bildern dokumentiert werden können.

Testautomatisierung mit Playwright und Integration/Verknüpfung mit Jira Xray

Testergebnisse können über eine Rest-API-Schnittstelle von einem Testtool an die Xray-API übermittelt werden. Für einige Testwerkzeuge wie etwa Playwright bietet Xray eine eigene Schnittstelle zum Importieren der von den Testwerkzeugen erstellten Reportings an. Somit müssen Testergebnisse nicht manuell übertragen werden, sondern können über den Report-Import automatisiert erfasst werden.

Für Cucumber existiert sogar die Möglichkeit, Testfälle direkt in Xray zu implementieren und ausführen zu lassen. Hierfür hinterlegt ein Tester den entsprechenden Gherkin-Code in Xray, woraus Xray entsprechende Feature-Files zusammenbaut. Dies ermöglicht es Testern, ohne Zugang zum Git-Repository eines Testprojektes neue Testfälle anzulegen. Lediglich die Step-Definitionen müssen manuell erstellt werden.

Webinar: Hohe Softwarequalität sicherstellen mit Playwright Reporting in CI/CD Pipelines
 

Die besten Xray Alternativen

Es gibt verschiedene Testmanagement-Tools für Jira auf dem Markt. Diese Tools unterscheiden sich hauptsächlich in ihrer Benutzeroberfläche, Benutzerfreundlichkeit, ihren Integrationsmöglichkeiten und Preisen.

• TestFLO
• Zephryr für Jira
• TestRail für Jira Testmanagement
• qTest Scenario für Jira
• SpiraTest

Fazit: Testmanagement mit Xray

Der Einsatz von Xray in einem Testprojekt sorgt für eine erhebliche Zeitersparnis und eine Steigerung der Effizienz des Testprojektes durch eine strukturierte Verwaltung der Erstellung, Ausführung, Dokumentation und des Reportings der Testfälle. Wer somit ein teamübergreifendes Testmanagement Tool mit einer Reihe an mächtigen Funktionen nutzen will, sollte unbedingt einen Blick auf Xray werfen. 

▶ Sie möchten sich einen Überblick über verschiedene Testmanagement Tools und Alternativen zu Jira Xray verschaffen? Dann lesen Sie diesen Artikel:  Die besten Testmanagement Tools im Überblick

Häufige Fragen:  Xray Test Management für Jira

Was ist Xray Test Management für Jira?

Xray Test Management für Jira ist ein natives Testmanagement-Tool, das speziell für die Atlassian-Plattform entwickelt wurde. Es ermöglicht Teams, ihre Testaktivitäten effizient zu planen, durchzuführen und zu verfolgen.

Welche Vorteile bietet die native Testmanagement-Software Xray?

Xray bietet eine umfassende Integration in Jira, was die Zusammenarbeit und Rückverfolgbarkeit von Tests optimiert. Die Software verbessert die Softwarequalität und bietet Einblicke in den Fortschritt der Testausführung.

Wie kann ich die Testplanung mit Xray optimieren?

Mit Xray können Sie Testpläne erstellen, die alle relevanten Testaktivitäten und Versionen enthalten. Dies ermöglicht eine bessere Rückverfolgbarkeit und Durchführung von Tests, wodurch Ihr Team effizienter arbeitet.

Unterstützt Xray die Rückverfolgbarkeit von Testaktivitäten?

Ja, Xray bietet eine nahtlose Rückverfolgbarkeit aller Testaktivitäten. Sie können den Fortschritt der Testausführung und die Testabdeckung in Echtzeit verfolgen, was die Transparenz verbessert.

Wie verbessert Xray die Zusammenarbeit innerhalb des Teams?

Xray fördert die Zusammenarbeit durch zentrale Testmanagement-Funktionen, die es allen Teammitgliedern ermöglichen, auf dieselben Informationen zuzugreifen. Dies erleichtert die Kommunikation und den Austausch zwischen den Gruppen.

Ist Xray für jede Art von Softwareprojekt geeignet?

Ja, Xray wurde entwickelt, um flexibel auf die Anforderungen verschiedener Softwareprojekte einzugehen. Es kann für jede Organisation und jeden Vorgangstyp angepasst werden.

Welche Funktionen bietet Xray zur Verbesserung der Softwarequalität?

Xray bietet Funktionen wie Testberichte, die einen umfassenden Einblick in die Testergebnisse geben, sowie die Möglichkeit, Tests in Jira zu verknüpfen, um die Qualität der Software über jeden Prozess hinweg zu verbessern.

Wie kann ich Xray in meine bestehende Atlassian-Umgebung integrieren?

Die Integration von Xray in Ihre Atlassian-Umgebung ist einfach, da es nativ für Jira und Confluence entwickelt wurde. Sie können es direkt im Atlassian Marketplace herunterladen und in Ihre vorhandenen Arbeitsabläufe einfügen.

Welche Rolle spielt ein Partner Programm bei der Implementierung von Xray?

Ein Partner Programm kann Ihnen helfen, die Implementierung von Xray zu optimieren, indem Ihre spezifischen Anforderungen analysiert und maßgeschneiderte Lösungen angeboten werden, um die Effizienz Ihrer Testmanagement-Prozesse zu steigern.