Testmanagement mit Jira - Testrail

Beim erstmaligen Hören des Namens könnte man fast in die Versuchung kommen, Testrail mit einem Bahnsystem in Verbindung zu bringen, hat aber in Wirklichkeit gar nichts damit zu tun. Es handelt sich hierbei vielmehr um ein Testmanagement Tool, womit einem das gesamte Test-Procedere schön sauber und übersichtlich abgebildet werden soll. Obwohl es auf dem Markt eine Reihe von Testmanagement Tools auf Open-Source Basis gibt, die häufig von Hand teils aufwändig konfiguriert werden müssen, bietet Testrail eine hauseigene Gesamtlösung an, die einem genau diese Arbeit zu Großteilen ersparen soll. Sie wollen mehr erfahren, was so alles unter der Haube dieses Prachtstücks steckt? Steigen Sie daher nicht vorzeitig aus, denn der nächste Halt ist Testrail.

Was ist Testrail?

Ursprünglich von der Firma Gurock Software, die nach der Übernahme nun aktuell unter IDERA Inc. firmiert, im Jahre 2010 veröffentlicht, handelt es sich um ein gebührenpflichtiges Testmanagement Tool. So bringt es Funktionen wie die Testplanung, -ausführung und -verfolgung mit sich, samt integrierter visueller Dashboards, genauso wie die Anbindung an CI/CD Tools wie beispielsweise Jenkins, Azure DevOps, GitLab, Bitbucket etc. via Plugins oder CLI. Aber auch Anbindungsmöglichkeiten an Automatisierungstools wie Playwright oder Selenium sind gegeben. Hervorzuheben sind zudem das Coverage-Reporting, womit parallel zur Testausführung Lücken (Defect-Leakages) in der Testabdeckung erkannt werden. Will man über Versionen hinweg vergleichen, wie sich die Testfälle verändert haben, kann dies mit der Testfall-Versionierung tun. Neben der Möglichkeit sich Reports exportieren oder gar drucken zu lassen, lassen sich auch Testfälle von anderen Tools wie beispielsweise Xray oder Testlink nach Testrail hin übertragen, wozu es auch eine ausführliche Dokumentation gibt.

Die Aufgaben des Testmanagements: Ein Überblick

Zunächst muss man sich verbildlichen, wie genau so ein Test Management Prozess aussieht, bevor man die Zusammenhänge verstehen kann. Dabei soll organisatorisch die Aufgabe des Testmanagements in zwei Teile gesplittet werden:

Image

Wie aus der oberen Grafik zu ersehen, muss sich das Testmanagement um zwei Bereiche kümmern, nämlich der Planungsphase und der Exekutionsphase:

• Planungsphase:

  • Risikoanalyse: Beispielsweise die Identifikation unzureichender Testabdeckung oder unzureichender bzw. fehlerhafter Testdaten

  • Testschätzung: Die Frage nach den Gesamtkosten und der benötigten Zeit

  • Testplanung: Die Grundlage vom gesamten Testprozess

  • Testorganisierung: Zuweisung der jeweiligen Rollen während des Prozesses an die Personen
     

• Exekutionsphase:

  • Testmonitoring und Controlling: Den Überblick darüber zu behalten, dass auch die Testaktivitäten im Budget und Zeitplan bleiben

  • Issues Management: Dokumentation, Tracking und Behebung von gefundenen Bugs

  • Test Report und Evaluation: Ausgabe der Metriken zum aktuellen Zeitpunkt beispielsweise bzgl. des Testfortschritts, der Testabdeckung oder der Anzahl der gefundenen Bugs etc.

Wie sieht das Testmanagement mit Testrail aus?

Da Testrail eine Reihe an diversen Funktionen mitbringt, die den Umfang diesen Blogartikels sprengen würden, konzentrieren wir uns dabei auf die wesentlichen Punkte. Dabei ist zu beachten, dass alle zu diesem Abschnitt aufgeführten Screenshots von den offiziellen Youtube-Videos von Testrail entnommen wurden:
Um mit Testrail arbeiten zu können, müssen wir uns zunächst über ein Eingabefenster einloggen, wonach wir auf der Übersicht mit allen aktuell verfügbaren Projekten landen:

Image

Projekttypen

Neben der Auflistung aller Projekte wird auch über einen Graphen angezeigt, wie viele von denen über ein Zeit-Interval hindurch erstellt wurden. Sobald man jedoch ein neues Projekt starten möchte, werden einem drei Möglichkeit zur Auswahl gestellt: 

Image

Klassisch geht man den Weg mit Option 1, wo das Management über ein einziges Repository laufen soll. Für fortgeschrittenere und speziellere Fälle können die Optionen 2 und 3 gewählt werden. Es sei außerdem zu erwähnen, dass auch Projekttypen mittendrin, falls nötig, geändert werden können.

Testsuites und Testfälle

Will man mehr Details zu Testfällen innerhalb eines Projekts haben, drückt man auf einen der Projekt-Ordner. In diesem Ordner werden dann unter anderem grafisch die durchgelaufenen Testfälle mit dem jeweiligen Status zu einem bestimmten Zeitpunkt angezeigt:

Image

Geht man nun auf den Reiter “Test Cases“, bekommt man eine Gesamtübersicht aller Testfälle für dieses Projekt. Da aber die Test-Suite meist im Laufe der Zeit immer größer und damit unübersichtlicher wird, ist es auch in diesem Abschnitt möglich und ratsam, die Testfälle entsprechend zu gruppieren: 

Image

Beim Klicken einer dieser Testfälle erhält man die einzelnen Details dazu. Sind Änderungen gewünscht, können diese angepasst werden, wie beispielsweise der Name des Testfalls, Vorbedingungen (Preconditions), Steps (Schritte) und Vieles mehr:

Image

Sind Änderungen an Testfällen vorgenommen worden, können diese via “History“ mit Name und Zeitpunkt zurückverfolgt werden:

Image

Testdurchlauf

Um einen Überblick zu dem aktuellen Teststatus einer Suite zu bekommen, können wir dies über den Reiter “Test Runs & Results“ tun. Hier können wir sehen, wann und von wem die Suite das letzte Mal ausgelöst wurde sowie einen Balken mit dem prozentualen Anteil der insgesamt erfolgreich durchgelaufenen Testfällle:

Image

Sobald man einen neuen Testlauf hinzufügen bzw. starten will, gibt es neben den Eingaben wie beispielweise dem Testnamen oder der Personenzuweisung sogar die Möglichkeit anzugeben, ob alle Testfälle einbezogen werden sollen oder nur eine handverlesene Auswahl:

Image

Ist der neue Testlauf erstellt worden, bekommt man eine Übersicht dazu präsentiert:

Image

Ist einmal der Testlauf durchgeführt worden, kann anschließend der Status für diesen Testfall hinzugefügt werden inklusive einem Kommentar, warum beispielsweise der Testfall fehlgeschlagen ist etc.

Image

Es ist aber auch zu erwähnen, dass der Status völlig individuell angepasst werden kann.
In der Übersicht würde dann beispielsweise für einen erfolgreichen Testlauf das Tortendiagramm entsprechend grün eingefärbt bzw. mit einem grünen “P“ bei der ausgeführten Suite versehen werden:

Image

Fehlerintegration

Bei Bug-Reports ist es möglich, diese von Testrail aus direkt nach Jira hin zu übertragen, was auch entsprechend formatiert angezeigt wird:

Image

Testplan

Eine Funktionalität, die nicht fehlen darf, sind Testpläne. Will man die Tests beispielsweise gegen verschiedene Browser hin testen, so lässt sich das in Testplänen organisieren:

Image

Ist der Testplan durchgelaufen, so kann dieser über die dreifach überlappten Kacheln als solcher erkannt werden:

Image

Reports

Testrail bietet folgende Arten von Reports:

• Cases - Activity Summary: Eine Zusammenfassung von neuen und aktualisierten Testfälle

• Cases - Coverage for References: Darstellung der Testabdeckung für Referenzen in einer Abdeckungsmatrix

• Cases - Property Distribution Report: Eine Zusammenfassung von Testfällen gruppiert nach auswählbaren Attributen

• Cases - Status Tops: Gruppiert nach dem Status, die Darstellung der Testfälle nach der größten Resultatmenge für die ausgewählten Status

• Defects - Summary: Zusammenfassung der gefundenen Bugs für Meilensteine, Testpläne und Testdurchläufe

• Defects - Summary for Cases: Zusammenfassung gefundener Bugs für Testfälle in einer Abdeckungsmatrix

• Defects - Summary for References: Zusammenfassung gefundener Bugs für Referenzen und deren Testfälle in einer Abdeckungsmatrix

• Results - Comparison for Cases: Darstellung der Ergebnisse in einer Abdeckungs- und Vergleichsmatrix

• Results - Comparison for References: Darstellung der Ergebnisse für Referenzen in einer Abdeckungs- und Vergleichsmatrix

• Results - Property Distribution: Zusammenfassung von Tests, gruppiert nach auswählbaren Attributen, für ein gegebenes Projekt, für ein Meilenstein oder für spezifische Testläufe

• Summary - Milestone: Zusammenfassung und Überblick für ein Meilenstein

• Summary - Plan: Zusammenfassung und Überblick für ein Testplan

• Summary - Project: Zusammenfassung und Überblick für das Projekt

• Summary - Run: Zusammenfassung und Überblick für ein oder mehrere Testdurchläufe

• Users - Workload Summary: Darstellung der aktuellen Arbeitsauslastung von Nutzern für das gesamte Projekt, einen bestimmten Meilenstein oder für ausgewählte Testdurchläufe

Vorteile von Testrail

• Zentrale Testverwaltung aller Testfälle, -pläne, -läufe und -ergebnisse

• Sehr intuitive GUI

• Eine große Bandbreite an Integrationsmöglichkeiten von Automatisierungstools, wie beispielsweise Playwright oder Selenium

• Eine große Bandbreite an Integrationsmöglichkeiten von CI/CD-Tools, wie beispielsweise Jenkins oder Azure DevOps

• Eine große Bandbreite an Integrationsmöglichkeiten von Fehlerverwaltungstools, wie beispielsweise Jira, Asana oder Redmine

• Detaillierte Berichte und Analysen

• Teamübergreifende Funktionen, wie Testfälle, Kommentare und Ergebnisse im Team zu teilen

• Anpassungsfähigkeit von Feldern, Workflows und Testplänen nach individuellen Anforderungen

Nachteile von Tosca

• Hohe Lizenzkosten
  • Tosca gehört zu einem der teuersten Testautomatisierungstools auf dem Markt
  • Für kleinere Unternehmen eher unrentabel
• Eingeschränkte Flexibilität
  • Für Entwickler, die sich mehr Eigenkontrolle via Code wünschen, ist dieses Tool weniger geeignet
• Höherer Ressourcenverbrauch
  • Da es sich bei Tosca um eine große Suite handelt, die allerlei Nebenfunktionen mitbringt, benötigt es eine leistungsfähigere Infrastruktur, insbesondere für große Testumgebungen mit vielen parallelen Testläufen
• Eingeschränkte Open-Source Integration
  • Während Tosca gut in kommerzielle Lösungen wie beispielsweise SAP oder Azure DevOps integriert ist, ist die Integration zu Open-Source-Tools wie beispielsweise Selenium oder Playwright eingeschränkt.
• Proprietäre Technologie (Vendor Lock-in)
  • Ist erst einmal eine Testautomatisierung mit Tosca aufgesetzt worden, so kann diese nicht oder nur mit sehr viel Aufwand auf andere Tools übertragen werden
• Eingeschränkte Unterstützung durch die Community
  • Da es sich um kein Open-Source-Projekt handelt, kann die Community nur bedingt einem behilflich sein. Jedoch steht einem der offizielle Support zur Rat und Tat zur Verfügung
• Performance-Einbußen bei großen Testobjekten
  • Bei sehr großen und komplexen Testfällen kann die Performance rapide einknicken

Alternativen zu Testrail

• Xray

• Zephyr

• Testmo

• PractiTest

• qTest

• TestLodge

Fazit zu Testrail

Im Bereich des Testmanagements platziert sich Testrail zu seiner Konkurrenz als ein sehr solides Tool, das eine Reihe an praktischen Funktionen mit sich bringt, wie eine ansprechende GUI, eine allgemein zentrale Testverwaltung, zahlreiche Integrationsmöglichkeiten, ein umfangreiches Reporting, Kollaborationsmöglichkeiten sowie diverse Anpassungsfähigkeiten für individuelle Anforderungen. 
Drawbacks sind jedoch die Lizenz, die teils aufwändige Integration von Tools sowie die Fluktuation der Performance beispielsweise bei Testberichten für große Projekte. Wen die eben aufgelisteten Nachteile für sein eigenes Projekt nicht zu Lasten fallen, aber man unter anderem sehr stark auf diverse Integrationen und Möglichkeiten des Reportings setzen möchte, ist mit Testrail sehr gut bedient.

FAQ - Testrail

Q: Für wen eignet sich TestRail?

TestRail eignet sich für QA-Teams, die eine strukturierte Testverwaltung benötigen. Es ist besonders nützlich für manuelle Tests und Unternehmen, die Testfälle über mehrere Releases hinweg nachverfolgen möchten.

Q: Kann TestRail mit Testautomatisierungstools integriert werden?

Ja, über die TestRail API können Automatisierungstools wie Playwright, Selenium und Cypress angebunden werden. Allerdings ist die native Unterstützung für automatisierte Tests begrenzt.

Q: Funktioniert TestRail mit Jira?

Ja, TestRail bietet eine Jira-Integration, mit der Testergebnisse direkt mit Jira-Tickets verknüpft werden können.

Q: Ist TestRail kostenlos?

Nein, TestRail ist ein kostenpflichtiges Tool. Es gibt eine 14-tägige Testversion, danach ist eine Lizenz erforderlich.

Q: Gibt es eine Cloud- und eine On-Premise-Version?

Ja, TestRail kann entweder als Cloud-Service (SaaS) oder On-Premise auf eigenen Servern gehostet werden.

Q: Ist TestRail für große Teams geeignet?

Ja, aber bei sehr großen Projekten kann es Performance-Probleme geben und die Kosten steigen mit der Anzahl der Benutzer.