how perform post release testing effectively
Als ich meine Karriere als QS begann, arbeitete ich mit einem Unternehmen zusammen, das seine Produkte als SaaS anbot. Produktionsfreigaben waren kritisch und es bestand die Möglichkeit, die Funktionalität für die Live-Clients zu beeinträchtigen.
Als unser Kundenstamm wuchs, um das Risiko zu managen und die Auswirkungen der Veröffentlichung auf Live-Kunden zu minimieren, übernahm das QA-Team die Testpraxis nach der Veröffentlichung.
Das war alles neu für mich und ich hatte so viele Fragen und Zweifel im Kopf:
- Was ist ein Test nach der Veröffentlichung?
- Ich habe alles richtig getestet. Warum müssen wir Tests nach der Veröffentlichung durchführen?
- Teste ich alles noch einmal? Was genau mache ich bei der Überprüfung nach der Veröffentlichung?
- Was passiert, wenn ich ein Problem finde? Usw.
Ich gebe gerne zu, dass ich alle meine Antworten in meinen ersten Produktionsveröffentlichungen gefunden habe.
Hier teile ich dieses Wissen mit euch allen. Ich habe mich entschieden, den Artikel in einem Frage-Antwort-Format zu schreiben, um Ihnen zu zeigen, wie ich die Antworten gefunden habe.
Was du lernen wirst:
- Was ist die Überprüfung der Freigabe nach der Produktion?
- Welche Aufgaben und Aktivitäten sind in der Überprüfungsphase nach der Veröffentlichung enthalten?
- Muss ich alles noch einmal testen?
- Wie formuliere ich eine Strategie zur Überprüfung der Freigabe nach der Produktion?
- Wer erstellt den Testplan für die Veröffentlichung nach der Produktion?
- Wer genehmigt den Testplan für die Freigabe nach der Produktion?
- Wann erstelle ich den Überprüfungsplan für die Freigabe nach der Produktion?
- Ich habe die Überprüfung der Postproduktionsfreigabe abgeschlossen. Was kommt als nächstes?
- Was passiert, wenn ich ein Problem finde?
- Was muss ich noch über den Überprüfungsprozess für die Freigabe nach der Produktion wissen?
- Fazit:
- Literatur-Empfehlungen
Was ist die Überprüfung der Freigabe nach der Produktion?
Per Definition, Post meint Nach dem , Produktionsfreigabe bezieht sich auf die Bereitstellung zu LIVE / Produktionsumgebungen und Überprüfung beinhaltet Stellen Sie sicher, dass die freigegebenen Funktionen den Anforderungen entsprechen .
Empfohlene Lektüre=> So bereiten Sie die „Testumgebung“ effektiv vor, bevor Sie mit dem Test beginnen
Ziel ist es, die Freigabe in Produktions- / LIVE-Umgebungen zu überprüfen.
So öffnen Sie die Shockwave-Flash-Datei
Dann stellen sich aber die Fragen:
- Warum müssen wir Release-Tests nach der Produktion durchführen, wenn ich alles in einer QS-Umgebung getestet habe?
- Warum erwarten wir Probleme bei der Produktion, obwohl wir die Version in der Testumgebung gründlich getestet haben?
Es gibt viele Gründe, warum wir Probleme mit der Produktion haben würden, obwohl wir möglicherweise vollständig gefolgt sind Qualitätssicherungsprozess (d.h. Testplanung , Testplanüberprüfung, Testzyklus, Regressionstests usw.)
Gründe, warum wir Probleme mit der Produktion haben würden:
1) Datenproblem - Die in Produktions- und Testumgebungen verfügbaren Daten können variieren. Dies kann dazu führen, dass einige Eckfallprobleme in Testumgebungen übersehen werden.
2) Bereitstellungsproblem - Wenn Ihr Unternehmen über einen manuellen Build-Bereitstellungsprozess verfügt, ist Ihre Version möglicherweise anfälliger für Bereitstellungsprobleme. Einige häufige Szenarien können fehlende Konfigurations- oder Standorteinstellungen, fehlende DB-Skripte, nicht eingehaltene Bereitstellungsreihenfolge (zuerst Code, dann DB usw.), falsch installierte Abhängigkeiten usw. sein.
Lesen Sie auch=> Was der QS-Tester über den Bereitstellungsprozess wissen sollte
3) Wirkungsbereiche nicht identifiziert - Es kann einige Szenarien geben, in denen die betroffenen Bereiche vom Team möglicherweise nicht korrekt und vollständig identifiziert wurden.
Zum BeispielBetrachten Sie a SaaS Umgebung.
Wenn das Team die Auswirkung einer neu faktorisierten DB-Tabelle auf einen Client unter Verwendung eines älteren Tabellenschemas nicht identifiziert hat (z. B. Datenverlust, Notwendigkeit für Datenmigration vor der Veröffentlichung usw.) usw. Dieses Problem tritt bei gut geplanten Projekten mit genauen Anforderungen seltener auf. Die Möglichkeit besteht jedoch weiterhin.
4) Unbekannte Aufprallbereiche - Dies kann auftreten, wenn der Umfang und die betroffenen Bereiche der Version nicht bekannt sind. In einem Unternehmen mit mehreren Softwareprodukten, die eine gemeinsame Datenbank und Architektur verwenden, kann beispielsweise bereits eine kleine Änderung die Funktionalität vieler Produkte beeinträchtigen.
Welche Aufgaben und Aktivitäten sind in der Überprüfungsphase nach der Veröffentlichung enthalten?
Zu den Aufgaben und Aktivitäten für die Freigabe nach der Produktion gehören im Allgemeinen:
- Überprüfung der Freigabe nach der Produktion
- Überprüfungsergebnisse melden
- Meldung von Problemen in der Produktion
- Bereinigung der Überprüfungsdaten nach der Veröffentlichung
- Überwachung nach der Freigabe (falls zutreffend)
Muss ich alles noch einmal testen?
Nicht unbedingt. Dies hängt vom freizugebenden Build und der Auswirkungsanalyse ab.
Detaillierte Tests sollten während des regulären QS-Zyklus durchgeführt werden. Die Überprüfung nach der Freigabe sollte erfolgen, indem ein Testplan zur Überprüfung der Freigabe nach der Produktion befolgt wird, der eine Ableitung des vollständigen Testplans für diese Version sein sollte.
Wie formuliere ich eine Strategie zur Überprüfung der Freigabe nach der Produktion?
Die Planung zur Überprüfung der Freigabe nach der Produktion muss auf ähnliche Weise erfolgen wie Ihre reguläre Testplanung.
Die Strategie sollte auf den gleichen Linien liegen wie der Testfluss, der während des QS-Zyklus verfolgt wird. Es ist wichtig, die wichtigsten und kritischsten Schritte einzubeziehen, die eine maximale Funktionsabdeckung ermöglichen.
So öffnen Sie die JNLP-Datei in Windows 10
Eine gute Release-Strategie für die Postproduktion sollte:
- Fügen Sie Schritte zum Testen neuer Funktionen sowie der wichtigsten vorhandenen Funktionen hinzu
- Überprüfen Sie die Hauptwirkungsbereiche
- Ermöglichen Sie maximale Funktionsabdeckung
- Optional: Fügen Sie alle kritischen Fehler hinzu, die in der Testumgebung gefunden wurden
- Optional: Geben Sie die Priorität der Testfälle an
Wer erstellt den Testplan für die Veröffentlichung nach der Produktion?
Dies ist von Unternehmen zu Unternehmen unterschiedlich und hängt von der Organisationsstruktur ab.
Nehmen wir ein Beispiel für die folgende QA-Teamorganisation.
In diesem Szenario formuliert die Qualitätssicherung, die an dem spezifischen Projekt arbeitet, den ersten Testplan für die Freigabe nach der Produktion.
Wer genehmigt den Testplan für die Freigabe nach der Produktion?
Dies ist von Unternehmen zu Unternehmen unterschiedlich und hängt von der Organisationsstruktur ab.
Unter erneuter Berücksichtigung der gleichen Organisationsstruktur wie in der vorherigen Frage sollte der Testplan für die Freigabe nach der Produktion von überprüft und genehmigt werden der Testleiter oder QS-Manager .
Wann erstelle ich den Überprüfungsplan für die Freigabe nach der Produktion?
Der Testplan für die Freigabe nach der Produktion kann jederzeit während des Softwareentwicklungszyklus erstellt werden, nachdem die Anforderungen, der Entwicklungsumfang und die Wirkungsbereiche identifiziert und gesperrt wurden. In der Regel ist es für die Qualitätssicherung einfacher, den Testplan für die Veröffentlichung nach der Produktion in der Mitte des Sprints zu erstellen. Dies stellt sicher, dass genügend Zeit für die Überprüfung und Genehmigung vorhanden ist.
Es wird empfohlen, diesen Testplan zusammen mit einem beliebigen Testplan beizufügen formelle QS-Abmeldedokumente bevor das Projekt in die Bereitstellungs- und Freigabephase eintritt.
Ich habe die Überprüfung der Postproduktionsfreigabe abgeschlossen. Was kommt als nächstes?
Nach Abschluss der Überprüfung nach der Veröffentlichung sind die nächsten Schritte
1) Übermittlung der Überprüfungsergebnisse - Die Überprüfungsergebnisse sollten den Stakeholdern mitgeteilt werden, einschließlich etwaiger Probleme, die bei der Produktion festgestellt wurden.
2) Melden von Produktionsproblemen im Fehlermanagement-Tool - Zu Erleichterung der Ursachenanalyse und Rückverfolgbarkeit .
3) Bereinigung der Daten nach der Freigabe - Die Datenbereinigung muss nach Abschluss der Überprüfung durchgeführt werden.
Zum BeispielBetrachten Sie a Release für eine E-Commerce-Anwendung und sagen Sie, Sie haben einen Testauftrag für die Produktion erstellt. Dieser Testauftrag muss nach Abschluss der Überprüfung storniert werden.
4) Überwachung der Freigabe nach der Produktion (falls zutreffend) - Einige Releases erfordern eine Überwachung der Produktion.
Zum BeispielWenn das Team Verbesserungen vorgenommen hat, um die Ladezeiten der Seite in der Anwendung zu verbessern, muss dies über einen bestimmten Zeitraum überwacht werden, um sicherzustellen, dass die Verbesserung tatsächlich nach der Veröffentlichung sichtbar wird. Die für die Überwachung verantwortlichen Personen sollten eindeutig identifiziert und kommuniziert werden.
Was passiert, wenn ich ein Problem finde?
Alle Probleme sollten in der gemeldet werden Fehlermanagement-Tool und an die Stakeholder kommuniziert. Wenn bei der Produktion kritische Probleme auftreten, sollte die Kommunikation der Ergebnisse sofort erfolgen, da eine Entscheidung getroffen werden müsste, wenn der Build zurückgesetzt werden muss, um das Problem weiter zu untersuchen.
Es ist wichtig, dass alle gefundenen Probleme im Fehlerverfolgungstool gemeldet werden. Es wird empfohlen, diese als separaten Problemtyp (z. B. Post Production Bug) auszulösen, um die Trennung von regulären QA-Zyklusfehlern anzuzeigen. Diese Probleme können bei Bedarf einfach herausgefiltert werden, um die Ursachen zu analysieren.
Erstellen Sie eine Kopie eines Arrays
Was muss ich noch über den Überprüfungsprozess für die Freigabe nach der Produktion wissen?
Neben dem eigentlichen Überprüfungsprozess, Plan und der Strategie für die Freigabe nach der Produktion sind im Folgenden einige Hinweise aufgeführt:
- Es ist wichtig, klare Erwartungen hinsichtlich Umfang und Zweck der Überprüfung nach der Veröffentlichung festzulegen. Stakeholder (intern und extern) sollten auf Folgendes aufmerksam gemacht werden
- Das Team kann nicht alles in der Produktion testen
- Das Team kann die Testtage nicht auf wenige Stunden beschränken, die für die Überprüfung nach der Veröffentlichung vorgesehen sind
Daher würde die Prüfung der Produktion im Wesentlichen auf einem genehmigten Testplan für die Freigabe nach der Produktion basieren.
Einschränkungen::
Vorsicht ist geboten während Sie über den Umfang der Release-Tests nach der Produktion entscheiden. Es gibt Einschränkungen, was und wie viel wir tatsächlich in der Produktion testen können. Die Produktionsumgebung verfügt über Live-Kundendaten und muss sehr sorgfältig behandelt werden. Zusätzliche Änderungen sollten für Änderungen vorgenommen werden, die Datenmigration, Aktualisierung, Löschung usw. umfassen.
Beispiel 1): Wenn für ein eSurvey-Unternehmen das Testen die Beantwortung und Übermittlung der Umfrage umfasst, muss die Qualitätssicherung nach der Überprüfung eine Anforderung zum Löschen der Testumfrage senden, um keine Auswirkungen auf die Daten der Kundenumfragesammlung und deren Statistiken zu haben.
IS Beispiel 2): Nehmen wir für ein E-Commerce-Unternehmen an, dass ein SQL-Job zur Preisaktualisierung jeden Tag um Mitternacht ausgeführt wird und den endgültigen Preis auf die Website hochlädt. Wir können diese SQL nicht mehrmals bei Bedarf ausführen, um sie nach der Veröffentlichung zu überprüfen, da dies dazu führen kann, dass nicht finalisierte Daten in die Produktion übertragen werden.
Darüber hinaus kann es die Chancen erhöhen DB Deadlocks und hoher Verbrauch von CPU- und Speicherressourcen während der Hauptgeschäftszeiten, was sich auf die Leistung der Clientanwendung auswirken kann.
- Der Aufwand für Tests nach der Veröffentlichung und alle damit verbundenen Aktivitäten sollte eingebaut und in den Projektplan aufgenommen werden. Abhängig von den Geschäftsregeln und Projektspezifikationen kann dies als Projekt-Overhead betrachtet oder in den QS-Zyklus aufgenommen oder als Teil des Release-Management-Plans aufgenommen werden.
- Für die Probleme, die während der Überprüfung nach der Veröffentlichung gemeldet werden, sollte eine Ursachenanalyse durchgeführt werden, um herauszufinden, warum das Problem nicht frühzeitig erkannt wurde und was beim nächsten Mal besser gemacht werden kann, um zu vermeiden, dass das Problem auftritt. Die Ursachenanalyse kann dem Team helfen, aus diesen früheren Problemen zu lernen und Lücken in der Implementierung zu schließen. Basierend auf der Organisationsstruktur kann der Testleiter oder QS-Manager die Ursachenanalyse mit Eingaben des Projektteams abschließen. Einige häufige Ursachen können ein Codierungsproblem, ein Anforderungsproblem, ein Designproblem, ein Datenproblem, Einschränkungen von Drittanbietern, ein fehlendes Testszenario usw. sein. Entsprechende Korrektur- und Vorbeugungsmaßnahmen können erstellt und nachverfolgt werden.
- Serverprotokolle kann auch verwendet werden, um den Build nach der Veröffentlichung zu überwachen. Serverprotokoll kann Ereignisse oder Probleme enthalten, die für den Kunden möglicherweise nicht sichtbar sind, aber Probleme im Backend verursachen. Diese Überwachung kann dem Dev-Lead und dem DevOps-Team als Aktionselement zugewiesen werden.
Ein Beispiel::
Projektübersicht:
Folgende Änderungen müssen an einer Social-Media-Anwendung vorgenommen werden, insbesondere am Anmeldevorgang
- Die Validierung des Nachnamenfelds muss entfernt werden. Es wurde zuvor implementiert als 'Nachname sollte mindestens 4 Zeichen haben' (Verbesserung für vorhandenes Feld)
- Implementieren Sie die Umschalttaste neben der E-Mail-Adresse, damit der Benutzer die Datenschutzeinstellungen für die E-Mail-Adresse festlegen kann, die in seinem Profil angezeigt werden sollen (Anforderung neuer Funktionen).
- Der Benutzer sollte in der Lage sein, seinen Avatar auszuwählen (neue Funktionsanforderung).
- Reduzieren Sie API-Aufrufe während des Anmeldevorgangs, um die Anwendungsleistung zu verbessern (Verbesserung)
Plan zur Überprüfung der Freigabe nach der Produktion:
S.No. | Beschreibung | erwartetes Ergebnis | Status | Bemerkungen |
---|---|---|---|---|
1 | Gehe nach Livesiteurl | Die Homepage der Website sollte erfolgreich geladen werden | Bestehen | |
zwei | Klicken Sie auf Als neuer Benutzer anmelden | Der Benutzer sollte zur Registrierungs- / Anmeldeseite weitergeleitet werden | Bestehen | |
3 | Füllen Sie die erforderlichen Felder aus und klicken Sie auf die Schaltfläche Registrieren Hinweis: - Geben Sie den Nachnamen als 'Lee' ein. - Schalten Sie die Datenschutzschaltfläche auf Nicht anzeigen - Ein Avatar | -Benutzer sollten nach erfolgreicher Registrierung auf ihre Profilseite umgeleitet werden. -Benutzernummer sollte nicht angezeigt werden - Der vom Benutzer ausgewählte Avatar sollte angezeigt werden | Teilpass | Avatar wird nicht richtig gerendert und als fehlerhaftes Bild angezeigt. In JIRA als BUG-1088 gemeldet |
4 | Überwachung - Überprüfen Sie, ob sich die Anwendungsleistung nach dieser Version verbessert hat | Die Reduzierung der API-Aufrufe während des Anmeldevorgangs sollte die Anwendungsleistung verbessern | Laufend | Das Team von Dev Lead und Dev Ops überwacht die Anwendung 24 Stunden lang |
5 | Bereinigung nach der Veröffentlichung | Löschen Sie das erstellte Testkonto | Getan |
Fazit:
Bei den meisten Softwareunternehmen jetzt Übernahme der agilen Methodik hat die Anzahl der Produktionsfreigaben zugenommen.
Zum Beispiel, während dem Benutzen Wasserfall-Modell Möglicherweise hat ein Team alle 1,5 Monate eine Produktionsfreigabe. Mit dem Agile-Prozess kann dasselbe Team jetzt alle 2-3 Wochen eine Produktionsfreigabe haben.
Mit jeder Produktionsversion haben wir die Möglichkeit, die Funktionalität der Live-Clients wissentlich oder unwissentlich zu beeinflussen. Die Einführung der Überprüfung der Veröffentlichung nach der Produktion unmittelbar nach der Veröffentlichung kann zusätzliches Vertrauen in die Veröffentlichung schaffen und gleichzeitig das Sicherheitsnetz für das Zurücksetzen der Veröffentlichung bieten, bevor unsere Live-Kunden auf einige Probleme stoßen.
Für Projekte mit hohem Einfluss / Risiko Der Plan zur Überprüfung der Freigabe nach der Produktion kann basierend auf der Priorität des Testszenarios strukturiert werden. Der Test der kritischen Priorität kann zuerst durchgeführt und die Kommunikation an die Stakeholder über Ergebnisse und Probleme gesendet werden. Wenn keine kritischen Probleme gefunden werden, kann die Überprüfung der Freigabe nach der Produktion fortgesetzt werden. Andernfalls muss die Entscheidung für das Rollback getroffen werden, um Ausfallzeiten der Anwendung und Auswirkungen auf Live-Clients zu minimieren.
Zusätzlich, Release-Tests nach der Produktion können automatisiert werden Die Testskripte können bei Bedarf nach jeder Veröffentlichung als Regressionstest ausgeführt werden. Auch hier sollte beim Ausführen der automatisierten Testskripte in der Produktion die gebotene Sorgfalt angewendet werden, da dies Auswirkungen auf Live-Client-Daten und -Funktionalität haben kann.
Die Überprüfung der Freigabe nach der Produktion ist die letzte Verteidigungslinie für jedes Softwareunternehmen. Wenn wir die Probleme nicht erkennen, werden unsere Kunden dies tun und dies kann für den Ruf eines Softwareunternehmens verheerend sein.
Um die Zuverlässigkeit des Produkts zu gewährleisten, ist es wichtig, dass wir die Änderungen, die in der Produktion bereitgestellt werden, unmittelbar nach der Bereitstellung überprüfen.
Über den Autor: Dieser hilfreiche Artikel wurde von Neha B verfasst. Sie arbeitet derzeit als Qualitätssicherungsmanagerin und ist auf die Leitung und Verwaltung von internen und Offshore-QS-Teams spezialisiert.
Teilen Sie unseren Lesern Ihre Teststrategie / Tipps / Erfahrungen für die Veröffentlichung nach der Produktion mit.
Literatur-Empfehlungen
- Beste Software-Test-Tools 2021 [QA Test Automation Tools]
- Testen von Primer eBook Download
- 7-stufige praktische Implementierung manueller Tests vor der Produktionsfreigabe
- Lasttests mit HP LoadRunner-Tutorials
- Praktischer Softwaretest QS-Prozessablauf (Anforderungen an die Freigabe)
- Unterschied zwischen Desktop-, Client Server-Tests und Web-Tests
- Was ist Gammatest? Die letzte Testphase
- Was ist frühes Testen: Früh testen, oft testen, ABER wie? (Ein praktischer Leitfaden)