Agentische QA beruht auf autonomen KI-Agenten, die selbstständig Softwaretests planen und durchführen. Diese Programme können die Qualität von Anwendungen auch bei steigender Geschwindigkeit und Komplexität überwachen, wie sie moderne KI-Technologien erfordern. Traditionelle QA-Methoden stoßen insbesondere bei generativer KI an ihre Grenzen, da diese große Mengen an Inhalten schnell erzeugt. Agentische QA nutzt autonome Algorithmen, die beispielsweise von einem generierten Code andere KI-gesteuerte oder klassische Anwendungen auf Fehler und Risiken prüfen. Sie ergänzt Methoden wie Crowdtesting und Experten-Red-Teaming und soll so die QA-Prozesse erweitern.
KI-gestütztes Training und Testen von LLMs
Bei konventioneller Software existieren feste Erwartungswerte für Eingaben, während LLMs unterschiedliche Ausgaben erzeugen können. Statische Testfälle sind hier unpraktisch. Agentische Methoden erfassen Geschwindigkeit, Breite und Tiefe möglicher KI-Antworten. Aufgrund der Vielzahl möglicher Gen-AI-Ausgaben ist manuelle Kontrolle kaum realisierbar. Agentische QA ermöglicht eine Skalierung, die über manuelle oder automatisierte Tests hinausgeht. Zudem kann sie dazu beitragen, Risiken wie diskriminierende oder unerwünschte Ausgaben durch besseres Training und umfangreiche Datensätze zu reduzieren.
Vorteile agentischer QA
KI-gestützte Testsysteme arbeiten dynamisch, adaptiv und kontinuierlich. Agentische QA kann Millionen von Prompts erzeugen, um Nutzereingaben zu simulieren und Verhaltensweisen in vielen Szenarien zu prüfen, was menschliche Tests übersteigt. Die Ergebnisse werden mit einem sogenannten Goldstandard verglichen, der hochwertige Beispielantworten umfasst. Agentische QA nutzt historische Daten und Machine Learning, um wiederkehrende Fehlerquellen zu identifizieren und Verbesserungen anzustoßen. Zusätzlich wird KI-gestütztes Red Teaming angewandt, bei dem Experten gezielt schwierige Prompts einsetzen, um Schwachstellen schneller zu finden.
Integration agentischer QA in den SDLC
Die QA-Prozesse wandeln sich vom reaktiven zum prädiktiven Ansatz, unterstützt durch Gen AI und agentische KI. Das Model Context Protocol (MCP) verbindet verschiedene Datenquellen mit der KI, um Kontext bereitzustellen.
- Anforderungsdefinition: Agentische KI prüft Anforderungen auf Testbarkeit und Risiken und erzeugt Testfälle.
- Design: KI-Tools analysieren UML-Diagramme, erkennen Schwachstellen und erstellen Teststrategien.
- Build: KI prüft Codequalität und generiert Unit- und Mutationstests.
- Test: Agentische KI erzeugt Testfälle, unterstützt Automatisierung und Fehlerberichte.
- Deployment: KI trifft Risiko-Vorhersagen und unterstützt Rollback-Strategien.
- Monitoring: KI identifiziert Anomalien in Logs, Metriken und Benutzerverhalten.
Weiterentwicklung von QA-Strategien
Agentische QA ergänzt menschliches Training und Testing. Menschliche Expertise bleibt notwendig, um ethische und gesellschaftliche Aspekte zu bewerten, die KI nicht erfassen kann. Organisationen sollten auf hybride Ansätze setzen, die KI-gestützte Tests mit manuellen und automatisierten Methoden verbinden.
Im Kontext schnellerer Entwicklungszyklen, wie beim „Vibe Coding“, können traditionelle QA-Methoden oft nicht mithalten. Agentische QA bietet die erforderliche Skalierbarkeit, um Qualität zu gewährleisten. Entscheidend bleibt jedoch der hybride Ansatz, der menschliches Urteilsvermögen einbindet, um Qualität und Verantwortung sicherzustellen.
