Herkömmliche Testverfahren funktionieren nicht mit Chatbots und RAG-Anwendungen (Chat with your data)! Der einfache Vergleich eines Outputs mit einer optimalen Antwort ist aufgrund der statistischen Natur von LLMs und ihrer Tendenz zu Halluzinationen unmöglich. Außerdem sind Tests aufgrund der Subjektivität und des Umfangs schwierig. Was macht eine gute Antwort aus und wie reagiert ein Chatbot, wenn man Fragen außerhalb der definierten Regeln stellt? Wir müssen über neue Testtechniken und daraus resultierende KPIs (Key Performance Indicators) nachdenken, um die Zuverlässigkeit, Genauigkeit, Glaubwürdigkeit und Relevanz der Antworten der Chatbots sicherzustellen. Diese Techniken befinden sich noch in der Erforschung und müssen möglicherweise an spezifische Anwendungsfälle angepasst werden.
Wir werden den aktuellen Stand der Forschung in Bezug auf Chatbot-Tests umreißen, eine Reihe von KPIs vorstellen, die für Chatbots wichtig sind, den Stand der Test-Frameworks demonstrieren und mit einem Ausblick auf zukünftige Entwicklungen schließen.