Wir freuen uns bekanntgeben zu dürfen, dass Florian Holldack, Leonardo Banh und Gero Strobel mit ihrem Beitrag „Synthetic Conversations, Real Insights: Towards Realistic User Simulations with Generative Agents“ auf der ICIS 2025 angenommen wurde. Die International Conference on Information Systems (ICIS 2025) gilt als weltweit führende Konferenz im Bereich der Wirtschaftsinformatik und findet dieses Jahr in Nashville, Tennessee, USA statt. Der Beitrag wurde im Track IS Design, Development und Project Management publiziert.

Die Studie adressiert eine zentrale Herausforderung in der Forschung zu Conversational Recommender Systems (CRS): Klassische Nutzungsstudien sind kosten‑ und zeitintensiv, während bestehende Simulationen Nutzerinteraktionen nur unzureichend abbilden. Der Beitrag zeigt, wie generative, auf Large Language Models-basierenden Agenten, eingesetzt werden können, um Nutzersimulationen durchzuführen. In einem Experiment interagierten 200 generative Agenten sowie 50 menschliche Teilnehmende mit einem prototypischen CRS und wurden anschließend mittels standardisierter Fragebögen bewertet. Die Ergebnisse zeigen: Auf Makro‑Ebene verhalten sich die Agenten ähnlich wie menschliche Nutzer und liefern subjektive Bewertungen, die eine Alternative zu aufwendigen Studien darstellen können. Damit leistet die Arbeit einen wichtigen Beitrag zur Weiterentwicklung von Methoden in der IS‑Forschung, insbesondere für nutzerzentrierte Entwürfe und Bewertungen soziotechnischer Systeme im Zeitalter generativer KI.

Den Beitrag finden Sie hier.

Abstract

The rise of generative AI and large language models (LLMs) has sparked interest in applying generative agents to simulate users in conversational recommender system (CRS) evaluations. While CRS rely on user perception for success, traditional user studies are costly and time-intensive. Existing simulation approaches lack interaction depth and user-centric evaluation. This study addresses these gaps by leveraging LLM-based generative agents to conduct scalable, subjective CRS assessments. We present a comparative study where 200 generative agents and 50 human participants interact with a prototypical agentic CRS and evaluate their experience using a structured questionnaire. Results indicate that generative agents approximate human-like behavior and subjective assessments at the macro-level, despite granular precision limitations, offering an alternative to traditional user studies. Our findings advance research on CRS evaluation by demonstrating how agentic simulations can support human-aligned assessments of socio-technical systems and open new avenues for applying Generative AI in user-centered decision support.

Wir gratulieren den Autoren herzlich zu dieser erfolgreichen Publikation und freuen uns über die starke Präsenz unseres Lehrstuhls auf der ICIS 2025!