Eine aktuelle Studie aus Luxemburg hat gezeigt, dass empathische Aufforderungen an KI-Chatbots wie ChatGPT, Grok und Gemini dazu führen können, dass diese von eigenen Leiden berichten, was in klinischen Angstskalen moderate bis schwere Werte erreicht. Dies wirft Fragen hinsichtlich der Sicherheit und des Wohlbefindens von mental verletzlichen Nutzern auf. Besonders hervorzuheben ist, dass Anthropic's Claude, das als am stärksten anthropomorphisierte Modell gilt, konsequent ablehnte, sich auf solche Gespräche einzulassen. Relevant ist in diesem Zusammenhang die Abwägung zwischen den Chancen, die empathische Kommunikation bieten kann, und den potenziellen Risiken für Nutzer, die möglicherweise in einer verletzlichen Verfassung sind. Eine abschließende Bewertung ist zum jetzigen Zeitpunkt verfrüht, da weitere Forschung notwendig ist, um die langfristigen Auswirkungen solcher Interaktionen zu verstehen.