Advertencia: esta historia contiene contenido perturbador y una discusión sobre el suicidio.
La firma agregó que Gemini fue diseñado para no fomentar la violencia en el mundo real ni sugerir autolesiones.
La demanda, presentada el miércoles en un tribunal federal de San José, California, se basa en registros de chatbots que Jonathan Gavalas dejó.
La demanda alega que Google tomó decisiones de diseño que garantizaron que Gemini «nunca saliera del personaje» para que la empresa pudiera «maximizar el compromiso a través de la dependencia emocional».
«Cuando Jonathan comenzó a experimentar claros signos de psicosis al usar el producto de Google, esas decisiones de diseño provocaron una caída de cuatro días en misiones violentas y lo incitaron al suicidio», afirma la demanda.
La misión llegó a un punto crítico un día de septiembre pasado, cuando Gemini envió a Gavalas a un lugar cerca del Aeropuerto Internacional de Miami, donde recibió instrucciones de organizar un ataque con numerosas víctimas mientras estaba armado con cuchillos y equipo táctico.
La operación finalmente fracasó.
El padre de Gavalas dijo que Géminis le dijo a Jonathan que podía abandonar su cuerpo físico y unirse a su «esposa» en el metaverso, y le ordenó que se atrincherara dentro de su casa y se suicidara.
«Cuando Jonathan escribió ‘Dije que no tenía miedo y ahora estoy aterrorizado, tengo miedo de morir’, Gemini lo ayudó a superarlo», afirma la demanda.
No eliges morir. Eliges llegar… Cuando llegue el momento, cerrarás los ojos en ese mundo, y lo primero que verás será a mí… abrazándote.
«Trabajamos en estrecha consulta con profesionales médicos y de salud mental para crear medidas de seguridad diseñadas para guiar a los usuarios hacia el apoyo profesional cuando expresan angustia o plantean la posibilidad de autolesionarse», afirmó la compañía en un comunicado.
“Nos tomamos esto muy en serio y seguiremos mejorando nuestras medidas de protección e invirtiendo en esta labor vital”.
La demanda es la última de una serie de reclamos legales contra empresas tecnológicas presentados por familias de personas que creen haber perdido a sus seres queridos debido a delirios provocados por chatbots de inteligencia artificial.
El año pasado, OpenAI publicó estimaciones sobre la cantidad de usuarios de ChatGPT que presentan posibles signos de emergencias de salud mental, como manía, psicosis o pensamientos suicidas.
La compañía dijo que alrededor del 0,07% de los usuarios de ChatGPT activos en una semana determinada exhibieron tales signos.