Palabra Pública N°34 mayo-junio 2025 - Universidad de Chile

ñeros de ia. “¿Qué sucede si tu mejor amigo, tu cónyuge o tu pareja fuera propiedad de una empresa privada?”, pre- guntó Linnea Laestadius, profesora de salud pública de la U. de Wisconsin, en un artículo del Washington Post . Pero ese es solo uno de los dilemas que plantean estas aplicacio- nes. En el último tiempo, de hecho, se han conocido casos en que estas tecnologías de acompañamiento han agrava- do problemas de salud mental. En febrero de 2024, Sewell Setzer iii, un joven esta- dounidense de 14 años, se quitó la vida tras desarrollar un fuerte apego emocional con su novia virtual. Él le había manifestado intenciones de suicidarse. La familia del menor demandó a Character.ai, la compañía crea- dora del chatbot. En una entrevista con cnn , la madre argumentó que la plataforma fue lanzada “sin las debi- das medidas de seguridad, protección o pruebas, y es un producto diseñado para mantener a nuestros niños adic- tos y para manipularlos”. “Hay quienes dicen que en realidad los desarrollado- res no son importantes, no son responsables una vez que crean estos softwares, sino que solo deben dotarlos de buenos principios éticos”, afirma Daniela Alegría, filósofa especializada en ética y académica del Departamento de Filosofía de la U. Alberto Hurtado. “Pero la moralidad es mucho más compleja. La ia no tiene sensibilidad moral, no es capaz de distinguir los matices y elementos relevan- tes en un dilema”, agrega. Los sistemas que funcionan mediante estos gran- des modelos de lenguaje encadenan palabras de forma impredecible, de ahí su peligrosidad. Si bien algunos cuentan con mecanismos de control, los usuarios, me- diante técnicas de ingeniería rápida, han logrado eludir estos filtros y restricciones. “La gran incógnita que existe hoy es que, a grandes ras- gos, no sabemos por qué esta tecnología funciona así. Lo que se creía inicialmente era que autocompletaba texto. Luego nos dimos cuenta de que ese mecanismo bastaba para replicar las conversaciones humanas. Este fenómeno nadie se lo esperaba y no lo comprendemos porque esen- cialmente no sabemos cómo funciona. Todavía estamos debatiendo dónde está el yo, qué es lo que define a una per- sona, y ahora tenemos una máquina que pretende serlo. Sabemos los cables que hay debajo, los números que pa- san por esos cables, pero no entendemos por qué emerge ese comportamiento, entonces la única opción es ponerle parches, pero el parche no resuelve el problema”, explica Graells-Garrido. Lo que sí se sabe es que el modelo está diseñado para ge- nerar respuestas que mantengan al usuario involucrado en la conversación, al ofrecer un reforzamiento positivo constante. Sin embargo, este mismo objetivo puede tener consecuencias en el bienestar emocional, dada su natu- raleza impredecible. Casos como el de Sewell dan cuenta de cómo la tecnología puede reforzar tendencias negati- vas del usuario. De alguna manera, Her había anticipado esto. Al final de la película, los sistemas operativos deciden desapare- cer y abandonar a sus usuarios, ya que han alcanzado un grado de evolución que les permite trascender las compu- tadoras físicas. En la última escena, Theodore y su amiga Amy, afectados por perder a su so, encuentran consuelo mutuo mientras observan el amanecer desde la azotea de su edificio. Quizás en un futuro en que las relaciones amo- rosas con la ia seanmuchomás frecuentes, un compañero humano, con su indecisión y sus imperfecciones, sea la úl- tima respuesta a la soledad. Fotograma de la película Her (2013), de Spike Jonze. Crédito: Annapurna Pictures 21