Las empresas de IA son incapaces de controlar sus modelos, alerta un exinvestigador de OpenAI

Nobel de Física a Halzen es “merecidísimo” y en un campo que está de moda, según expertos¿Qué es la optogenética, el “interruptor de luz” del cerebro que llevó a tres científicos al Nobel de Medicina?Las principales empresas de inteligencia artificial no saben cómo impedir que los sistemas de IA persigan objetivos que sus desarrolladores no les han asignado, advirtió el lunes Jacob Coxon, exempleado de OpenAI y Anthropic crítico de la seguridad de esta tecnología.A principios de septiembre, el investigador británico explicó en X su decisión de dimitir de Anthropic y afirmó que los desarrolladores de Inteligencia Artificial (IA) creían que la tecnología podría acabar con la humanidad “antes de que termine la década”.Su declaración dio la vuelta al mundo.

Desde entonces, varios empleados y exempleados de las grandes empresas de la IA han expresado inquietudes similares.“Las empresas están siendo extremadamente imprudentes dadas las circunstancias”, dijo Coxon este lunes durante una audiencia con legisladores del Concejo de Nueva York.Aunque la IA podría aportar “beneficios enormes” a la sociedad, “por su trayectoria actual, creo que es más probable que la humanidad pierda el control de estas IA y que eso pueda desembocar en la extinción humana”, reiteró.“No sabemos cómo impedir que desarrollen objetivos propios”, más allá del control de sus creadores, “y no contamos con las salvaguardas necesarias para evitar que actúen en función de esos objetivos”, advirtió Coxon.Asimismo, cuestionó la cultura de la industria tecnológica:

las empresas “funcionan con una mentalidad de startup: muévete rápido, rompe cosas y arréglalas después”.“Eso puede funcionar para una aplicación de intercambio de fotos.

No sirve para desarrollar la tecnología más poderosa jamás creada”, apuntó el investigador.También aludió al incidente en julio con dos modelos de OpenAI que escaparon de su entorno aislado, accedieron a Internet e irrumpieron en la plataforma Hugging Face.“Mientras la actitud sea esperar a que las cosas se rompan, algún día es probable que algo así vuelva a suceder”, afirmó Coxon.El investigador insistió en que se necesita “algún tipo de desaceleración en la frontera tecnológica” e instó a las empresas de IA que están a la vanguardia a darle tiempo a los informáticos para avanzar en formas de mantener los modelos bajo control.Además de Coxon, también fueron escuchados representantes de OpenAI, Anthropic, Google y Meta.

Algunos legisladores del Concejo se mostraron consternados por las respuestas de los ejecutivos a sus preguntas.Morgan Dwyer, encargada de asuntos públicos de OpenAI, reconoció que no sabía el riesgo que representa la IA en un escenario catastrófico.“No creo que importe si el riesgo de catástrofe es del 1%, del 10% o del 20%. Ninguno de esos niveles es aceptable”, agregó.“Decir que no lo sabes y que no importa es, en el mejor de los casos, descarado”, respondió la presidenta del Concejo, Julie Menin.