Un grupo de ex empleados y trabajadores anónimos de OpenAI han publicado una carta para advertir de cómo la empresa prioriza los incentivos comerciales por encima de los peligros de desarrollar sistemas de IA cada vez más avanzados. Los firmantes lamentan la cultura interna de secretismo y de cómo la empresa les obliga a firmar contratos donde no pueden criticar a OpenAI tras su salida si no quieren perder su dinero.
En la carta, firmada por cinco ex empleados y seis trabajadores “anónimos” de OpenAI, piden que la empresa retire esos contratos y que abra vías de denuncia interna ante avances peligrosos. “Mi esposa y yo lo pensamos mucho y decidimos que mi libertad para expresarme en el futuro era más importante que las acciones [de OpenAI]”, escribió en X [antes Twitter] Daniel Kokotajlo, que salió en abril de su cargo en el departamento de Gobernanza de OpenAI, y que dijo al New York Times que el valor de sus acciones rondaba los 1,6 millones de euros.
5/15: My wife and I thought hard about it and decided that my freedom to speak up in the future was more important than the equity. I told OpenAI that I could not sign because I did not think the policy was ethical; they accepted my decision, and we parted ways.
“El mundo no está preparado y nosotros no estamos preparados”, escribió Kokotajlo en su correo de despedida. “Y estoy preocupado de que nos hemos lanzado hacia delante sin que importe nada y sin racionalizar nuestras acciones”, añadió. Otro de los firmantes, William Saunders, dijo a la revista Time que su dinero peligraba al hablar en público: “¡Al hablar contigo, podría perder la oportunidad de acceder a acciones valoradas en millones de dólares. Pero creo que es más importante tener un diálogo público sobre lo que pasa en estas empresas de IA”.
Esta carta no es la primera sobre los peligros de la IA en su carrera desenfrenada hacia la “inteligencia artificial general” (AGI en sus siglas en inglés), argot de la industria para referirse al momento en que las máquinas obtengan la capacidad de pensar y decidir como un humano. En marzo de 2023 miles de expertos pidieron pausar sus avances, en mayo del año pasado otros 350 firmaron un manifiesto de 22 palabras donde pedían “mitigar el riesgo de extinción”. Entre medias, el propio Sam Altman, cofundador de OpenAI, fue al Congreso a decir que “todo puede salir muy mal” y Geoffrey Hinton, uno de los padrinos de la IA, dejó Google para alertar libremente sobre el futuro amenazante.
Hinton también apoya esta nueva carta de empleados de OpenAI, junto a Yoshua Bengio, otro de los ganadores del premio Turing, el “Nobel de Informática” por sus logros con IA. Otrosos de los firmantes de la carta, titulada “Derecho para advertir sobre la IA avanzada”, son una ex empleada y un trabajador actual de Google Deep Mind.
Derecho a advertir desde dentro
Esta nueva carta es ligeramente distinta. La reclamación principal ya no es el peligro hipotético de la IA general, sino el avance desbocado y sin control de las empresas por priorizar la carrera comercial a la seguridad. A diferencia de cómo ha ocurrido en Meta y en otras compañías, los exempleados de OpenAI temen que las protecciones como posibles “gargantas profundas” sean insuficientes porque no denuncien nada “ilegal”, ya que los riesgos “que nos preocupan aún no han sido regulados”, escriben en la carta.
Este movimiento no ocurre en el vacío. A mediados de mayo, Ilya Sutskever, confundador de OpenAI y uno de los instigadores de la revuelta de noviembre contra Sam Altman, abandonó la compañía, acompañado de Jan Leike, que escribió en X que OpenAI “está asumiendo una enorme responsabilidad en nombre de toda la humanidad” y que prioriza la creación de “productos llamativos”. Esa misma semana, OpenAI había anunciado el nuevo ChatGPT-4o, capaz de conversar en tiempo real y que generó una polémica con la actriz Scarlett Johansson. Una ex miembro del consejo de administración también reveló comó Altman les había ocultado novedades tan básicas como el lanzamiento de ChatGPT en noviembre de 2022.
But over the past years, safety culture and processes have taken a backseat to shiny products.
— Jan Leike (@janleike) May 17, 2024
Toda esta polémica sigue ocurriendo sobre supuestos futuros que nadie sabe si ocurrirán ni cómo. Los miedos se centran en la aparición de máquinas sin control que toman el mando y dejan de seguir órdenes humanas. La labor de vigilar que las máquinas no se vuelvan autónomas se llama “alineación”, que viene de “alinear” sus intereses con los humanos. Es un trabajo técnico vinculado a la seguridad de estos sistemas y cuyo equipo en OpenAI se ha desbandado.
Esta semana se han conocido los detalles de la salida de uno de los miembros de ese equipo, el joven de origen alemán Leopold Aschenbrenner, graduado a los 19 años con la mejor nota en la Universidad de Columbia, según su LinkedIn. Aschenbrenner confirmó en un podcast de casi 5 horas que le habían despedido por una “filtración”: “Escribí un documento de tormenta de ideas sobre preparativos, seguridad y medidas de protección necesarias en el camino hacia la IA general. Lo compartí con tres investigadores externos. Esa fue la filtración”, explicó Aschenbrenner. En otra ocasión compartió otro documento con dos miembros del anterior consejo. En ese caso recibió una advertencia de recursos humanos.
Virtually nobody is pricing in what’s coming in AI.
I wrote an essay series on the AGI strategic picture: from the trendlines in deep learning and counting the OOMs, to the international situation and The Project.
SITUATIONAL AWARENESS: The Decade Ahead pic.twitter.com/8NWDkTprj5
— Leopold Aschenbrenner (@leopoldasch) June 4, 2024
También esta semana Aschenbrunner publicó un documento de 165 páginas en pdf con cinco ensayos donde analiza la “próxima década” y explica por qué todo es más peligroso de lo que creemos desde fuera. Su mensaje se hizo viral y provocó una nueva ronda de especulación sobre el peligro hipotético de las futuras versiones de IA. Tras su salida de OpenAI, encabezará un fondo de inversión centrado en proyectos de IA general.
Fuente: EL PAÍS
