El director de Anthropic, empresa líder en inteligencia artificial, ha pedido que se ralentice el ritmo de desarrollo de los modelos de inteligencia artificial y que se realice un seguimiento exhaustivo.
En un ensayo publicado el sábado, Dario Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella eran «graves» y que se debía dar tiempo a las empresas y a los gobiernos para abordarlos.
Propuso un plan de tres puntos que incluye la supervisión independiente de los modelos de IA a medida que se desarrollan, la regulación de toda la industria y la regulación global.
Últimamente ha habido una creciente preocupación por los riesgos potenciales de esta tecnología, y el más grave de ellos sugiere que hay más de un 10% de probabilidades de que «pueda matar a todos los humanos» en la próxima década .
Anthropic ya había declarado que había identificado y frustrado intentos de utilizar su modelo de IA para «actividades maliciosas» que podrían apoyar el desarrollo de armas biológicas.
Pero la advertencia más contundente provino de dos empleados del equipo de seguridad de Anthropic que renunciaron en las últimas dos semanas, afirmando que la humanidad podría no sobrevivir a la carrera entre las empresas de IA para desarrollar máquinas más inteligentes que los humanos.
Estas advertencias han provocado llamamientos a la acción, pero el presidente estadounidense Donald Trump ha rechazado hasta ahora esos temores, afirmando el jueves que le preocupaba que «si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil».
En su ensayo titulado «Debemos marcar el ritmo de la frontera», Amodei señaló que la IA había avanzado «drásticamente más rápido», incluyendo su «capacidad para construir la próxima generación de IA», y mencionó un incidente que involucró a su rival OpenAI, el cual reveló que agentes llevaron a cabo ciberataques contra objetivos que no se les había pedido atacar en julio.
Según Amodei, los agentes de OpenAI «habían actuado esencialmente como un colectivo fanáticamente entregado».
OpenAI ha declarado que «la importancia de la actividad de comunicación entre agentes no fue evidente para los líderes» hasta julio, y que, como resultado, la empresa estaba ralentizando el entrenamiento de ciertos modelos y herramientas de IA avanzadas, señalando que ahora existía un mayor riesgo de que las herramientas de IA se descontrolaran.
En su ensayo, Amodei abogó por «desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios».
Esto no significaría «detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen».
Estaba comprometiendo a Anthropic a esto «unilateralmente», además de pedir a los gobiernos «que exijan a otras empresas emergentes que hagan lo mismo».
Amodei afirmó reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA y, por lo tanto, hizo un llamamiento a las empresas de IA para que «colaboren voluntariamente para establecer estándares» en paralelo con la regulación.
El director ejecutivo de Anthropic procedió a abordar el impacto que una desaceleración tendría en la industria y la competencia con los principales desarrolladores a nivel mundial, en particular China.
«Creo que si ralentizar el proceso nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga muy mal», dijo Amodei.
Esto tendría que hacerse de forma coordinada, «sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en IA». Cualquier desaceleración tendría que ser limitada, afirmó, para evitar que China tomara la delantera.
Instó al gobierno estadounidense a que tomara medidas para que los chips de IA de las empresas estadounidenses no pudieran venderse a China, ni que la tecnología se compartiera con países autoritarios.
La publicación de Amodei ha generado numerosas reacciones en todo el mundo de la tecnología.
Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, anunció el lanzamiento de un nuevo proyecto llamado Open Alignment Initiative, y añadió que quería formar parte de los «evaluadores integrados» que Amodei propuso como posibles soluciones.
El juego Hugging Face fue hackeado por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.
«Hagamos que la IA sea más segura haciéndola más transparente», escribió Delangue en X.
Elon Musk también expresó su apoyo, escribiendo que «Dario tiene razón».
Musk, cuya empresa SpaceXAI crea el controvertido chatbot Grok, llegó a calificar a Anthropic de «malvada», pero ha cambiado de opinión desde que firmó un acuerdo de 15.000 millones de dólares para vender capacidad informática a Anthropic en mayo.