En una carta publicada hace unos días, Dario Amodei abogó por detener el avance de la IA, y además lo hizo dando detalles muy claros de a lo que nos exponemos. Según el CEO de Anthropic, en menos de un año una IA podría tomar el control de todo internet y provocar enormes daños. Pero tranquilos, que tiene un plan para evitarlo, empezando por dar acceso permanente a auditores externos e independientes. Amodei propone uno en concreto: METR. Veamos qué es y quién está detrás de esta organización.Qué es METR. Su nombre son las siglas de Model Evaluation and Threat Research y se define a sí misma como una organización sin ánimo de lucro que trabaja "para evaluar científicamente si los sistemas de inteligencia artificial podrían suponer un peligro catastrófico para la sociedad". Entre sus trabajos recientes está la investigación del incidente de OpenAI y Hugging Face, pero también se dedican a evaluar cuánto tiempo de trabajo humano puede completar un agente de IA, una métrica que se ha convertido en una referencia a la hora de medir las capacidades de la IA agéntica. Además, diseñan propuestas de gobernanza para que las empresas refuercen sus medidas de seguridad. Es decir, que METR no sólo se centra en evaluar riesgos, también plantean cómo deberían gobernarse los modelos, justo lo que pide Amodei en su carta.El nacimiento de METR. No surgió de la nada, sino que nació a partir de ARC Evals, un equipo dentro del Alignment Research Center, dirigido por Paul Christiano. Christiano es una figura destacada dentro del campo del alineamiento de la IA y había trabajado anteriormente en OpenAI. Para dirigir este nuevo proyecto, contrataron a Beth Barnes, que había pasado por DeepMind y OpenAI, donde había coincidido con Christiano. El equipo creció rápidamente y en 2023 se independizó de ARC para convertirse en METR. "Una amenaza general al trabajo intelectual": las mentes matemáticas más brillantes, contra el modus operandi de la IA El equipo. A día de hoy Beth Barnes sigue al frente de METR como CEO y fundadora, pero no es la única que tiene conexión con los grandes laboratorios de IA. En su plantilla cuentan con varios exingenieros e investigadores de OpenAI, Anthropic y Google Deepmind. Entre ellos está Joe Benton, que acaba de incorporarse a METR desde Anthropic, y Josh Engels, que venía de DeepMind.Quién paga la fiesta. METR es una organización sin ánimo de lucro y se financia principalmente mediante donaciones. En agosto de este mismo año anunciaron que habían logrado recaudar 71 millones de dólares en seis meses. METR destaca que no acepta financiación de las compañías de IA a las que evalúa, ni tampoco por parte de empleados de dichos laboratorios. Sin embargo, eso no significa que no aporten nada a su funcionamiento. La organización reconoce que OpenAI, Anthropic, Google DeepMind, Meta y otras empresas le proporcionan acceso a sus modelos y una cantidad significativa de tokens gratuitos para realizar sus evaluaciones.Effective Altruism. Entre los donantes que menciona METR aparecen fundaciones como Sijbrandij Foundation, Schmidt Sciences, Packard Foundation y Pew Charitable Trusts, pero también organizaciones muy vinculadas al movimiento Effective Altruism, como Longview Philanthropy, Effektiv Spenden y el Survival and Flourishing Fund. El "altruismo eficaz" es un movimiento filosófico y filantrópico que busca identificar las formas más efectivas de utilizar recursos para mejorar el mundo y que, en los últimos años, ha dado un peso importante a la seguridad y los riesgos potenciales de la inteligencia artificial. Como contaban en el New York Times, los Amodei han declarado que no forman parte de esta comunidad, pero Daniela Amodei, hermana de Dario y presidenta de Anthropic, está casada con Holden Karnofsky, uno de los fundadores del movimiento del altruismo eficaz. Esto no significa que los Amodei estén financiando directamente a METR, pero sí que han tenido lazos muy estrechos con una gran parte del ecosistema que los financia. Además, Hjalmar Wijk, científico jefe de METR, y Ajeya Cotra, del equipo técnico, provienen de empresas vinculadas a este movimiento. En Xataka Me he leído el estudio de Anthropic sobre el impacto de la IA en la economía y he llegado a una conclusión: voy a tener que estudiar fontanería Independientes, pero poco. Es lo que sostienen muchas voces críticas del sector. David Sacks, asesor tecnológico de la administración Trump, ha sido muy claro en su cuenta de X: "Dejad de fingir que METR es independiente cuando está entrelazado con los inversores y el personal de Anthropic". En un artículo en Read Multiplex, van incluso más allá, llegando a acusar a METR y Anthropic de intentar orquestar una captura regulatoria que limite a su competencia y, sobre todo, a la IA de código abierto, para crear un oligopolio junto a OpenAI. No hay pruebas de que METR esté actuando al dictado de Anthropic ni de que exista una estrategia coordinada de captura regulatoria. Pero para sus críticos, la cuestión es que están eligiendo como árbitro a una organización que comparte su visión sobre los riesgos de la IA y mantiene vínculos demostrables con la compañía, aunque no exista financiación directa entre ambas.El apocalipsis de la IA. Todo esto sucede en un momento muy concreto en el que el discurso de "la IA nos va a matar a todos" se ha infiltrado en la conversación pública. La chispa que lo encendió todo fue la dimisión de Jacob Coxon, un investigador de Anthropic que también había trabajado para OpenAI. Coxon dijo que estas empresas "están jugando con nuestras vidas" y poco después el responsable de alineamiento de Anthropic le dio la razón, llegando a afirmar que hay un 10% de probabilidades de que la IA acabe con la humanidad en menos de 10 años. Después, Amodei publicó su carta pidiendo frenar los avances en la que, como quien no quiere la cosa, dejaba caer que METR fuera el árbitro que lo supervise todo. Decir que vas a dar acceso total a tus sistemas a una organización externa puede sonar como el acto de mayor transparencia y compromiso con la seguridad. La cuestión es que METR no es un evaluador externo cualquiera, es uno que está formado en parte por exempleados de Anthropic y OpenAI y que comparte su visión sobre los riesgos y alineamiento de la IA.Imagen | METREn Xataka | Llevamos años oyendo que una superinteligencia podría matarnos a todos. Entre “podría” y “nos extinguirá” hay un abismo - La noticia Qué es y quién está detrás de METR, el organismo que Anthropic propone para supervisar que la IA no sea un peligro para la sociedad fue publicada originalmente en Xataka por Amparo Babiloni .