CEO de Anthropic advierte: se desarrolla la IA sin comprender cómo funciona Dario Amodei propone desarrollar herramientas para auditar las decisiones internas de la inteligencia artificial.

La tecnología ha hecho más cómoda nuestra vida. Encendemos la luz, desbloqueamos el celular, enviamos mensajes o consultamos información en línea sin detenernos a pensar en los sistemas que hacen posible cada acción.

En un ensayo publicado en su blog personal, Dario Amodei, CEO de Anthropic y creador del chatbot Claude, advirtió que la inteligencia artificial (IA) opera con un nivel de opacidad tan profundo que ni siquiera sus diseñadores comprenden del todo cómo toma decisiones.

"Cuando un sistema de IA generativa hace algo, como resumir un documento financiero, no tenemos ni idea, a nivel específico o preciso, de por qué toma las decisiones que toma", afirmó.

Amodei admitió que el funcionamiento interno de estas herramientas permanece en gran medida como una "caja negra".

Según explica, los modelos actuales de texto e imagen no razonan como lo haría un ser humano. No comprenden ni contextualizan de forma consciente. Funcionan al reconocer patrones estadísticos en cantidades masivas de datos generados por personas. Reproducen estos patrones con una precisión sorprendente, pero sin revelar las razones detrás de cada elección, palabra o decisión que ofrecen.

Relacionado: Claude for Education, la IA de Anthropic, llega a las universidades para transformar la enseñanza y el aprendizaje

Los dilemas de Amodei y su salida de OpenAI

Preocupado por esa dirección, Amodei abandonó OpenAI en 2020 junto a otros investigadores, tras desacuerdos sobre el enfoque de seguridad y las prioridades comerciales. Un año después, fundó Anthropic, con el objetivo de crear una inteligencia artificial más segura y comprensible.

Una de las metas de la empresa consiste en desarrollar herramientas que permitan interpretar el funcionamiento de los modelos de IA, una especie de "resonancia magnética" que revele lo que ocurre dentro del sistema. Esta iniciativa busca anticipar riesgos antes de que los modelos se vuelvan tan potentes como para escapar a toda supervisión.

Amodei concluyó que la IA tendrá un impacto radical en la economía, en las relaciones humanas y en la toma de decisiones. Por ello, insiste en que es inaceptable seguir desarrollando estas tecnologías sin comprenderlas del todo.

"La IA poderosa dará forma al destino de la humanidad, y merecemos entender nuestras propias creaciones antes de que transformen radicalmente nuestra economía, nuestras vidas y nuestro futuro", remató.