Creadores de IA iten que no entienden del todo cómo funcionan sus modelos

A pesar de estar transformando la economía y la vida cotidiana, los modelos de inteligencia artificial generativa (IA gen) aún son en gran parte una caja negra incluso para sus propios creadores. Científicos y desarrolladores reconocen que no comprenden del todo cómo estas tecnologías avanzadas toman decisiones, lo que ha impulsado un nuevo y creciente campo de investigación: la interpretabilidad mecanicista.

"Esta falta de comprensión no tiene precedentes en la historia de la tecnología", escribió Dario Amodei, cofundador de Anthropic, en un ensayo reciente. Su advertencia refleja una preocupación compartida por expertos como Chris Olah, pionero del estudio del funcionamiento interno de la IA, y Neel Nanda, investigador de DeepMind, quienes comparan la complejidad de los modelos de lenguaje con el desafío de entender el cerebro humano.

La interpretabilidad mecanicista busca desentrañar cómo los circuitos internos de los modelos generan respuestas, algo que, según los expertos, será crucial para garantizar la fiabilidad de la IA en entornos críticos como la seguridad nacional, la salud o la justicia.

Startups como Goodfire ya están desarrollando herramientas para visualizar los pasos lógicos de los modelos y detectar posibles usos maliciosos o intenciones engañosas. “Parece una carrera contrarreloj para comprender estos sistemas antes de que se desplieguen globalmente sin supervisión suficiente”, advirtió su CEO, Eric Ho.

El optimismo, sin embargo, no falta. Amodei y otros expertos como Anh Nguyen, de la Universidad de Auburn, creen posible alcanzar un nivel de comprensión fiable para 2027. “Tenemos a cada parámetro del modelo, a diferencia del cerebro humano. Falta encontrar cómo leerlo”, explicó Mark Crovella, profesor de informática en la Universidad de Boston.

Con información de Europa Press