El rey Carlos III reunió el 17 de septiembre en Dumfries House, en Ayrshire (Escocia), a altos cargos de la IA y del Gobierno británico para debatir cómo aprovechar esta tecnología sin que escape al control humano. En el encuentro privado participaron representantes de Nvidia, Google DeepMind, OpenAI y Anthropic, además del ministro británico de IA, Kanishka Narayan. Las informaciones disponibles describieron una conversación sobre principios compartidos, no un acuerdo regulatorio vinculante.
1
9
12
El aviso de Carlos III: proteger antes de que sea tarde
Carlos III presentó la IA como una tecnología tan prometedora como inquietante. Pidió a los participantes que se aseguren de que siga al servicio de las personas, las comunidades y el planeta. También alertó de los «peligros existenciales» que entrañaría que sistemas potentes cayeran en malas manos y se emplearan con fines potencialmente catastróficos.
Su mensaje central fue preventivo: las salvaguardas deben analizarse e implantarse antes de que sea demasiado tarde.
9
11
13
Ese enfoque sitúa la cumbre dentro de una discusión cada vez más intensa sobre la IA de frontera: si los sistemas que mejoran rápidamente pueden adelantar a las instituciones, las prácticas de seguridad y las normas sociales destinadas a controlarlos. La reunión buscaba explorar cómo impulsar beneficios sociales y preservar la dignidad humana mientras se reducen esos riesgos.
1
9
La alternativa de Jensen Huang: regular el producto, no la IA en abstracto
El consejero delegado de Nvidia, Jensen Huang, no sostiene que la seguridad sea opcional. Su postura es que las empresas deben someter los sistemas a pruebas rigurosas y no lanzar productos si no confían en que sean seguros. Para Huang, esa es, ante todo, una responsabilidad de ingeniería.
18
23
30
La diferencia está en el objeto de la regulación. Huang argumenta que la IA es una tecnología de base, no un único producto de consumo como las redes sociales. Por ello, propone que los reguladores se concentren en los productos y servicios creados con IA, vigilen los despliegues que fallen y añadan disposiciones a las leyes existentes cuando aparezcan vacíos.
Citó sectores como la salud, el transporte y el entretenimiento, que ya cuentan con marcos regulatorios propios.
26
28
Su planteamiento es específico por producto y sector:
- evaluar el riesgo en el caso de uso concreto, por ejemplo, un producto sanitario o de transporte;
- aplicar o ampliar las reglas pertinentes cuando un despliegue de IA genere un problema; y
- exigir pruebas cuidadosas y controladas antes de su lanzamiento.
23
28
Esta visión pone menos énfasis en una gran ley transversal para toda la IA o en una pausa obligatoria del desarrollo de modelos.
El punto de fricción: prevenir riesgos sistémicos o corregir aplicaciones concretas
La advertencia de Carlos III se centró en usos indebidos graves y en riesgos que podrían aparecer antes de que sea fácil identificar un producto dañino concreto. Es una concepción anticipatoria de la gobernanza: las barreras de seguridad y la cooperación internacional deberían estar listas antes de que las capacidades o los riesgos superen los controles disponibles.
1
11
Por separado, el director ejecutivo de Anthropic, Dario Amodei, había pedido desacelerar el desarrollo de modelos de frontera para que las medidas de seguridad pudieran seguir el ritmo. Huang rechazó que hicieran falta nuevas leyes o mecanismos especiales para coordinar una ralentización, y defendió en cambio la ingeniería, las pruebas y las herramientas legales ya existentes.
8
30
La discrepancia práctica se resume en dónde debe producirse la intervención:
| Enfoque |
Prioridad |
Momento preferido para actuar |
| Propuesta de Huang |
Productos con IA y despliegues específicos |
Probar antes del lanzamiento y recurrir a reglas sectoriales cuando surjan riesgos o se detecten lagunas claras |
| Enfoque preventivo expresado en la cumbre |
Riesgos sistémicos y potencialmente catastróficos de sistemas cada vez más capaces |
Establecer salvaguardas más sólidas antes de que los riesgos o las capacidades rebasen los controles |
Ambas posiciones respaldan la seguridad y la supervisión humana. Sin embargo, distribuyen la responsabilidad de forma distinta. Huang da más peso a la disciplina de lanzamiento de los desarrolladores, los estándares de ingeniería y los reguladores de cada producto. Las palabras de Carlos III —y el impulso hacia principios comunes— parten de que algunos riesgos de la IA pueden requerir barreras coordinadas antes de que falle una aplicación en un sector específico.
9
23
28
La conclusión
Dumfries House no resolvió el debate regulatorio sobre la IA. Sí dejó más clara su línea de división: si la tecnología puede gobernarse principalmente mediante las leyes vigentes sobre productos y pruebas rigurosas, o si los sistemas de frontera plantean riesgos entre sectores que exigen coordinación preventiva y nuevas salvaguardas.
El objetivo compartido fue sencillo: que la IA beneficie a la humanidad y siga bajo control humano. La forma de lograrlo, en cambio, continúa en disputa.
9
12
28