Atravesando la frontera. Riesgo nuclear e inteligencia artificial

Nuevas tecnologías traen nuevos retos, pero en última instancia notamos que el desarrollo de nuevas tecnologías ha resultado históricamente en enormes beneficios. Promovamos juntos el análisis riguroso de los desafíos tecnológicos y sociales del mundo moderno

Nos encontramos en un periodo crítico de la historia de la humanidad.

Dispondremos en las próximas décadas de tecnologías que pueden causar un daño extremo a nivel global - pero hay razones para pensar que carecemos de la pericia colectiva y conocimiento que nos permita gestionarlas de manera segura.

En este artículo pretendo justificar esta impresión.


Comienzo analizando el caso de una fuente de riesgo introducida por el desarrollo tecnológico en el siglo pasado: el armamento nuclear.


A continuación presentaré los beneficios y riesgos asociados a una nueva tecnología que tendremos que gestionar en las próximas décadas: la inteligencia artificial.

Ambas perspectivas nos ayudarán a entender mejor la sociedad en la que vivimos – y cómo podemos trabajar para mejorarla.


En el siglo pasado sobrevivimos al desarrollo de armamento nuclear.

Dos bombas nucleares fueron detonadas cerca del final de la segunda guerra mundial, causando alrededor de 170.000 muertes en Hiroshima y Nagasaki [1]. Sin embargo, el incidente ni se acerca a la magnitud del desastre que podría precipitar el armamento nuclear.


Aparte del impacto directo, el estallido de bombas nucleares puede causar incendios prolongados, levantando una enorme cantidad de hollín hacia la estratosfera, a su vez provocando un invierno nuclear, un periodo de intenso cambio climático que podría afectar a la producción de alimentos a nivel mundial [2].

A lo largo de la guerra Fría, el mundo temía un guerra nuclear debido a tensiones históricas. Sin embargo, el riesgo de un ataque intencionado siempre ha sido en su mayor parte eclipsado por el riesgo de un ataque accidental.


En 1983, el teniente coronel Stanislav Yevgrafovich Petrov de las Tropas de Defensa Aérea de la Unión Soviética se enfrentó a una dura decisión – ¿debía comunicar la advertencia de un ataque estadounidense proveniente de los radares que supervisaba a sus superiores, con toda seguridad desencadenando el comienzo de una guerra nuclear? ¿O ignorar el protocolo, y cruzar los dedos y confiar en que la alarma fuera resultado de un fallo de la instrumentación?

Afortunadamente para el mundo, Petrov optó por la segunda opción - pero la posibilidad de un invierno nuclear en 1983 constituye un macabro aviso de la fragilidad del mundo moderno [3].


El riesgo de un ataque accidental no ha desaparecido. La investigadora Luisa Rodríguez compila información de varias fuentes para estimar la probabilidad anual de un ataque nuclear en un ~1.1%, ie un ~10.5% en la próxima década [4].

En un artículo previo, Rodríguez estima la severidad de un hipotético intercambio nuclear entre Rusia y EEUU en la actualidad. Su modelo predice entre 1.5 y 7.2 miles de millones de muertes por hambruna a raíz del invierno nuclear consecuente [5].

La época de tensión de la guerra fría puede haber terminado - pero la amenaza del armamento nuclear sigue presente.


La promesa de la inteligencia artificial (IA) es automatizar la resolución de problemas, incluyendo problemas cotidianos como la conducción [6] y problemas más esotéricos como el diseño de software [7].


Las posibilidades que habilita esta tecnología son abundantes, y pueden tener un impacto positivo dramático en la sociedad. La posibilidad de automatizar gran parte de la labor es un indicio de la posibilidad de que la inteligencia artificial suponga un adelanto económico comparable a las revoluciones agrícola e industrial [8].


Sin embargo, desarrollos recientes en el campo apuntan en una dirección inequívoca: desde el predictor de texto GPT-2 [9] hasta el bot de Starcraft AlphaStar [10], la delantera la llevan algoritmos con un grado elevado de opacidad. Con ello quiero decir que es difícil interpretar las razones por las que estos sistemas toman unas u otras decisiones.


Ésto es síntoma de un problema mayor. El entendimiento teórico de los problemas técnicos asociados al desarrollo de sistemas avanzados de inteligencia artificial no va a la par que el desarrollo de nuevas capacidades.


Por ejemplo, poco se sabe a día de hoy acerca de cómo conseguir que un sistema de aprendizaje por refuerzo explore de manera segura su entorno, o cómo garantizar que un sistema entrenado bajo condiciones distintas a las que encontrará en producción responda de manera coherente a situaciones que no ha encontrado previamente [11].


En este contexto, la automatización de procesos críticos como la macroeconomía o la seguridad nacional puede tener consecuencias inesperadas a largo plazo.

Por ejemplo, la automatización puede amplificar las vulnerabilidades que suponen otras tecnologías. Volviendo a nuestro análisis anterior, el riesgo de un intercambio nuclear accidental se incrementa si un sistema autónomo está a cargo de la respuesta [12].


De manera más general, los problemas asociados a la inteligencia artificial se derivan principalmente de la dificultad de especificar formalmente objetivos. Un proceso autónomo con un objetivo mal especificado puede tener un efecto enorme en la sociedad.


Como observación motivadora, contemplamos el caso del algoritmo evolutivo de Bird & Layzell. Este algoritmo fue diseñado para diseñar un circuito que emita una señal periódica (un oscilador). En su lugar, el algoritmo encontró la ingeniosa trampa de configurar el circuito para que actuara como una radio, recibiendo la señal periódica emitida por ordenadores cercanos [13]. Otros ejemplos de la misma índole son abundantes en la literatura [14].


De la misma manera podemos imaginar un sistema avanzado de IA, diseñado para perseguir una meta compleja según cierta especificación formal, que acabe actuando de una manera impredecible.


Incluso metas aparentemente inocuas pueden resultar en desastre - por ejemplo, independientemente de las tareas que estén intentando resolver, los sistemas de optimización avanzados están expuestos a incentivos para garantizar la continuación de su existencia [15].


A modo de ejemplo, los sistemas que fallen de manera aparente, nunca serán desplegados en contextos delicados; pero un sistema que aparenta funcionar de manera correcta puede ser considerado apto para tarea. Este proceso de selección favorece a los sistemas capaces de pretender funcionar, incentivando la emergencia de manipulación y ofuscación.


Uno puede imaginar que en tales contextos esperamos que los responsables, tanto investigadores como ingenieros como directivos involucrados, practiquen la diligencia debida para garantizar la seguridad de los sistemas diseñados.

Sin embargo, recordemos que el estudio teórico de los problemas de diseño de objetivos de sistemas de inteligencia artificial sigue en su infancia; y que la promesa de una ventaja estratégica debida a la inteligencia artificial, ya sea a nivel nacional o industrial, puede ser razón suficiente para recortar en medidas de seguridad [16].

Cabe destacar que estos riesgos son altamente especulativos. Pero incluso aceptando que estos son riesgos que no entendemos en profundidad o incluso improbables, la magnitud del problema requiere una inversión proporcional de estudio y preparación.


Deepmind [17], OpenAI [18] y otros líderes del campo [19] invierten en entender los potenciales problemas asociados al desarrollo de IA avanzada- espero que otros muchos se unan para aumentar las posibilidades de que la IA nos beneficie a todos.


He hablado del riesgo nuclear y la inteligencia artificial, destacando lo mucho que está en juego. Otros retos a los que nos enfrentamos incluyen la biología sintética [20], el cambio climático [21] y la manufactura de precisión atómica [22].


Lo último que pretendo es dar una perspectiva alarmista. Nuevas tecnologías traen nuevos retos, pero en última instancia notamos que el desarrollo de nuevas tecnologías ha resultado históricamente en enormes beneficios, percibidos por gran parte de la sociedad.


Sin embargo, espero que hablando de los problemas que yo y mis compañeros en el Centro de Estudio de Riesgos Existenciales de Cambridge afrontamos, y con la ayuda del lector, podamos promover juntos el análisis riguroso de los desafíos tecnológicos y sociales del mundo moderno.


El futuro aguarda. Hagamos todo lo posible por mejorar las vidas de las personas con tecnología e instituciones robustas y seguras.

Este artículo ha sido escrito por Jaime Sevilla, investigador visitante del Center for the Study of Existential Risks de la Universidad de Cambridge bajo una beca de investigación otorgada por la Effective Altruism Foundation. Jaime forma parte de Altruismo Eficaz España, una asociación sin ánimo de lucro dedicada a promover la filantropía basada en evidencia.

Gracias a Pablo Villalobos, Elena Molina y Sofía Padrón por sus comentarios y trabajo editorial. Agradezco a Sngular la oportunidad para difundir mi investigación.


Este obra está bajo una licencia de Creative Commons Reconocimiento 4.0 Internacional.

Bibliografía

[1] Wikipedia, “Atomic bombings of Hiroshima and Nagasaki”, https://en.wikipedia.org/wiki/Atomic_bombings_of_Hiroshima_and_Nagasaki

[2] William R. Cotton, Roger A. Pielke, Sr. “Human Impacts on Weather and Climate. Chapter 10: Nuclear winter”, 2007.

[3] Hoffman, “I had a funny feeling in my gut”, 1999, https://www.washingtonpost.com/wp-srv/inatl/longterm/coldwar/soviet10.htm?

[4] Luisa Rodriguez, “How likely is a nuclear exchange between the US and Russia?”, 2019, https://forum.effectivealtruism.org/posts/PAYa6on5gJKwAywrF/how-likely-is-a-nuclear-exchange-between-the-us-and-russia

[5] Luisa Rodriguez, “How bad would nuclear winter caused by a US-Russia nuclear exchange be?”, 2019, https://forum.effectivealtruism.org/posts/pMsnCieusmYqGW26W/how-bad-would-nuclear-winter-caused-by-a-us-russia-nuclear

[6] Kunze et al, “Reading between the Lanes: Road Layout Reconstruction from Partially Segmented Scenes”, 2018, http://www.robots.ox.ac.uk/~mobile/Papers/2018ITSC_kunze.pdf

[7] Andrej Karpathy, “Software 2.0”, 2017. https://medium.com/@karpathy/software-2-0-a64152b37c35

[8] Holden Karnofski, “Potential Risks from Advanced Artificial Intelligence: The Philanthropic Opportunity”, 2016, https://www.openphilanthropy.org/blog/potential-risks-advanced-artificial-intelligence-philanthropic-opportunity

[9] Radford et al, “Better Language Models and Their Implications”, 2019, https://openai.com/blog/better-language-models/

[10] AlphaStar team, “AlphaStar: Mastering the Real-Time Strategy Game StarCraft II”, 2019, https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii

[11] Amodei et al, “Concrete Problems in AI Safety”, 2016, https://arxiv.org/abs/1606.06565

[12] Shahar Avin and Sonja Amadae, “Autonomy and machine learning at the interface of nuclear weapons, computers and people”, 2019, https://www.cser.ac.uk/resources/autonomy-nuclear-weapons/

[13] J. Bird and P. Layzell, “The evolved radio and its implications for modelling the evolution of novel sensors”, 2002.

[14] Victoria Krakovna, “Specification gaming examples in AI”, https://vkrakovna.wordpress.com/2018/04/02/specification-gaming-examples-in-ai/

[15] Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, pp. 483-492).

[16] Armstrong, Bostrom and Shulman, “Racing to the Precipice: a Model of Artificial Intelligence Development”, 2013, https://www.fhi.ox.ac.uk/wp-content/uploads/Racing-to-the-precipice-a-model-of-artificial-intelligence-development.pdf

[17] DeepMind, “Safety and Ethics”, retrieved 2019, https://deepmind.com/safety-and-ethics

[18] OpenAI, “OpenAI Charter”, retrieved 2019, https://openai.com/charter/

[19] Future of Life Institute, “Asilomar AI Principles”, 2017, https://futureoflife.org/ai-principles/

[20] Open Philanthropy Project, “Research and Development to Decrease Biosecurity Risks from Viral Pathogens”, 2018, https://www.openphilanthropy.org/research/cause-reports/research-and-development-decrease-biosecurity-risks-viral-pathogens

[21] David King et al, “Climate Change: A Risk Assessment”, 2015, http://www.csap.cam.ac.uk/projects/climate-change-risk-assessment/

[22] Nick Beckstead, “Risks from Atomically Precise Manufacturing”, 2015, https://www.openphilanthropy.org/research/cause-reports/atomically-precise-manufacturing

Jaime Sevilla
Investigador visitante del Center for the Study of Existential Risks