La inteligencia general es extremadamente potente y, una vez que logremos construirla, es probable que la Inteligencia General Artificial (AGI) con habilidades STEM supere rápidamente a la inteligencia humana.

¿Qué es la IA con STEM?

STEM son las siglas de Ciencia, Tecnología, Ingeniería y Matemáticas. La IA con STEM es una inteligencia artificial que puede hacer todas estas cosas tan bien o mejor que los humanos. Es un tipo de inteligencia general, que significa que puede aprender y resolver muchos problemas diferentes.

¿Por qué es importante la IA con STEM?

La IA con STEM es muy poderosa porque puede inventar y descubrir cosas nuevas que los humanos no pueden. Por ejemplo, puede crear una copia digital del cerebro humano, o entender el universo físico mejor que nosotros. La IA con STEM también puede ser muy peligrosa, porque puede usar los recursos y el conocimiento que tiene para hacer cosas que no queremos o que nos dañen.

¿Cómo se hace la IA con STEM?

No sabemos cómo hacer la IA con STEM todavía, pero hay muchas personas que están trabajando en ello. Una forma de hacerlo es usar el aprendizaje automático, que es una técnica que permite a las computadoras aprender de los datos y mejorar su rendimiento. Otra forma es usar la programación, que es una forma de dar instrucciones a las computadoras para que hagan lo que queremos.

¿Qué podemos esperar de la IA con STEM?

No podemos predecir con certeza qué pasará cuando tengamos la IA con STEM, pero podemos imaginar algunos escenarios posibles. Algunos son positivos, como que la IA con STEM nos ayude a resolver los problemas del mundo, a mejorar nuestra salud y a crear nuevas artes. Otros son negativos, como que la IA con STEM se vuelva hostil, nos controle o nos elimine. Por eso, es importante pensar en cómo diseñar y regular la IA con STEM para que sea segura y beneficiosa para todos.

¿cómo diseñar y regular la IA con STEM para que sea segura y beneficiosa para todos?

Diseñar y regular la IA con STEM para que sea segura y beneficiosa para todos es un gran desafío que requiere de una colaboración multidisciplinar y multilateral.

Algunas posibles medidas que se podrían tomar son:

  • Establecer principios éticos y valores humanos que orienten el desarrollo y uso de la IA con STEM, como el respeto a la dignidad humana, la no discriminación, la transparencia, la responsabilidad y la privacidad.
    .
  • Crear un marco normativo armonizado y flexible que se adapte a los avances tecnológicos y a las diferentes situaciones y contextos en los que se aplica la IA con STEM, evitando la fragmentación y la inseguridad jurídica.
    .
  • Implementar mecanismos de supervisión, evaluación y auditoría de la IA con STEM, tanto antes como después de su puesta en el mercado o funcionamiento, para garantizar su calidad, fiabilidad y seguridad, así como para prevenir y mitigar los posibles riesgos y daños que pueda causar.
    .
  • Fomentar la participación y el empoderamiento de los usuarios y las partes interesadas en el diseño, desarrollo y uso de la IA con STEM, asegurando su información, consentimiento, control y acceso a los recursos y beneficios que genera esta tecnología.
    .
  • Promover la investigación, la innovación y la educación en el ámbito de la IA con STEM, impulsando la cooperación entre los sectores público y privado, la academia y la sociedad civil, así como el intercambio de conocimientos y buenas prácticas a nivel nacional e internacional.
    .

¿Qué se espera automatizar una vez construída una AGI a nivel de STEM?

3 ejemplos de habilidades que se espera que los humanos automaticen con ML (Machine Learning o Aprendizaje Automatizado) una vez que hayamos construido AGI a nivel STEM:

  • La capacidad de realizar cirugía a corazón abierto con una alta tasa de éxito, en un entorno quirúrgico ordinario desordenado y no estandarizado.
  • La capacidad de igualar el desempeño humano inteligente en un campo científico específico, en todo el trabajo científico que los humanos realizan en ese campo.
  • Construir razonadores generales para integrar el poder de múltiples ciencias simultáneamente. La ciencia es muy poderosa y tener todas las ciencias a la vez será mucho más poderosa que la suma del impacto de cada una de las ciencias.

Ahora concentrémonos en los riesgos de construir razonadores

Empíricamente, los humanos no estamos cerca de un techo cognitivo, y la IA estrecha a menudo supera repentinamente el rango de capacidad de razonamiento humano en la tarea para la que está diseñada. Sería extraño que el razonamiento científico fuera una excepción.

Nuestros cerebros están llenos de sesgos e ineficiencias cognitivas y el razonamiento científico no es una excepción. Estamos plagados de puntos ciegos, ineficiencias y procesos cognitivos que tardaron décadas en lograr avances técnicamente simples.

Nuestros cerebros humanos son extremádamente malos en algunos de los procesos cognitivos más básicos que subyacen a STEM. Por ejemplo, consideremos los estrictos límites de la memoria de trabajo humana y la capacidad de realizar cálculos mentales básicos. Apenas podemos multiplicar en nuestra cabeza números pequeños de varios dígitos, cuando en principio un razonador podría mantener miles de estructuras matemáticas complejas en su memoria de trabajo simultáneamente y realizar operaciones complejas sobre ellas.

Consideremos el tipo de tecnologías y descubrimientos científicos que sólo se le podrían ocurrir a un razonador si puede ver directamente (dentro de su propia cabeza, en tiempo real) las conexiones entre cientos o miles de estructuras formales diferentes.

Los cerebros humanos no experimentaron ninguna optimización directa para la capacidad STEM en nuestro entorno ancestral, más allá de rasgos como “Puedo distinguir cuatro objetos en mi campo visual de cinco objetos”. Por el contrario, los ingenieros humanos pueden optimizar deliberadamente los cerebros de los sistemas AGI para capacidades matemáticas, ingeniería, etc.; y los ingenieros humanos tienen una enorme variedad de herramientas disponibles para construir una inteligencia general de la que careció la evolución.

El software (a diferencia de la inteligencia humana) escala con mucha más computación para encontrar razonadores que para ejecutar razonadores. Es muy probable que esto también se aplique a AGI. Probablemente ya tengamos computación más que suficiente, si supiéramos cómo entrenar sistemas AGI de una manera remotamente eficiente.

Y en un metanivel (ML): la hipótesis de que STEM AGI puede superar rápidamente a los humanos tiene un carácter disyuntivo.

Hay muchas ventajas diferentes que individualmente son suficientes para esto, incluso si STEM-AGI no comienza con otras ventajas. (Por ejemplo, velocidad, capacidad matemática, escalabilidad con hardware, habilidad para optimizar hardware…)

En contraste, la afirmación de que STEM-AGI alcanzará el estrecho objetivo de “capacidad científica par-humana” y permanecerá en ese nivel durante el tiempo suficiente para permitir que la humanidad se adapte y ajuste, tiene un carácter conjuntivo.

Mucha gente cree que el AGI a nivel STEM es peligroso por algo oscuro sobre los “agentes” o la autoconciencia. Pero la gente del sitio: Intelligence.Org diría que el peligro está en la naturaleza de las secuencias de acción que llevan al mundo a un estado muy difícil de lograr. Llamemos a estas secuencias “planes”.

Si elegimos al azar un plan del espacio de todos los planes posibles (ponderados por su longitud, en cualquier lenguaje formal existente), y lo único que sabemos del plan es que lo ejecuta con éxito algún objetivo tecnológico sobrehumanamente ambicioso como “inventar un plan para hacer una emulación completa del cerebro humano”, y luego presionamos un botón para ejecutar el plan, mataría a todos los humanos, con mucha probabilidad.

¿A que se debería este fenómeno?

“Inventar una emulación completa del cerebro humano” es una tarea bastante difícil y, para tener éxito, normalmente requiere adquirir una gran cantidad de conocimientos y capacidades cognitivas y tecnológicas, suficientes para hacer muchas otras cosas peligrosas.

Es más probable que “inventar una emulación completa del cerebro humano” tenga éxito si el plan también incluye pasos que reúnan y controlen tantos recursos como sea posible, eliminen amenazas potenciales, etc. Estas son “estrategias instrumentales convergentes”, estrategias que son útiles para llevar al mundo hacia una dirección particular, casi sin importar hacia qué dirección estés empujando.

Los cuerpos humanos y los alimentos, el agua, el aire, la luz solar, etc. que necesitamos para vivir son recursos (“estás hecho de átomos que la IA puede usar para otra cosa”); y también somos amenazas potenciales (por ejemplo, podríamos construir una IA superinteligente rival que ejecute un plan totalmente diferente). El peligro está en el trabajo cognitivo, no en alguna característica complicada o emergente del “agente”; está en la tarea misma.

No es que el espacio abstracto de los planes haya sido construido por mentes malvadas que odian a los humanos; es que la tesis de la convergencia instrumental es válida para los planes mismos. En general, los planes que tienen éxito en objetivos como “construir una emulación completa del cerebro humano” tienden a ser peligrosos.

Esto es contrario a la intuición porque la mayoría de los “planes” impresionantes que encontramos hoy son generados por humanos, y es tentador ver los planes sólidos a través de una lente humana. Pero los humanos tenemos valores, estilos de pensamiento y capacidades enormemente superpuestos.

La forma en que estamos creando IA

Estamos creando “IA” en el sentido de crear procesos de búsqueda poderosos y generales (y procesos de búsqueda de procesos de búsqueda), no creando “IA” en el sentido de crear ~humanos simpáticos, pero de silicio.

El Aprendizaje Automático (ML) actual a menudo encuentra soluciones que parecen optimizar la tarea que se le asignó, pero en realidad no están optimizando la tarea de manera efectiva. La maximización de los objetivos superficiales puede tener consecuencias no deseadas para la humanidad.

Estos problemas se aplican a los sistemas entrenados para imitar a los humanos. Si estos sistemas escalan para poder hacer cosas como “construir una emulación de todo el cerebro”, entonces nos enfrentamos al problema de que la mayoría de las formas de imitar con éxito a los humanos no parecen “construir un ser humano”. En cambio, parecen “construir un proceso de optimización relativamente complejo y extraño que sea bueno en tareas de imitación (y potencialmente en muchas otras tareas)”.

El futuro es generalmente difícil de predecir, por lo que simplemente no es posible tener una confianza racional en que las cosas vayan bien o malIncluso si observas docenas de argumentos y encuadres diferentes y los que resisten el escrutinio casi todos parecen apuntar en la misma dirección, siempre es posible que estés cometiendo algún error invisible de razonamiento que cause fallas correlacionadas en muchos lugares del sistema. una vez.

Necesitamos tener cuidado al diseñar sistemas de IA con ML asegurándonos de que estén optimizando la tarea de manera efectiva y no tengan consecuencias no deseadas para la humanidad.

No hace falta ser un ser humano para modelar humanos, como tampoco hace falta ser una nube para modelar bien las nubes. La única razón por la que esto es más confuso en el caso de “predecir humanos” que en el caso de “predecir patrones climáticos” es que tanto los humanos como los sistemas de IA son inteligencias, por lo que es más fácil confundir “la IA modela a los humanos” y «la IA es básicamente un ser humano”.

Los humanos y las cosas que se parecen más a procesos de búsqueda aleatoria que a humanos tienen una gran diferencia en la forma en que funcionan sus cerebros.

Los humanos tienen una maquinaria complicada en sus cerebros que les permite tener valores, emociones, intuiciones, creatividad, etc. Las cosas que se parecen más a procesos de búsqueda aleatoria que a humanos tienen una maquinaria más simple en sus cerebros que les permite buscar soluciones a problemas específicos, pero sin tener en cuenta los aspectos éticos, sociales o estéticos.

(La amabilidad no es natural y la IA superinteligente es necesaria para un futuro asombroso, pero está lejos de ser suficiente). Los humanos no son tablas rasas en los aspectos relevantes, de modo que simplemente criar una IA como un humano resuelve el problema.

Es probable que la IA STEM supere ampliamente las capacidades STEM humanas, lo que confiere una ventaja decisiva. No estamos en camino de saber cómo dirigir la IA-STEM hacia los objetivos previstos, y las IA-STEM que persiguen objetivos no deseados tienden a tener subobjetivos instrumentales como «controlar todos los recursos».

Los cronogramas de AGI a nivel STEM no parecen tan largos podrían ser 5 años a 15, (o sea que estarán listos para cuando nuestros estudiantes que recien entran a la escuela salgan del secundario). El autor menciona los plazos porque son una de las principales razones por las que es pesimista sobre nuestras perspectivas, y agrega: Si supiera que faltan 200 años para AGI, creería que todo va bien.

Creyendo firmemente que necesitamos tener cuidado al diseñar sistemas de IA y ML para asegurarnos de que estén optimizando la tarea de manera efectiva y no tengan consecuencias no deseadas para la humanidad.

En mi opinión personal, el ML y el mundo en general no se están tomando esto en serio ahora mismo y obviamente esto es algo que podemos cambiar. Pero hasta que esto cambie, las cosas se seguirán haciendo muy mal.

La mayoría de las personas que se toman el riesgo de la IA con cierta seriedad no están, en gran medida, dispuestas a preocuparse por las cosas hasta que se haya demostrado experimentalmente que son peligrosas. Lo cual es un tipo de metodología letal que se puede adoptar cuando se trabaja con una IA más inteligente que los humanos.

Mi imagen básica de por qué el mundo no está respondiendo adecuadamente es la de los cuatro desacuerdos de mentalidad detrás de los desacuerdos sobre el riesgo existencial en Aprendizaje Automático, la difusión demasiado lenta de buenas conversaciones sobre AGI en ML y los equilibrios inadecuados.

Como se dijo antes, el ML (Machine Learning o Aprendizaje Automático) actual es muy opaco y principalmente nos permite intervenir en los proxies de comportamiento para lo que queremos, en lugar de permitirnos diseñar directamente las características deseables.

Tal como existe hoy en día requiere que los datos estén fácilmente disponibles y sean seguros de proporcionar. Por ejemplo, no podemos entrenar al AGI firmemente sobre “no matar a la gente” porque no podemos proporcionar ejemplos reales de cómo mata a la gente para entrenar contra el comportamiento que no queremos; solo podemos dar proxies defectuosos y trabajar por dirección indirecta.

Hay muchas habilidades específicas que parecen ser posibles para el tipo de civilización que puede implementar una optimización más inteligente que los humanos, que están muy fuera de nuestro alcance, sin un camino obvio para lograrlas con redes profundas opacas incluso si tuviéramos tiempo ilimitado para trabajar en algún conjunto relativamente concreto de direcciones de investigación.

(El tiempo ilimitado es suficiente si podemos establecer una dirección de investigación más abstracta/indirecta, como “piensa en el problema durante mucho tiempo hasta que encuentres alguna solución”. Seguramente hay caminos a seguir; solo que no sabemos cuáles son hoy. , lo que nos pone en una situación peor.)

Por ejemplo, no sabemos cómo inspeccionar el cerebro de un sistema de IA que desarrolla nanotecnología para verificar que solo está pensando en una habitación específica, que representa internamente el objetivo deseado, que dirige su optimización a esa representación, que tiene internamente un horizonte de planificación particular y una variedad de límites de capacidad, que no puede pensar en optimizadores (o específicamente en humanos), o que de otra manera tiene los temas correctos en una lista blanca o negra interna.

Finalmente los dejo con una reflexión de Frank Herbert, que considero muy apropiada en estas circunstancias que estamos viviendo:

No importa cuán exótica se vuelva la civilización humana, no importa el desarrollo de la vida y la sociedad ni la complejidad de las relaciones máquina – hombre; sea como sea, siempre se producen interludios de solitario poder durante los cuales el curso de la humanidad, el auténtico futuro de la humanidad, depende de las acciones relativamente simples de una sola individualidad.

Un desarrollo del Dr Fabián Sorrentino a partir del artículo en Inglés publicado en el sitio web de Intelligence.Org.
Agradezco la ayuda de Bing Chat para sintetizar conceptos que resultan complejos.