Sam Altman, director ejecutivo y cofundador de OpenAI, habla durante una audiencia del Subcomité Judicial del Senado en Washington, DC, EE. UU., el martes 16 de mayo de 2023. El Congreso está debatiendo el potencial y las trampas de la inteligencia artificial a medida que aumentan los productos como ChatGPT preguntas sobre el futuro de las industrias creativas y la capacidad de diferenciar los hechos de la ficción.
eric lee | alcalde Bloomberg | Getty Images
La semana pasada, el CEO de OpenAI, Sam Altman, cautivó a una sala llena de políticos en Washington, DC, durante una cena, luego testificó durante casi tres horas sobre los riesgos potenciales de la inteligencia artificial en una audiencia del Senado.
Después de la audiencia, resumió su postura sobre la regulación de la IA, utilizando términos que no son muy conocidos entre el público en general.
«La seguridad de AGI es realmente importante y los modelos fronterizos deben ser regulados», tuiteó Altman. «La captura regulatoria es mala, y no deberíamos meternos con modelos por debajo del umbral».
En este caso, «AGI» se refiere a «inteligencia general artificial». Como concepto, se usa para referirse a una IA significativamente más avanzada de lo que es posible actualmente, una que puede hacer la mayoría de las cosas tan bien o mejor que la mayoría de los humanos, incluso mejorarse a sí misma.
Los «modelos fronterizos» son una forma de hablar sobre los sistemas de IA que son más caros de producir y que analizan la mayor cantidad de datos. Los modelos de lenguaje grande, como GPT-4 de OpenAI, son modelos de frontera, en comparación con los modelos de IA más pequeños que realizan tareas específicas como identificar gatos en fotos.
La mayoría de la gente está de acuerdo en que debe haber leyes que rijan la IA a medida que se acelera el ritmo de desarrollo.
«El aprendizaje automático, el aprendizaje profundo, durante los últimos 10 años más o menos, se desarrolló muy rápidamente. Cuando salió ChatGPT, se desarrolló de una manera que nunca imaginamos, que podría ir tan rápido», dijo My Thai, profesor de informática. en la Universidad de Florida. «Tememos que estamos corriendo hacia un sistema más poderoso que no comprendemos completamente ni anticipamos qué es lo que puede hacer».
Pero el lenguaje en torno a este debate revela dos campos principales entre académicos, políticos y la industria de la tecnología. Algunos están más preocupados por lo que llaman «seguridad de la IA.«El otro bando está preocupado por lo que llaman»Ética de la IA.«
Cuando Altman habló ante el Congreso, en su mayoría evitó la jerga, pero su tuit sugirió que está más preocupado por la seguridad de la IA, una postura compartida por muchos líderes de la industria en compañías como OpenAI dirigida por Altman, Google DeepMind y nuevas empresas bien capitalizadas. Les preocupa la posibilidad de construir un AGI hostil con poderes inimaginables. Este campo cree que necesitamos la atención urgente de los gobiernos para regular el desarrollo y prevenir un fin prematuro de la humanidad, un esfuerzo similar a la no proliferación nuclear.
«Es bueno escuchar a tantas personas que comienzan a tomarse en serio la seguridad de AGI», dijo el fundador de DeepMind y actual director ejecutivo de Inflection AI, Mustafa Suleyman. tuiteó el viernes. «Tenemos que ser muy ambiciosos. El Proyecto Manhattan costó el 0,4% del PIB de EE. UU. Imagínese lo que podría lograr hoy un programa equivalente de seguridad».
Pero gran parte de la discusión en el Congreso y en la Casa Blanca sobre la regulación es a través de una lente de ética de IA, que se enfoca en los daños actuales.
Desde esta perspectiva, los gobiernos deberían hacer cumplir la transparencia sobre cómo los sistemas de IA recopilan y usan datos, restringir su uso en áreas que están sujetas a leyes contra la discriminación, como la vivienda o el empleo, y explicar cómo la tecnología de IA actual se queda corta. la casa blanca Propuesta de declaración de derechos de AI desde fines del año pasado incluyó muchas de estas preocupaciones.
Este campo estuvo representado en la audiencia del Congreso por IBM La directora de privacidad, Christina Montgomery, dijo a los legisladores que cree que cada empresa que trabaja en estas tecnologías debería tener un punto de contacto de «ética de IA».
«Debe haber una guía clara sobre los usos finales de la IA o las categorías de actividad respaldada por la IA que son inherentemente de alto riesgo», dijo Montgomery al Congreso.
Cómo entender la jerga de la IA como un experto
Ver también: Cómo hablar sobre la IA como un experto
No sorprende que el debate sobre la IA haya desarrollado su propia jerga. Comenzó como un campo académico técnico.
Gran parte del software que se discute hoy se basa en los llamados modelos de lenguaje grande (LLM), que usan unidades de procesamiento gráfico (GPU) para predecir oraciones, imágenes o música estadísticamente probables, un proceso llamado «inferencia». Por supuesto, los modelos de IA deben construirse primero, en un proceso de análisis de datos llamado «entrenamiento».
Pero otros términos, especialmente de los defensores de la seguridad de la IA, son de naturaleza más cultural y, a menudo, se refieren a referencias compartidas y bromas internas.
Por ejemplo, la gente de seguridad de la IA podría decir que les preocupa convertirse en un clip de papel. Eso se refiere a un experimento mental popularizado por el filósofo Nick Bostrom que postula que una IA superpoderosa, una «superinteligencia», podría recibir la misión de hacer tantos clips como sea posible y, lógicamente, decidir matar a los humanos para hacer clips con ellos. sus restos
El logo de OpenAI está inspirado en este cuento, y la compañía incluso ha hecho clips con la forma de su logo.
Otro concepto en la seguridad de la IA es el «despegue duro» o «despegue rápidoque es una frase que sugiere que si alguien logra construir un AGI, ya será demasiado tarde para salvar a la humanidad.
A veces, esta idea se describe en términos de una onomatopeya —»espuma«, especialmente entre los críticos del concepto.
«Es como si creyeras en el ridículo escenario de ‘foom’ de despegue duro, lo que hace que parezca que no tienes ningún conocimiento de cómo funciona todo». tuiteó El jefe de Meta AI, Yann LeCun, que se muestra escéptico ante las afirmaciones de AGI, en un debate reciente en las redes sociales.
La ética de la IA también tiene su propia jerga.
Al describir las limitaciones de los sistemas LLM actuales, que no pueden entender el significado sino que simplemente producen un lenguaje que parece humano, la gente de ética de la IA a menudo los compara con «Loros estocásticos.«
La analogía, acuñada por Emily Bender, Timnit Gebru, Angelina McMillan-Major y Margaret Mitchell en un artículo escrito mientras algunos de los autores estaban en Google, enfatiza que, si bien los modelos sofisticados de IA pueden producir texto aparentemente realista, el software no entiende los conceptos detrás del lenguaje, como un loro.
Cuando estos LLM inventan hechos incorrectos en las respuestas, son «alucinando.»
Un tema que Montgomery de IBM presionó durante la audiencia fue «explicabilidad» en los resultados de IA. Eso significa que cuando los investigadores y los profesionales no pueden señalar los números exactos y la ruta de las operaciones que usan los modelos de IA más grandes para derivar su salida, esto podría ocultar algunos sesgos inherentes en los LLM.
«Tienes que tener explicabilidad en torno al algoritmo», dijo Adnan Masood, arquitecto de IA en UST-Global. «Anteriormente, si observas los algoritmos clásicos, te dice: ‘¿Por qué estoy tomando esa decisión?’ Ahora, con un modelo más grande, se están convirtiendo en este modelo enorme, son una caja negra».
Otro término importante es «barandillasque abarca el software y las políticas que las empresas de Big Tech están construyendo actualmente en torno a los modelos de inteligencia artificial para garantizar que no filtren datos ni produzcan contenido perturbador, que a menudo se denomina «saliendo de los rieles.«
También puede referirse a aplicaciones específicas que protegen el software de IA para que no se desvíe del tema, como Nvidia. «Barandillas NeMo» producto.
«Nuestra junta de ética de IA desempeña un papel fundamental en la supervisión de los procesos internos de gobierno de IA, creando barandillas razonables para garantizar que introduzcamos la tecnología en el mundo de manera responsable y segura», dijo Montgomery esta semana.
En ocasiones estos términos pueden tener múltiples significados, como en el caso de «comportamiento emergente.»
Un artículo reciente de Microsoft Research llamado «chispas de inteligencia general artificial» afirmó identificar varios «comportamientos emergentes» en GPT-4 de OpenAI, como la capacidad de dibujar animales usando un lenguaje de programación para gráficos.
Pero también puede describir lo que sucede cuando se realizan cambios simples a gran escala, como los patrones que hacen los pájaros cuando volando en manadao, en el caso de AI, qué sucede cuando millones de personas utilizan ChatGPT y productos similares, como spam generalizado o desinformación.
