La exploración estructurada permite que los cerebros biológicos aprendan más rápido que la IA, sugiere un estudio

Los neurocientíficos han descubierto cómo las acciones exploratorias permiten a los animales aprender su entorno espacial de manera más eficiente. Sus hallazgos podrían ayudar a construir mejores agentes de IA que puedan aprender más rápido y requieran menos experiencia.

Investigadores del Sainsbury Wellcome Center y la Unidad de Neurociencia Computacional Gatsby de la UCL descubrieron que las carreras exploratorias instintivas que realizan los animales no son aleatorias. Estas acciones intencionadas permiten que los ratones aprendan un mapa del mundo de manera eficiente. El estudio, publicado hoy, 28 de abril, en Neuronadescribe cómo los neurocientíficos probaron su hipótesis de que las acciones exploratorias específicas que realizan los animales, como lanzarse rápidamente hacia los objetos, son importantes para ayudarlos a aprender a navegar en su entorno.

«Hay muchas teorías en psicología sobre cómo la realización de ciertas acciones facilita el aprendizaje. En este estudio, probamos si simplemente observar los obstáculos en un entorno era suficiente para aprender sobre ellos, o si las acciones guiadas por los sentidos ayudan a los animales a desarrollar una capacidad cognitiva. mapa del mundo», dijo el profesor Tiago Branco, líder de grupo en el Sainsbury Wellcome Center y autor correspondiente del artículo.

En trabajos anteriores, los científicos de SWC observaron una correlación entre qué tan bien aprenden los animales a sortear un obstáculo y la cantidad de veces que han corrido hacia el objeto. En este estudio, Philip Shamash, SWC Ph.D. estudiante y primer autor del artículo, llevó a cabo experimentos para probar el impacto de evitar que los animales realicen carreras exploratorias. Al expresar una proteína activada por la luz llamada canalrodopsina en una parte de la corteza motora, Philip pudo usar herramientas optogenéticas para evitar que los animales iniciaran carreras de exploración hacia los obstáculos.

El equipo descubrió que aunque los ratones habían pasado mucho tiempo observando y olfateando obstáculos, si se les impedía correr hacia ellos, no aprendían. Esto muestra que las propias acciones exploratorias instintivas están ayudando a los animales a aprender un mapa de su entorno.

Para explorar los algoritmos que el cerebro podría estar usando para aprender, el equipo trabajó con Sebastian Lee, Ph.D. estudiante en el laboratorio de Andrew Saxe en SWC, para ejecutar diferentes modelos de aprendizaje por refuerzo que las personas han desarrollado para agentes artificiales, y observar cuál reproduce más fielmente el comportamiento del ratón.

Hay dos clases principales de modelos de aprendizaje por refuerzo: sin modelos y basados ​​en modelos. El equipo descubrió que, en algunas condiciones, los ratones actúan sin modelo, pero en otras condiciones, parecen tener un modelo del mundo. Y así, los investigadores implementaron un agente que puede arbitrar entre sin modelo y basado en modelo. No es necesariamente así como funciona el cerebro del ratón, pero les ayudó a comprender lo que se requiere en un algoritmo de aprendizaje para explicar el comportamiento.

«Uno de los problemas de la inteligencia artificial es que los agentes necesitan mucha experiencia para aprender algo. Tienen que explorar el entorno miles de veces, mientras que un animal real puede aprender un entorno en menos de diez minutos. Creemos que esto es en parte porque, a diferencia de los agentes artificiales, la exploración de los animales no es aleatoria y se centra en los objetos salientes. Este tipo de exploración dirigida hace que el aprendizaje sea más eficiente y que necesiten menos experiencia para aprender”, explica el profesor Branco.

Los siguientes pasos para los investigadores son explorar el vínculo entre la ejecución de acciones exploratorias y la representación de subobjetivos. El equipo ahora está realizando grabaciones en el cerebro para descubrir qué áreas están involucradas en la representación de subobjetivos y cómo las acciones exploratorias conducen a la formación de las representaciones.

Proporcionado por Sainsbury Wellcome Center