Como cualquier conductor sabe, los accidentes pueden ocurrir en un abrir y cerrar de ojos, por lo que cuando se trata del sistema de cámaras en vehículos autónomos, el tiempo de procesamiento es crítico. El tiempo que tarda el sistema en tomar una imagen y entregar los datos al microprocesador para el procesamiento de la imagen podría significar la diferencia entre evitar un obstáculo o sufrir un accidente grave.
El procesamiento de imágenes en el sensor, en el que el propio sensor de imagen extrae características importantes de los datos sin procesar en lugar del microprocesador separado, puede acelerar el procesamiento visual. Hasta la fecha, las demostraciones de procesamiento en el sensor se han limitado a materiales de investigación emergentes que son, al menos por ahora, difíciles de incorporar en sistemas comerciales.
Ahora, investigadores de la Escuela de Ingeniería y Ciencias Aplicadas John A. Paulson de Harvard (SEAS) han desarrollado el primer procesador en el sensor que podría integrarse en chips sensores de imágenes de silicio comerciales, conocido como semiconductor complementario de óxido de metal (CMOS). sensores de imagen, que se utilizan en casi todos los dispositivos comerciales que necesitan capturar información visual, incluidos los teléfonos inteligentes.
La investigación se publica en Naturaleza Electrónica.
«Nuestro trabajo puede aprovechar la industria principal de la electrónica de semiconductores para llevar rápidamente la computación en el sensor a una amplia variedad de aplicaciones del mundo real», dijo Donhee Ham, profesor de ingeniería eléctrica y física aplicada de Gordon McKay en SEAS y autor principal del artículo. .
Ham y su equipo desarrollaron una matriz de fotodiodos de silicio. Los chips de detección de imágenes disponibles comercialmente también tienen una matriz de fotodiodos de silicio para capturar imágenes, pero los fotodiodos del equipo están dopados electrostáticamente, lo que significa que la sensibilidad de los fotodiodos individuales, o píxeles, a la luz entrante puede ajustarse mediante voltajes. Una matriz que conecta varios fotodiodos ajustables por voltaje juntos puede realizar una versión analógica de las operaciones de multiplicación y suma centrales para muchas tuberías de procesamiento de imágenes, extrayendo la información visual relevante tan pronto como se captura la imagen.
«Estos fotodiodos dinámicos pueden filtrar imágenes simultáneamente a medida que se capturan, lo que permite que la primera etapa del procesamiento de la visión se mueva del microprocesador al sensor mismo», dijo Houk Jang, becario postdoctoral en SEAS y primer autor del artículo.
La matriz de fotodiodos de silicio se puede programar en diferentes filtros de imagen para eliminar detalles innecesarios o ruido para diversas aplicaciones. Un sistema de imágenes en un vehículo autónomo, por ejemplo, puede requerir un filtro de paso alto para rastrear las marcas de carril, mientras que otras aplicaciones pueden requerir un filtro que difumine para reducir el ruido.
«De cara al futuro, prevemos el uso de este procesador en el sensor basado en silicio no solo en aplicaciones de visión artificial, sino también en aplicaciones bioinspiradas, en las que el procesamiento temprano de la información permite la ubicación conjunta de sensores y unidades de cómputo, como en el cerebro», dijo Henry Hinton, estudiante graduado de SEAS y coautor del artículo.
A continuación, el equipo tiene como objetivo aumentar la densidad de los fotodiodos e integrarlos con circuitos integrados de silicio.
«Al reemplazar los píxeles estándar no programables en los sensores de imagen de silicio comerciales con los programables desarrollados aquí, los dispositivos de imágenes pueden recortar de manera inteligente los datos innecesarios, por lo que podrían ser más eficientes tanto en energía como en ancho de banda para abordar las demandas de la próxima generación de aplicaciones sensoriales», dijo Jang.
La investigación fue coescrita por Woo-Bin Jung, Min-Hyun Lee, Changhyun Kim, Min Park, Seoung-Ki Lee y Seongjun Park. Fue apoyado por el Instituto de Tecnología Avanzada de Samsung bajo el Contrato A30216 y por el Centro de Ciencia y Tecnología de la Fundación Nacional de Ciencias para Materiales Cuánticos Integrados bajo el Contrato DMR-1231319.
