Una placa de procesamiento de imágenes FWD-RK3588 rentable, con una CPU de 64 bits de 8 núcleos con una frecuencia de reloj de hasta 2,4 GHz

Este producto es una placa de procesamiento de imágenes integrada impulsada por el procesador Rockchip RK3588, que consiste principalmente en dos componentes: una placa de procesamiento central (SoM) y una placa portadora de interfaz.El RK3588 es el procesador de última generación de Rockchip., fabricado utilizando un nodo de proceso avanzado de 8nm. Cuenta con una CPU de 64 bits de 8 núcleos con una velocidad de reloj primaria de hasta 2.4GHz. El procesador integra un acelerador de IA incorporado NPU,la entrega de 6 TOPS de potencia de cómputo y el apoyo a los marcos de aprendizaje profundo convencionales.

La placa de procesamiento de imágenes integra tres interfaces de entrada de vídeo, incluidas dos interfaces MIPI CSI y una interfaz de vídeo digital BT.1120, lo que permite la captura de vídeo de alta definición de múltiples fuentes.Equipado con numerosas interfaces de comunicación a bordo, la placa logra una transmisión de datos de vídeo estable y eficiente para satisfacer los exigentes requisitos de los sistemas de visión integrada de alto rendimiento.El producto ha completado la adaptación del controlador principal bajo el entorno Linux (Ubuntu RootFS), permitiendo a los usuarios proceder directamente al desarrollo de la capa de aplicación.

Este producto ha completado la adaptación y verificación de todos los controladores periféricos básicos basados en el sistema Linux (equipados con el sistema de archivos Ubuntu por defecto).Los usuarios no necesitan preocuparse por los controladores de bajo nivel complejos y pueden realizar directamente el desarrollo de la capa de aplicación utilizando llamadas estándar del sistema.

• Los controladores del procesador principal:Adaptó los controladores de gestión de energía, reloj, interrupción y DMA del RK3588, asegurando una programación eficiente de la potencia de computación de la CPU y la NPU.

• Los controladores de entrada de vídeo:

  • El controlador MIPI:Adaptado la interfaz de la cámara MIPI CSI-2 y los sensores de imagen, que admiten la adquisición de datos de imagen de la cámara.

  • BT.1120 Conducción:Adaptado el chip del receptor de vídeo digital para permitir la adquisición de datos de vídeo a través de la interfaz BT.1120.

• El controlador de interfaz de red:Ethernet adaptativo Gigabit, que admite transmisión de video en red (RTSP) y control de comando remoto.

• Los controladores de la interfaz de comunicación:Interfaces integradas adaptadas como UART, I2C y GPIO. Los usuarios pueden lograr directamente el control y la interacción de datos con dispositivos externos a través de operaciones de archivos o llamadas al sistema.

La placa integra dos tipos de interfaces de entrada de vídeo para satisfacer los requisitos de conexión de diferentes sensores:

• Entrada de vídeo digital MIPI:Proporciona una interfaz V4L2 estándar. Los usuarios pueden adquirir datos de fotogramas de imagen a través de llamadas de sistema estándar comoabiertoy- ¿Qué quieres decir?.

• BT.1120 Entrada de vídeo digital:Proporciona una interfaz de dispositivo de video unificada a la capa de aplicación a través del marco V4L2, facilitando el procesamiento de software unificado.

Integra una NPU de arquitectura tri-núcleo que admite operaciones híbridas INT4/INT8/INT16/FP16, manejando fácilmente tareas de visión complejas como detección de objetos, clasificación y seguimiento.Proporciona la API de tiempo de ejecución RKNN, que es responsable de cargar los modelos RKNN, gestionar las entradas/salidas y ejecutar cálculos de inferencia en la NPU.

Para ayudar a los usuarios a comenzar rápidamente, proporcionamos ejemplos de algoritmos en ejecución.no somos responsables del rendimiento o la eficacia de los algoritmos en sí mismos):

• Detección de objetos:Proporciona un ejemplo de implementación de YOLOv5, que puede realizar directamente la detección de objetos en tiempo real en la corriente de video capturada y las cajas y categorías de límite de salida.

• Seguimiento de objetos:Integra ejemplos relevantes de algoritmos de seguimiento, lo que permite a los usuarios lograr un control de circuito cerrado basado en datos de distancia de error.

• Integración con las transmisiones de vídeo:El ejemplo del programa demuestra cómo alimentar los marcos de imagen en la NPU para la inferencia,y superponer los resultados de la inferencia (como los cuadros de límite) en el vídeo de salida a través de la función OSD (Display en pantalla), formando un bucle cerrado completo de aplicación de extremo a extremo.