Capteurs d’images avec traitement par IA intégré | Sony

Sony annonce la commercialisation imminente de deux modèles de capteurs à vision intelligente, les tout premiers capteurs d’images au monde à intégrer des fonctionnalités de traitement par intelligence artificielle (IA).

Cette intégration directement dans le capteur d’images permet non seulement l’accélération du processus d’IA en périphérie du réseau et l’extraction sélective des seules données nécessaires, mais aussi, lors de l’utilisation de services Cloud, la réduction de la latence des transmissions des données, le respect de la vie privée et une diminution de la consommation d’énergie et des coûts de communication.

Ces produits ouvrent de nouveaux horizons dans le domaine du développement d’appareils équipés d’IA, avec un large spectre d’applications dans les secteurs du commerce de détail et de l’équipement industriel, mais aussi en matière d’optimisation de systèmes connectés au cloud.

Déjà disponible, le capteur à vision intelligente IMX500 de type 1/2.3 (7,857 mm de diagonale) présente environ 12,3 mégapixels effectifs (puce seule). Disponible à partir de juin, le capteur à vision intelligente IMX501 de type 1/2.3 (7,857 mm de diagonale) présente environ 12,3 mégapixels effectifs (circuit intégré).

Les capteurs Sony présentent une configuration empilée composée d’une puce pixel et d’une puce logique. Ils sont les premiers au monde à intégrer une fonctionnalité d’analyse et de traitement des images par IA dans la puce logique. Le signal acquis par la puce de pixels est traité par IA sur le capteur : il permet ainsi de se passer de processeurs haute performance ou de mémoire externe et d’élaborer des systèmes d’IA en périphérie du réseau. Grâce à la génération de métadonnées (informations sémantiques appartenant aux données d’images) au lieu d’informations d’images, le capteur favorise la réduction du volume d’informations et le respect de la vie privée. En outre, l’intégration de l’IA permet de diversifier les fonctionnalités offertes et de proposer des applications polyvalentes, telles que le suivi d’objets en temps réel avec un traitement par IA à grande vitesse. Enfin, il est possible de choisir différents modèles d’IA par réécriture de la mémoire interne pour les adapter aux besoins de l’utilisateur ou aux conditions du lieu d’utilisation.

L’expansion de l’IoT a entraîné la connexion au Cloud de dispositifs polymorphes, ainsi que la banalisation de systèmes qui traitent, dans le Cloud et grâce à l’IA, les informations obtenues de ces dispositifs. Mais le foisonnement des informations traitées dans le Cloud pose différents problèmes : une latence plus importante au niveau de la transmission des données qui entrave le traitement en temps réel des informations, une inquiétude croissante des utilisateurs concernant la sécurité du stockage de leurs données personnelles et d’autres problèmes liés à l’augmentation de la consommation d’énergie et des coûts de communication des services Cloud.

Caractéristiques principales

La puce de pixels est rétro-éclairée et dispose d’environ 12,3 mégapixels effectifs pour capturer des informations sur un grand angle de vue. En complément du circuit du capteur d’images classique, la puce logique est dotée d’un processeur de signal numérique (DSP) original de Sony dédié au traitement du signal par IA et de la mémoire pour le modèle d’IA. Cette configuration permet de se passer de processeurs haute performance ou de mémoire externe, et de créer des systèmes d’IA en périphérie du réseau.

Les signaux acquis par la puce de pixels sont d’abord traités par un ISP (processeur de signal d’image) et l’IA sur la puce logique ; les informations extraites étant produites sous forme de métadonnées, les données à traiter sont moindres. En outre, ce processus permet de diminuer les risques de sécurité et d’améliorer la protection de la vie privée en s’assurant que les informations des images ne sont pas transmises. En plus de l’image enregistrée par le capteur d’image traditionnel, les utilisateurs peuvent adapter le format de sortie des données à leurs besoins et à leur utilisation en optant pour un format de sortie ISP (YUV/RVB) ou en choisissant des extractions d’une zone d’intérêt spécifique (ROI).

Lorsqu’une vidéo est enregistrée à l’aide d’un capteur d’images traditionnel, il est nécessaire d’envoyer les données de chaque image de sortie pour les traiter par IA. Cette procédure augmente le volume de données transmis et ralentit les performances en temps réel. Mais les nouveaux capteurs Sony effectuent un traitement ISP et un traitement IA à grande vitesse (3,1 millisecondes pour MobileNet V1) sur la puce logique, et exécutent ainsi l’ensemble du processus en une seule vidéo. Cette conception permet d’assurer un suivi des objets de haute précision et en temps réel tout en enregistrant la vidéo.

Fabricant : Sony

Référence : IMX500 et IMX501