Le développement de technologies pour conduite autonome est actuellement le sujet le plus en vogue de l’industrie automobile. Des milliards de dollars et des euros sont dépensés pour développer une nouvelle génération de capteurs et de technologies qui collectent, traitent, corrélent et analysent les données de capteurs de différents types.

Systèmes de conduite autonome récents présentés au CES 2019 [1] sont équipés de quatre LIDAR à ondes courtes, de cinq LIDAR à ondes longues, de six radars à balayage électronique (ESR), de quatre radars à courte portée, d’une caméra trifocale, d’une caméra de feu de signalisation et d’autres capteurs. Même en l'absence de capteurs LIDAR, un véhicule de test typique avec des capteurs vidéo et RADAR actuels produit jusqu'à 30 TB de données brutes par jour. Cela pose des problèmes pour l'infrastructure de centre de données typique en raison de la quantité incroyable de données. Compte tenu du parc de véhicules de test 10 fonctionnant environ X jours par an, la quantité de données 200 PB générées doit être stockée, traitée et gérée.

Systèmes de fichiers évolutifs tels que Qumulo peut aider à relever ces défis avec un très système de fichiers moderne qui peut atteindre plusieurs pétaoctets. Il fonctionne sur des plates-formes matérielles x64 standard de différents fournisseurs. Dans le cloud, il est très facile à gérer et peut être intégré à tout environnement d'automatisation grâce à son Fonctionnalité de l'API.

Il y a plus qu'un défi de capacité

Outre les énormes volumes de capacité nécessitant des solutions d'évolutivité modernes, d'autres défis doivent être pris en compte. Par exemple:

  • L'ingestion de données est globale. En raison de la quantité de données collectées dans les véhicules de test, elles ne peuvent pas être téléchargées en ligne vers le centre de données d'une entreprise. Au lieu de cela, les données doivent être chargées localement dans le système de stockage lorsque la voiture est «à la maison». En général, les voitures testées roulent dans toutes les régions du monde, ce qui signifie que les données seront importées dans un système central de toutes les régions du monde.
  • L'accès aux données est global. Le traitement des données comporte plusieurs étapes qui proviennent également de plusieurs régions. Par exemple, l’annotation de données est dans une large mesure un processus manuel. Des gens du monde entier le font. au moins la partie des données utilisée comme données d'apprentissage pour les algorithmes ML doit être annotée ou validée par des humains.
  • L'accès aux données doit être rapide. Plusieurs étapes de processus nécessitent un accès à faible temps de latence à des données telles que le traitement vidéo, la reconnaissance d'objets et l'apprentissage par la machine.
  • Accès haut débit. HIL Les tests SIL (logiciel en boucle) et SIL (logiciel en boucle) nécessitent un débit très élevé. Généralement, de nombreux flux sont lus en parallèle pour réduire les temps de simulation. Considérons, par exemple, que les flux parallèles 80 de données vidéo avec 400 Mo / s par flux nécessitent le débit 32 Go / s du système de stockage.

Ces exigences sont contradictoires dans une certaine mesure. Alors que pour l'acquisition globale et l'accès, le stockage d'objets dans le nuage semble être la solution idéale, l'accès rapide et large bande passante sont des attributs fournis par le stockage du système de fichiers local. Et bien que les simulations SIL puissent fonctionner complètement dans le cloud, HIL exige que des dispositifs physiques et des tests (par exemple les caméras vidéo, les capteurs LIDAR et RADAR) soient présents dans la validation. Ces appareils ne peuvent évidemment pas être «placés» dans le cloud et doivent accéder à des données locales à haut débit. Dans le même temps, les applications HIL et SIL nécessitent généralement un système de fichiers pour l’accès aux données.

C'est pour cette raison que j'ai vu des entreprises adopter une approche hybride dans laquelle les données sont ingérées et prétraitées dans des centres de données locaux, puis téléchargées vers le cloud où elles sont stockées et indexées de manière centralisée (voir la figure 1).

diagramme montrant le système adas comprenant le composant de stockage de données adas
Figure 1: Environnement mixte avec stockage de fichiers local hérité et stockage en nuage

Cette approche présente certains inconvénients. Le stockage de fichiers local est généralement développé de manière historique et n’est pas conçu pour gérer le volume de données. Il n’est pas non plus adapté à l’échange de données avec le cloud. Les API de gestion n'existent pas ou sont complètement différentes des instances de cloud.

Comment Qumulo résout les problèmes de données ADAS

Qumulo est le système de fichiers le plus moderne du marché. Il peut engendrer de nombreux nœuds, il peut être déployé sur diverses plates-formes matérielles, et il peut également fonctionner dans le cloud. La gestion du système, les API et les protocoles d'accès sont 100 pour cent similaires sur site et dans le cloud. Qumulo fournit des scripts AWS (Terraform et Cloud Formation) permettant de déployer un cluster de système de fichiers évolutif dans le cloud en quelques minutes.

Qumulo fournit également toutes les fonctionnalités d'entreprise dans le cloud que les utilisateurs attendent des systèmes modernes: multi-protocole accès (NFS, SMB, FTP, HTTP), multi-sites réplication, des instantanés, quotas, capacités analytiques pour le suivi et la planification, et autres. La figure 2 illustre une telle implémentation hybride pour le développement ADAS et la simulation HIL / SIL dans une Environnement AWS.

diagramme montrant le système adas comprenant le composant de stockage de données adas
Figure 2: Fichier en mode scale-out sur site et dans le cloud

En déployant un tel solution hybride avec Qumulo, les frontières entre les systèmes de fichiers locaux et le cloud diminuent. Les exigences susmentionnées et contradictoires peuvent être satisfaites beaucoup plus facilement:

  • Les fichiers peuvent être ingérés de n'importe où sur un système de fichiers Qumulo local
  • Les fichiers peuvent être répliqués entre des centres de données et des instances de cloud
  • Les simulations HIL peuvent fonctionner localement avec une latence faible et une bande passante élevée
  • Les simulations SIL peuvent être exécutées sur site ou dans le cloud (à l'aide d'instances de calcul dans le cloud)
  • Le stockage Qumulo peut être mis en place dans le nuage en quelques minutes. Cela le rend parfaitement adapté pour exécuter des charges de travail temporaires, telles que la formation à l'apprentissage automatique ou les simulations SIL.
  • Les données peuvent être hiérarchisées de Qumulo (localement ou dans le cloud) aux compartiments S3
  • Le système de catalogue de Media Asset Management peut accéder à Qumulo via des API riches pour la gestion et l'automatisation de l'accès même aux données.
  • La gestion d'une instance Qumulo est similaire sur site et dans le cloud. Cela réduit les coûts d'administration par rapport aux scénarios dans lesquels différentes solutions sont déployées sur site ou dans le cloud.
  • Les systèmes de fichiers Qumulo se développent à la demande, que vous ajoutiez un nœud physique sur site ou une autre instance de calcul dans le cloud. Dans les deux cas, la capacité et les performances évoluent de manière linéaire.
  • Les fonctionnalités de stockage d'entreprise sont similaires dans le cloud et sur site
  • Les applications n'ont pas besoin d'être réécrites lorsqu'elles s'exécutent dans le cloud, car Qumulo fournit le même accès multiprotocole dans les deux environnements.

Pour savoir comment les entreprises automobiles utilisent Qumulo pour le développement ADAS, lisez notre étude de cas de Hyundai Mobis.

Les références

1 Appréciations: Unterwegs im Roboter-Taxi - Aptiv Fährt mit 30 autonomen BMWs

2 Datenaufzeichnung für die ADAS Entwicklung, Livre blanc

Partager avec votre réseau