Stockage hautes performances pour big data et analytique

Activez l'échelle de l'entreprise pour vos charges de travail d'analyse.

Le stockage de données massives est une préoccupation croissante pour de nombreuses entreprises

La capacité à prendre des décisions éclairées à partir de grands ensembles de données est essentielle pour les entreprises d'aujourd'hui. L'intelligence que les entreprises tirent de l'analyse des données alimente leur croissance et leur capacité à être compétitives.

Par exemple, les annonceurs en ligne s'appuient sur l'analyse des données pour optimiser le rendement des annonces et prévoir le comportement des acheteurs. Les plateformes de médias sociaux l'utilisent pour mieux comprendre ce qui est important pour leurs utilisateurs. Les sociétés de logistique analysent de grandes quantités de données provenant de capteurs et de dispositifs (IoT) pour réduire les coûts et accélérer la livraison. L’analyse des données est essentielle au développement de technologies de véhicules autonomes.

Les sources de données pour l'analyse incluent les téléphones mobiles, les capteurs et les appareils portables, ainsi que les applications et les infrastructures du centre de données et du cloud.

Un stockage adéquat est un problème urgent pour les analyses de données de toutes sortes.

  • Comment le stockage doit-il être associé aux ressources de calcul pour garantir une haute disponibilité des données avec une faible latence et une évolutivité horizontale?
  • Quelles sont les conditions requises pour qu'un système de stockage de fichiers réponde à ces charges de travail exigeantes?
  • Quelles sont les meilleures stratégies pour dimensionner le stockage au fil du temps?

Exigences de stockage de l'analyse de données

L'analyse de données peut générer des informations à partir d'ensembles de données ou de flux de données massifs avec divers flux de travail. Deux de ces flux de travail sont des analyses par lots (big data) et des analyses en continu.

Qu'il s'agisse de traitement par lots ou en continu, l'analyse des données exige de grandes performances du système de stockage de fichiers. Une solution consistait à attacher directement les ressources de calcul aux ressources de stockage. Le stockage en pièce jointe directe crée des silos de données et est difficile à gérer et à adapter de manière efficace, mais l’idée que la proximité assurerait la performance a fait sa popularité. Le stockage à connexion directe pour l'analyse des données découle des hypothèses selon lesquelles les bandes passantes disque dépassent les bandes passantes réseau et que les E / S disque représentent une fraction considérable de la durée de vie d'une tâche.

Avec des vitesses de réseau accrues et des techniques analytiques plus complexes, ces hypothèses ne sont plus valables. Le stockage en réseau hautement évolutif peut désormais surpasser le stockage à connexion directe. De plus, le stockage accessible via un réseau est compétitif et ne crée pas de silos de données. Aujourd'hui, une stratégie plus efficace pour les flux de travail d'analyse de données, tels que ceux qui utilisent Apache Spark ou Spark Streaming, consiste à mettre à l'échelle le calcul et le stockage séparément avec un stockage haute performance connecté au réseau.

Étude de cas vidéo

Découvrez comment les chercheurs du Institut de calcul scientifique et d'imagerie scientifique (SCI) à l’université d’Utah, utilisez Qumulo pour réduire le temps de traitement de plusieurs mois à plusieurs jours.

Qumulo pour les services financiers

En savoir plus sur Qumulo pour les services financiers avec cette fiche technique.

Qumulo pour le stockage de données volumineuses et l'analyse

Le logiciel Qumulo est un système de stockage de fichiers moderne qui offre les performances, l'évolutivité et les fonctionnalités d'entreprise requises par les charges de travail d'analyse de données. Qumulo s'exécute sur du matériel standard sur site et en tant qu'instances EC2 sur AWS.

Obtenez vos résultats plus rapidement

Qumulo a un meilleur débit de lecture soutenu que le stockage à connexion directe pour les charges de travail analytiques. La performance de Qumulo provient de son architecture hybride SSD / HDD et de sa technologie avancée de système de fichiers distribués.

N'achetez que le stockage dont vous avez besoin

Avec Qumulo, les clients contrôlent la quantité de stockage qu’ils achètent et peuvent éviter les surapprovisionnements. Avec Qumulo, vous économisez de l'argent en achetant uniquement le stockage dont vous avez besoin, quelle que soit la croissance de votre cluster de calcul.

Éliminer les silos de données

Qumulo vous fournit un seul espace de noms pour toutes vos données. Un référentiel unique élimine les copies multiples de données et simplifie votre flux de travail.
T

Résoudre les problèmes de stockage en temps réel

Qumulo permet aux administrateurs de rechercher et de résoudre des problèmes en temps réel. Il est facile de gérer vos projets et vos utilisateurs lorsque vous avez une idée de la façon dont le stockage est utilisé.

Exécuter dans le nuage et sur les lieux

La réplication continue signifie que vous pouvez facilement transférer des données de votre cluster Qumulo sur site vers votre cluster Qumulo dans AWS, effectuer leurs calculs, puis transférer les résultats vers le stockage sur site.

Workflow d'analyse de données

Voici un exemple de flux de travail d'analyse de données en continu montrant Qumulo comme stockage central pour l'ensemble du processus, de l'acquisition des données à leur affichage et à leur utilisation.

diagramme d'un flux de travail d'analyse de données en continu utilisant la plateforme de stockage Big Data de Qumulo

Les entrées peuvent provenir d’appareils tels que les téléphones cellulaires, les instruments scientifiques, les véhicules autonomes et les appareils série. Il peut également provenir d'applications, qui stockent généralement leurs données dans le système de fichiers de Qumulo, puis envoient un lien aux logiciels de flux de données d'événements. Les ressources de calcul traitent les données et stockent et extraient les fichiers de Qumulo. Enfin, les résultats sont livrés et affichés sous forme d'informations sur un tableau de bord ou utilisés pour déclencher une action particulière, telle qu'une alerte de sécurité.

«La gestion des données avec Qumulo est si simple qu'il est difficile de décrire l'impact. Cela nous a permis d’obtenir un retour sur investissement considérable en termes de gain de temps et de résolution des problèmes, et le fait de disposer d’un stockage fiable en lequel nous pouvons enfin avoir confiance nous incite à l’utiliser plus largement dans l’ensemble de la société. ”

John Beck - Directeur informatique Hyundai MOBIS

Vous voulez en savoir plus?

Donnez-nous 10 minutes de votre temps, et nous vous montrerons comment repenser le stockage de données.

OBTENIR UNE DEMO