Faire évoluer Splunk avec une architecture cloud hybride de classe entreprise

Splunk Architecture

Découvrez comment l'analyse de données intégrée de Qumulo fournit des informations détaillées sur l'efficacité et l'utilisation d'un déploiement Splunk.

Qu'est-ce que Splunk?

Splunk est une plateforme d'analyse de données de premier plan. Il rassemble de nombreux types de journaux et de données et d'index générés par la machine, analyse et crée des visualisations pour des ensembles de données très volumineux. Splunk fournit des analyses de données historiques et en temps réel et a développé un vaste écosystème comprenant des bibliothèques d'apprentissage automatique (ML) et divers types de kits de développement logiciel (SDK).

Splunk est-il évolutif ?

Splunk, comme Qumulo, est hautement évolutif, ce qui fait de Qumulo la plate-forme idéale pour exécuter les solutions Splunk.

Le système de fichiers de Qumulo complète la plate-forme de données Splunk pour optimiser l'efficacité du stockage des données Splunk. Cet article vous aidera à comprendre le référentiel Splunk au niveau du fichier à l'aide de l'analyse de données en temps réel de Qumulo Core et expliquera comment le système de fichiers Qumulo peut vous aider :

  • Éliminez les silos de stockage à l'aide d'un seul espace de noms de stockage pour les données Splunk
  • Obtenez une capacité transparente et une extension des E/S avec une architecture de stockage évolutive linéaire
  • Personnalisez votre environnement Splunk via l'API REST programmable
  • Optimisez votre infrastructure de stockage pour l'index d'écriture séquentielle, la recherche aléatoire ainsi que les données chaudes, chaudes et froides

Mise à l'échelle de l'architecture Splunk sur le cloud

Quels sont les composants de l'architecture Splunk ?

Les trois composants principaux de toute implémentation de Splunk sont transitaires, indexeurs et têtes de recherche.

Transitaires Splunk

Les redirecteurs sont généralement des agents logiciels qui s'exécutent sur les appareils que Splunk surveille. Ils transmettent les flux de journaux de ces systèmes aux indexeurs Splunk.

Indexeurs Splunk

Les indexeurs sont au cœur de l'architecture Splunk. Ils analysent et indexent les données des journaux en temps réel.

Têtes de recherche Splunk

Les têtes de recherche sont des serveurs distincts auxquels les utilisateurs se connectent pour interroger des données, créer des rapports et visualiser des données. Dans les environnements plus petits, les indexeurs et les têtes de recherche peuvent s'exécuter sur les mêmes serveurs.

Schéma d'architecture Splunk

Ce diagramme d'architecture Splunk montre comment Splunk fonctionne du début à la fin, en tenant compte des trois composants principaux décrits ci-dessus. Le diagramme montre les transitaires envoyant des données aux indexeurs, tandis que les têtes envoient des demandes d'utilisateurs pour récupérer ces données à partir des indexeurs. Les données elles-mêmes sont stockées dans un ensemble de répertoires organisés par âge, indiqués par les conteneurs rouges, jaunes et bleus illustrés dans le diagramme. Ces répertoires sont appelés seaux chauds (H), chauds (W) et froids (C), dont nous parlerons dans la section suivante.

Schéma d'architecture Splunk

Seaux Splunk

Comme indiqué ci-dessus dans le diagramme d'architecture Splunk, les données dans Splunk sont stocké dans des seaux organisés par âge des données :

Seaux chauds

Les compartiments chauds stockent les données lors de leur première indexation. Un compartiment chaud peut être écrit jusqu'à ce qu'un seuil prédéfini soit atteint. Ensuite, le compartiment chaud est fermé et les données sont déplacées vers un compartiment chaud.

Seaux chauds

Les buckets chauds contiennent des données indexées et consultables. Les données peuvent toujours être écrites dans des buckets chauds. Lorsque le seuil de capacité du compartiment chaud est atteint, les données plus anciennes des compartiments chauds sont déplacées vers les compartiments froids.

Seaux froids

Les compartiments froids contiennent la majorité des données dans la plupart des cas. Les compartiments à froid sont en lecture seule mais sont toujours dans l'index. Ainsi, les compartiments froids apparaîtront dans tous les résultats de recherche, rapports, etc.

Seaux congelés

Les buckets gelés sont des archives à long terme qui ne sont plus indexées. Les buckets gelés sont destinés à stocker d'anciennes données à des fins d'archivage. Ils ne sont pas disponibles pour la recherche, l'analyse ou la création de rapports.

Seaux décongelés

Les seaux décongelés sont restaurés à partir des archives. Lorsque les buckets gelés sont archivés, ils peuvent ensuite être décongelés et renvoyés à l'index.

Qumulo améliore l'efficacité du stockage hautement évolutif pour les environnements Splunk

Splunk peut utiliser stockage à connexion directe (DAS) pour tous les types de buckets. Cependant, ce type de configuration est relativement inefficace car le stockage DAS est complexe à gérer et cette complexité augmente à mesure que la capacité augmente. Que vous utilisiez des JBOD ou des baies RAID, dans les deux cas, la surcharge d'administration est importante. Considérez également que les baies RAID traditionnelles ont des temps de reconstruction extrêmement longs, ce qui se traduit par un risque accru de perte de données. Typiquement, haute performance stockage connecté au réseau (NAS) est une meilleure solution dont nous discuterons plus loin dans ce document.

Si la fiabilité est requise, le facteur de réplication Splunk (RF) et le facteur de recherche (SF) peuvent être augmentés. Le RF indique le nombre de copies de données brutes à conserver, tandis que le SF détermine le nombre de copies de données d'index à conserver. Les deux ont une valeur par défaut de deux, mais cette valeur peut être modifiée pour atteindre des objectifs spécifiques. Avec le paramètre par défaut de deux, chaque index sera configuré pour conserver une deuxième copie complète, ce qui peut impliquer une très grande quantité de données à stocker.

Dans les sections suivantes, vous apprendrez comment les analyses de données en temps réel de Qumulo fournissent des informations détaillées sur les efficacité du stockage des données de fichiers et l'utilisation d'un déploiement Splunk. Aware Qumulo est livré en standard dans Qumulo Core, offrant une visibilité instantanée sur votre empreinte de données Splunk avec des analyses en temps réel.

L'architecture cloud hybride efficace de Qumulo

Un cluster Qumulo commence avec quatre nœuds et peut évoluer jusqu'à plusieurs pétaoctets de capacité simplement en ajoutant plus de nœuds à tout moment. Qumulo Core est optimisé pour extraire des performances et une efficacité maximales du matériel sous-jacent (de HPE, Fujitsu, Supermicro et autres) en tirant pleinement parti de tout-NVMe conceptions et hybrides avec des SSD devant les disques durs. Qumulo Core prélèvera et mettra automatiquement en cache les données sur SSD, ce qui signifie que la plupart des lectures proviendront des SSD la plupart du temps, offrant des niveaux de performances XNUMX % flash, même sur des systèmes hybrides.

Même si Splunk ne prend pas encore en charge l'utilisation du stockage NAS pour les buckets chauds et chauds, l'utilisation de Qumulo avec Splunk est une excellente solution pour les buckets froids (où généralement la majorité des données sont stockées). Lorsque les compartiments sont déplacés du stockage défini pour les compartiments chauds vers le cluster Qumulo pour les compartiments froids, toutes les données atterrissent d'abord sur les disques SSD. Cela rend le transfert très rapide. De plus, les compartiments froids sont toujours indexés et consultables. Les données qui se trouvent sur les disques SSD seront servies à des vitesses beaucoup plus élevées que les données sur les disques durs.

La série Plateforme de données de fichiers Qumulo est une base idéale pour un environnement Splunk car il stocke les données plus efficacement, est hautement résilient, évolutif à l'infini et s'exécute sur site ou dans n'importe quel cloud public. De plus, comme les données sur Qumulo sont protégées au niveau du bloc plutôt qu'au niveau du fichier, toute opération de reprotection est rapide et fiable quelle que soit la taille du fichier et conçue pour n'avoir aucun impact négatif sur les performances lors de l'exécution.

Avantages de l'utilisation de Qumulo avec Splunk

La plupart des implémentations de Splunk capturent, indexent et servent régulièrement des pétaoctets de données, ce qui les rend consultables par l'ensemble de l'entreprise. Le volume de données traitées par Splunk peut créer des demandes difficiles sur l'infrastructure de stockage de votre entreprise. En travaillant ensemble, Qumulo et Splunk ont ​​fourni une solution pour fournir un stockage évolutif et efficace pour les données Splunk, ainsi qu'une intégration API directement avec Splunk. En résumé:

  • Le système de fichiers Qumulo peut évoluer pour gérer des milliards de fichiers et de nombreux pétaoctets de données dans un seul espace de noms, tout en restant faciles à gérer.
  • La capacité d'un cluster Qumulo peut être mise à l'échelle selon les besoins en ajoutant des nœuds. Cela peut être fait pendant que l'ensemble du cluster fonctionne sans aucune interruption.
  • En ajoutant de la capacité avec des nœuds Qumulo supplémentaires, la puissance de traitement et le débit augmenteront également de manière linéaire.
  • Les buckets gelés peuvent être évités car les données peuvent être stockées de manière efficace et rentable sur Qumulo dans des buckets froids. Les données dans les compartiments froids restent consultables. Stocker davantage de données Splunk vous permet d'exécuter des requêtes sur des données stockées depuis de nombreuses années, plutôt que sur des données des deux derniers mois uniquement. Cela permet d'avoir une vue plus précise des tendances et de repérer plus facilement les anomalies.
  • Au lieu d'augmenter le RF de Splunk pour augmenter la fiabilité, Qumulo Core protège les données en utilisant codage d'effacement, ce qui est très efficace en termes d’utilisation de l’espace disque.
  • Qumulo Protéger inclut des services de données fournis en standard dans Qumulo Core et propose des instantanés et une réplication d'instantanés, fournissant un système de sauvegarde performant.

Splunk comme solution SIEM

Bien que cet article traite de l'utilisation de Qumulo comme référentiel de stockage efficace pour les compartiments froids dans Splunk, il convient de mentionner que bon nombre de nos clients alimentent également les données de télémétrie Qumulo dans Splunk à des fins d'audit et de chasse aux menaces et utilisent Splunk comme principal événement et information de sécurité. Plateforme de gestion (SIEM). Apprenez comment faire dans cet article : Journalisation d'audit Qumulo Core avec Splunk.

Un autre exemple de la façon de protéger vos données contre les cybermenaces dans Qumulo avec un SIEM basé sur le Cloud est décrit ici : Chasse aux menaces avec les journaux d'audit Qumulo et Azure Sentinel SIEM

Livre blanc : Chasse aux menaces avec les journaux d'audit Qumulo et Azure Sentinel SIEM

Livre blanc : Chasse aux menaces avec les journaux d'audit Qumulo et Azure Sentinel SIEM

Pour atténuer les attaques de ransomware, il est essentiel de les identifier le plus tôt possible dans la chaîne de cyber-attaque avec une approche holistique de la sécurité qui inclut l'ensemble de l'infrastructure plutôt que de s'appuyer sur une fonction de sécurité spécifique de votre système de stockage de données.

Téléchargez ce livre blanc pour savoir comment détecter les ransomwares et automatiser la recherche et la réponse aux menaces avec la fonctionnalité de journalisation d'audit de Qumulo intégrée aux solutions de gestion des informations et des événements de sécurité (SEIM) comme Azure Sentinel et Splunk.

Télécharger le livre blanc
INFORMATIONS CONNEXES

Partager cette publication