Présentation technique
Table des matières
Architecture logicielle
Services de données et gestion du stockage
- La gestion du système
- Interface utilisateur Web
- Interface de ligne de commande
- API REST
- Nexus Qumulo
- Gestion des accès
- Fonctionnalités de sécurité des données
- Le tiering Active Directory
- Cryptage par fil
- Fonctionnalités de sécurité des données
- Authentification et contrôle d'accès
- Sécurité administrative
- Utilisateurs administrateurs au niveau du domaine
- Utilisateurs administrateurs locaux
- Authentification unique avec authentification multifacteur
- Jetons d'accès
- Contrôle d'accès basé sur les rôles
- Sécurité administrative
- Gestion de l'accès aux données
- Listes de contrôle d'accès
- Améliorations de Kerberos
- Prise en charge des autorisations multiprotocoles
- Autorisations d'accès aux objets
- Gestion des restrictions de circulation
- Listes de contrôle d'accès
Services de données
- Instantanés
- Verrouillage des instantanés
- Quotas
- Journalisation et audit des accès
- Détection d'intrusion
- Analyse du système et des données
- réplication
- Réplication continue
- Réplication basée sur un instantané
Le système de fichiers Qumulo
- Opérations sur le système de fichiers
- Évolutivité du système de fichiers
- Agrégation de métadonnées
- Espace de noms global Qumulo
Le magasin de blocs évolutif
- Système de transactions mondial
- Mise en cache et prélecture intelligentes
- Déploiements physiques
- Blocs virtuels protégés
- Chiffrement logiciel au repos
- Déploiements basés sur le cloud
Matériel serveur
Téléchargez cette ressource
Notre objectif chez Qumulo est de simplifier le stockage de fichiers pour l'entreprise hybride moderne. Nous simplifions la sécurisation de vos données. Nous simplifions la prise en charge des flux de travail exigeants, que ce soit sur site ou dans le cloud, à faible coût. Nous simplifions le stockage cloud hybride.
Architecture logicielle de Qumulo
Nous avons conçu notre plate-forme de stockage pour en faire un service évolutif et prêt pour le cloud, capable de prendre en charge presque tous les flux de travail basés sur des fichiers, n'importe où. Nous fournissons également des API robustes pour offrir une gestion automatisée et une visibilité en temps réel sur l'utilisation du système et des données. Nos solutions de stockage répondent aux exigences de sécurité et de protection des données des entreprises Fortune 500.
Cette page fournit un aperçu de l'architecture et des composants de la solution de données non structurées de Qumulo, illustrant comment notre produit prend en charge un large éventail de cas d'utilisation, des médias et du divertissement aux soins de santé et aux sciences de la vie, en passant par le calcul haute performance basé sur le cloud, en passant par les coûts. -des archives efficaces à long terme dans le cloud.
Fondamentaux de l'architecture Qumulo
Avant de plonger dans les composants individuels de l'architecture de Qumulo, il est important d'énumérer plusieurs hypothèses fondamentales :
1. Qumulo fournit un système de fichiers distribué 100 % défini par logiciel qui présente un espace de noms unique. Un cluster Qumulo sur site consiste en une agrégation sans partage de nœuds indépendants, chaque nœud contribuant à la capacité et aux performances globales du cluster. Les nœuds individuels restent en coordination constante les uns avec les autres. N'importe quel client peut se connecter à n'importe quel nœud et lire et écrire dans tout l'espace de noms.
2. Les instances Qumulo basées sur le cloud utilisent le stockage d'objets (selon l'endroit où elles sont déployées, soit AWS S3, soit le stockage Microsoft Azure Blob) pour la couche de données, dans laquelle les blocs associés à un fichier donné sont extraits et distribués sur une collection logique d'objets discrets.
- Cette architecture cloud native élimine la relation existante entre le calcul, le stockage et le débit, créant un service de stockage de fichiers entièrement élastique qui peut faire évoluer la capacité jusqu'à des centaines de pétaoctets et le débit au-delà de 100 Go/s.
- Grâce à la désagrégation complète du calcul et du stockage permise par l'architecture cloud native de Qumulo, les clients ont la possibilité de choisir les niveaux spécifiques de débit et de capacité dont ils ont besoin, indépendamment les uns des autres. Un client peut même déployer une instance Qumulo avec une empreinte de calcul initialement faible, puis faire évoluer temporairement l'allocation de calcul du service pour augmenter considérablement le débit pendant une brève période de temps, puis la réduire à nouveau par la suite, sans à aucun moment avoir besoin de déployer des ressources supplémentaires. capacité.
3. Qumulo est optimisé pour l'échelle. Nous veillons à ce que tous les aspects de notre produit puissent prendre en charge confortablement des pétaoctets à des exaoctets de données, des milliards de fichiers, des millions d'opérations et des milliers d'utilisateurs.
4. Qumulo s'auto-optimise pour des performances maximales. Chaque instance Qumulo suit l'accès aux données à l'aide d'une carte thermique pour identifier les blocs de données fréquemment consultés. Ces blocs sont déplacés de manière proactive par un algorithme de prélecture interne : les blocs de données sur le support de disque dur sont déplacés vers le stockage flash à mesure que leur score de chaleur augmente. Si le score de chaleur continue d'augmenter, les données déjà stockées sur le stockage flash sont déplacées de manière proactive vers la mémoire système pour un accès encore plus rapide. Au niveau mondial, sur toutes les instances Qumulo pour tous les clients Qumulo, le taux de réussite du cache est d'environ 95 %.
5. Qumulo est hautement disponible et immédiatement cohérent, conçu pour résister aux pannes de composants de l'infrastructure tout en fournissant un service fiable aux clients. Nous y parvenons grâce à l'utilisation de l'abstraction logicielle, du codage d'effacement, de technologies de mise en réseau avancées et de tests rigoureux. Lorsque les données sont écrites sur le système de fichiers de Qumulo, l'opération d'écriture n'est pas confirmée au service, à l'utilisateur ou au client tant que les données n'ont pas été écrites sur le stockage persistant. Ainsi, toute demande de lecture ultérieure se traduira par une vue cohérente des données (par opposition à des modèles finalement cohérents).
6. Qumulo fournit des services de fichiers indépendants de la plate-forme pour le cloud public, privé et hybride. Le logiciel de Qumulo fait peu d'hypothèses sur la plateforme sur laquelle il fonctionne. Il extrait les ressources matérielles physiques ou virtuelles sous-jacentes afin de profiter de la meilleure infrastructure de cloud public et privé. Cela nous permet de tirer parti de l’innovation rapide dans les technologies de calcul, de réseau et de stockage pilotée par les fournisseurs de cloud et l’écosystème des fabricants de composants.
7. Le modèle de gestion Qumulo est axé sur l'API. Chaque fonctionnalité construite par Qumulo est d'abord développée en tant que point de terminaison d'API. Nous présentons ensuite un ensemble organisé de ces points de terminaison dans notre interface de ligne de commande (CLI) et WebUI, notre interface visuelle. Cela inclut la création de systèmes, la gestion des données, l’analyse des performances et des capacités, l’authentification et l’accessibilité des données.
8. Qumulo expédie de nouveaux logiciels rapidement et régulièrement. Nous publions de nouvelles versions de nos logiciels toutes les quelques semaines. Cela nous permet de répondre rapidement aux commentaires des clients, de conduire une amélioration constante de notre produit et d'insister sur un code de qualité production de la part de nos équipes.
9. L'architecture basée sur des conteneurs de Qumulo permet un processus de mise à niveau unique qui minimise les perturbations pour les utilisateurs et les flux de travail. Progressivement, nœud par nœud, le nouveau logiciel d'exploitation est déployé dans un conteneur parallèle à l'ancienne version. Une fois la nouvelle instance initialisée, l'ancien environnement est arrêté en douceur et la mise à niveau passe au nœud suivant jusqu'à ce que l'ensemble du cluster ait été mis à niveau.
10. L'équipe de réussite client de Qumulo est très réactive, connectée et agile. Qumulo a la capacité de se connecter à la surveillance à distance via notre service de surveillance basé sur le cloud Mission Qontrol. Notre équipe de réussite client utilise ces données pour aider les clients à résoudre les incidents, fournir des informations sur l'utilisation des produits et alerter les clients lorsque leurs systèmes subissent des pannes de composants. Cette combinaison d’assistance intelligente et d’innovation produit rapide permet d’obtenir un score NPS de 80+, le meilleur du secteur.
Architecture de Qumulo
L'architecture modulaire de Qumulo peut être résumée en une série de couches, avec des contrôles de service et des fonctionnalités spécifiques regroupés dans chaque couche. Ces couches fonctionnent ensemble pour prendre en charge l'évolutivité, les performances, la sécurité et la fiabilité des données non structurées sur une instance Qumulo, ainsi que du système Qumulo lui-même.
Services de données et gestion du stockage
En tant que service de stockage de fichiers standard de l'industrie, Qumulo prend en charge tous les protocoles d'accès aux données non structurés : SMB, NFS et NFSv4.1. La prise en charge est également incluse pour l'accès aux objets à l'aide du protocole standard S3, ainsi que pour l'accès FTP et REST pour sélectionner les types de données.
La gestion du système
Toute instance Qumulo, qu'elle soit sur site ou dans le cloud, peut être gérée à l'aide des mêmes outils standard : une interface utilisateur Web intégrée pour le stockage interactif et la gestion des données, une bibliothèque de commandes basée sur la CLI ou un ensemble d'outils basés sur une API. outils de gestion.
Interface utilisateur Web
L'interface visuelle Qumulo offre un portail Web pour gérer un système Qumulo. L'interface visuelle est une interface Web, servie à partir du système, sans qu'aucune machine virtuelle ou service distinct ne soit nécessaire. L'interface visuelle est organisée autour de six sections de navigation de niveau supérieur : Tableau de bord, Analyses, Partage, Cluster, API et outils et Support.
Interface de ligne de commande (CLI)
La CLI Qumulo prend en charge la plupart (mais pas la totalité) de la bibliothèque API et se concentre sur l'administration du système. La CLI propose une méthode d'interaction scriptable pour travailler avec une instance Qumulo. Une liste complète des commandes peut être trouvée dans notre base de connaissances (soins.qumulo.com).
API REST
L'API REST est un surensemble de toutes les fonctionnalités de la plateforme de données Qumulo. Depuis l'API, les administrateurs peuvent :
- Créer un espace de noms
- Configurer tous les aspects d'un système (de la sécurité comme les services d'identité ou les rôles de gestion, à la gestion des données comme les quotas, à la protection des données comme les politiques de snapshot ou la réplication de données, à l'ajout de nouvelles capacités)
- Recueillir des informations sur le système Qumulo cible (y compris l'utilisation de la capacité et les points chauds de performances)
- Accéder aux données (y compris les opérations de lecture et d'écriture)
L'API est « auto-documentée », ce qui permet aux développeurs et aux administrateurs d'explorer facilement chaque point de terminaison (et de voir des exemples de résultats). Qumulo maintient une collection d'exemples d'utilisation de notre API sur Github (https://qumulo.github.io/).
Pour plus d'informations sur l'utilisation de la bibliothèque API Qumulo, de la CLI et du portail de gestion Web, visitez le portail de documentation Qumulo (https://docs.qumulo.com).
Nexus Qumulo
Alors que les clients Qumulo se tournent de plus en plus vers des opérations d'entreprise multi-cloud et multi-sites, ils doivent réduire la complexité de la surveillance de la disponibilité et des métriques de service de chaque instance Qumulo via des interfaces de gestion distinctes. Avec Qumulo Nexus, les clients peuvent consolider les opérations de surveillance de toutes leurs instances Qumulo, que ce soit sur site, en périphérie ou dans le cloud, dans un seul portail de gestion qui offre les mêmes analyses en temps réel et la même visibilité des données que l'interface Web locale. , mais à travers une seule vitre.
Gestion des accès
Le logiciel de Qumulo intègre un certain nombre de fonctionnalités inhérentes et de contrôles configurables, tous conçus pour protéger les données du cluster.
Fonctionnalités de sécurité des données Qumulo
Chaque instance Qumulo, qu'elle soit sur site ou dans le cloud, exploite une paire de contrôles qui garantissent que toutes les données du système de fichiers sont protégées contre la corruption, la perte ou l'intrusion au niveau du stockage des données.
Intégration Active Directory
Le modèle d'accès de sécurité de Qumulo a été conçu pour tirer parti de Microsoft Active Directory (AD) pour les droits et autorisations d'administration et d'utilisateur. Outre les avantages évidents d'avoir une source d'enregistrement unique pour tous les comptes d'utilisateurs, l'utilisation d'AD pour la gestion des privilèges et des autorisations prend en charge les meilleures pratiques du secteur pour les éléments suivants :
- Intégration transparente avec les protocoles d'authentification et de gestion des identités basés sur Kerberos
- Intégration avec les fournisseurs d'accès SSO et MFA
- L'utilisation d'autorisations basées sur la liste de contrôle d'accès pour les clients SMB et NFSv4.1 pour classer les données du système
Cryptage des données par fil
Même avec des paramètres de sécurité de partage et de données appropriés en place, certaines entreprises ont besoin d'une couche supplémentaire de sécurité des données pour protéger les données contre tout accès non autorisé. Pour ces environnements, Qumulo prend également en charge le cryptage des données par fil vers et depuis les clients pris en charge.
Pour les partages SMB3, Qumulo prend en charge le chiffrement à la fois à l'échelle du cluster et par partage si nécessaire. Les exportations NFSv4.1 qui nécessitent une sécurité renforcée peuvent être configurées pour utiliser soit des signatures de paquets krb5i qui garantissent l'intégrité des données, soit pour utiliser le cryptage de paquets basé sur krb5p pour empêcher l'interception pendant le transit.
Tout le trafic basé sur les objets est automatiquement chiffré à l'aide des normes de chiffrement TLS/HTTPS standard.
Authentification et contrôle d'accès
L'accès aux données du système de fichiers Qumulo, ainsi que l'accès au système de stockage Qumulo, utilisent des protocoles d'authentification et d'accès standard de l'industrie, garantissant une gestion des accès, un contrôle d'identité et une auditabilité de niveau entreprise.
Sécurité administrative
Les droits et privilèges au niveau du système sont accordés en fonction de l'appartenance à un ou plusieurs groupes locaux sur l'instance Qumulo individuelle. Les droits d'administration sont accordés à tous les comptes locaux et de domaine qui sont membres du groupe Administrateurs intégré du cluster.
Utilisateurs administratifs au niveau du domaine
La plupart des politiques de sécurité d'entreprise exigent que l'administration et la gestion des systèmes critiques de l'entreprise suivent une politique d'utilisateur unique et de compte unique afin de garantir des enregistrements précis de l'accès au système et de l'utilisation des privilèges. La méthode la plus simple pour se conformer à cette stratégie consiste à ajouter les comptes d'utilisateurs Active Directory concernés au groupe d'administrateurs local du cluster.
Utilisateurs administratifs locaux
Chaque instance Qumulo est livrée avec un compte par défaut, appelé admin, qui se voit automatiquement attribuer l'appartenance au groupe d'administrateurs local et, en tant que tel, dispose de tous les droits et privilèges d'administration sur le cluster.
Authentification unique avec authentification multifacteur
L'authentification unique (SSO) élimine le besoin pour un administrateur de saisir à nouveau ses informations de connexion pour accéder au système. Les entreprises souhaitent le SSO non seulement parce qu'il rationalise le processus de connexion, ce qui facilite l'authentification des administrateurs, mais également parce qu'il réduit le risque de vol de compte via des enregistreurs de frappe ou d'interception lorsque la tentative de connexion traverse le réseau.
L'authentification à facteurs multiples (MFA) ajoute une autre couche de sécurité au processus de connexion, exigeant que les utilisateurs administrateurs récupèrent un code à usage unique à partir d'un jeton de clé ou d'une demande de défi sur un appareil distinct, dont aucun ne serait en possession de un intrus.
La solution SSO de Qumulo s'intègre à Active Directory via Security Assertion Markup Language (SAML) 2.0. Pour MFA, les clients peuvent tirer parti de n'importe quel fournisseur d'identité (IdP) qui s'intègre au domaine AD enregistré sur le cluster, notamment, mais sans s'y limiter, OneLogin, Okta, Duo et Azure AD.
Jetons d'accès
Pour simplifier le processus de stockage automatisé et de gestion des données via la fonctionnalité API de Qumulo, Qumulo offre aux administrateurs la possibilité de générer un jeton API de longue durée qui peut être utilisé indéfiniment par les flux de travail automatisés, jusqu'à ce que la clé soit révoquée ou supprimée. Le jeton est généré par un administrateur via CLI et peut être attaché à chaque flux de travail basé sur une API, qui peut désormais effectuer des appels d'API authentifiés sans avoir à se connecter. À des fins d'audit, chaque jeton est mappé à un compte AD ou cluster spécifique. Si le compte utilisateur associé est supprimé ou désactivé, le jeton d'accès cessera de fonctionner.
Contrôle d'accès basé sur les rôles
Le contrôle d'accès basé sur les rôles (RBAC) permet aux administrateurs d'attribuer des privilèges précis aux utilisateurs ou groupes non administratifs qui nécessitent des droits élevés sur le cluster pour des tâches de gestion spécifiques. L'utilisation du modèle RBAC permet la délégation sécurisée de privilèges selon les besoins sans avoir besoin de conférer des droits d'administration complets. Il permet également aux entreprises d'accorder les privilèges système nécessaires tout en garantissant une piste d'audit vérifiable de l'accès et de l'utilisation des privilèges.
Gestion de l'accès aux données
Qumulo utilise le même modèle de sécurité pour gérer l'accès aux données du système de fichiers, en utilisant des pratiques, des protocoles et des outils standard d'entreprise pour gérer et suivre l'accès à tous les fichiers et répertoires du système.
Listes de contrôle d'accès
Pour les charges de travail accessibles via SMB et NFSv4, Qumulo prend en charge l'authentification via Active Directory et les listes de contrôle d'accès (ACL) de style Windows qui peuvent être partagées entre les deux protocoles.
Améliorations de Kerberos
Toutes les demandes de données SMB et NFSv4.1, si elles proviennent d'un client Windows ou Linux joint au même domaine que le cluster Qumulo (ou joint à un domaine approuvé), sont authentifiées à l'aide de la gestion de l'identité des utilisateurs basée sur Kerberos.
Prise en charge des autorisations multiprotocoles
Qumulo prend en charge la mise à disposition simultanée des mêmes données sur le système de fichiers sur plusieurs protocoles. Dans de nombreux cas, un partage SMB sur le cluster peut également être configuré en tant qu'exportation NFSv3, exportation NFSv4.1 et conteneur de stockage d'objets. Bien que cela maximise la flexibilité du cluster, certaines considérations doivent être prises en compte lorsqu'il s'agit de gérer les autorisations.
SMB et NFSv4.1 utilisent tous deux le même modèle d'autorisations basé sur ACL, dans lequel l'accès est accordé ou refusé à l'utilisateur en vertu de l'appartenance du compte Active Directory de l'utilisateur à un ou plusieurs groupes dont l'accès a été configuré au niveau des données.
Toutefois, pour les charges de travail mixtes SMB/NFSv3, il peut y avoir une incompatibilité entre les autorisations ACL sur un fichier ou un répertoire et ses paramètres POSIX. Une instance Qumulo peut être configurée pour des opérations en mode mixte, dans lesquelles les autorisations SMB et POSIX sont conservées séparément pour les fichiers et répertoires partagés entre les deux protocoles.
Pour les charges de travail à protocoles mixtes, le modèle propriétaire d'autorisations multiprotocoles (MPP) de Qumulo préserve les ACL SMB et l'héritage même si les autorisations NFS sont modifiées.
Autorisations d'accès aux objets
Si un répertoire du cluster est partagé via le protocole S3, le répertoire est traité comme un compartiment S3 et tous les sous-répertoires et fichiers de ce répertoire sont traités comme des objets dans le compartiment.
Lorsqu'un utilisateur ou un flux de travail tente d'accéder à un objet, le système utilise la clé d'accès fournie par le client pour identifier l'Active Directory ou l'ID utilisateur local mappé à la clé, puis vérifie cet ID par rapport à la liste de contrôle d'accès SMB/NFSv4.1 de l'objet.
Gestion des restrictions de circulation
En plus de l'utilisation de l'authentification basée sur SSO et MFA des comptes administratifs désignés, Qumulo prend également en charge les politiques de sécurité qui nécessitent la restriction de l'accès au niveau administrateur à des réseaux ou VLAN spécifiquement désignés, en offrant la possibilité de bloquer des ports TCP spécifiques à un niveau individuel. Niveau VLAN.
De cette manière, une instance Qumulo peut être configurée pour segmenter le trafic de gestion (par exemple, API, SSH, interface utilisateur Web et trafic de réplication) du trafic client, par exemple SMB, NFS et accès aux objets.
Services de données
La couche Data Services comprend cinq fonctionnalités de gestion : instantanés, réplication, quotas, journalisation et audit des accès, ainsi que analyses du système et des données.
Instantanés
Les instantanés sur un cluster Qumulo peuvent être utilisés de plusieurs manières pour protéger les données du cluster :
- Ils peuvent être utilisés localement pour une protection et une récupération des données rapides et efficaces.
- Un instantané des données en direct sur un cluster Qumulo peut être répliqué sur une instance Qumulo secondaire, telle qu'une instance de service Azure Native Qumulo Cold, qui pourrait prendre en charge un basculement immédiat des services de données de fichiers en cas de panne systémique à l'emplacement principal. .
- Les instantanés Qumulo peuvent également être associés à un logiciel de sauvegarde tiers pour fournir une protection efficace à long terme (avec un contrôle de version plus robuste pour les fichiers modifiés) contre la perte de données.
Un instantané peut être pris à tout moment, soit selon un calendrier fixe, soit à la demande selon les besoins. Une fois pris, un instantané ne consomme initialement aucun espace. Un instantané préserve tout ce qui se trouve dans le système de fichiers : données de fichier, entrées de répertoire, heures de création et de modification, autorisations, etc. À mesure que les fichiers de l'instantané changent au fil du temps, de nouvelles données sont écrites à côté de la version d'origine et de nouvelles entrées sont écrites dans le fichier. système identifiant chaque version d’un même fichier.
Verrouillage des instantanés
Pour fournir une protection supplémentaire contre les attaques de ransomwares ou la suppression prématurée d'instantanés critiques via un compte administrateur compromis, les instantanés peuvent être « verrouillés » cryptographiquement, empêchant ainsi la modification ou la suppression prématurée d'un instantané, même par un utilisateur administratif.
L'utilisation d'instantanés verrouillés nécessite une paire de clés cryptographiques asymétriques, avec la clé publique installée directement sur l'instance Qumulo et la clé privée stockée en externe conformément aux pratiques de gestion des clés établies par l'organisation.
Quotas
Les quotas permettent aux utilisateurs de contrôler la croissance de n'importe quel sous-ensemble d'un espace de noms Qumulo. Les quotas agissent comme des limites indépendantes sur la taille de n'importe quel répertoire, empêchant la croissance des données lorsque la limite de capacité est atteinte. Contrairement à d'autres plates-formes et services, les quotas Qumulo prennent effet instantanément, permettant aux administrateurs d'identifier les charges de travail malveillantes via nos analyses de capacité en temps réel et d'arrêter instantanément l'utilisation incontrôlée de la capacité. Les quotas suivent même la partie de l'espace de noms qu'ils couvrent lorsque les répertoires sont déplacés ou renommés.
Journalisation et audit des accès
La journalisation d'audit fournit un mécanisme de suivi des événements du système de fichiers Qumulo ainsi que des opérations de gestion. Lorsque les clients connectés envoient des requêtes au cluster, des messages du journal des événements sont générés décrivant chaque tentative d'opération. Ces messages de journal sont ensuite envoyés sur le réseau à une instance Syslog distante désignée, par exemple une plate-forme SIEM (Security Information and Event Management) standard telle que Splunk.
Détection des intrusions et des ransomwares en temps réel
Qumulo s'est associé aux fournisseurs tiers Superna et Varonis pour permettre la surveillance en temps réel des journaux d'événements et d'accès afin d'identifier et de répondre aux cyberattaques. Pour en savoir plus sur Varonis avec notre solution Azure Native Qumulo, visitez notre Intégration de Varonis avec ANQ page. Des informations sur Superna Ransomware Defender sont disponibles ici.
Analyse du système et des données
La pile logicielle de Qumulo est conçue pour offrir un aperçu en temps réel des métriques du système et des services, y compris la capacité et les performances, dans chaque instance Qumulo. Cela permet aux clients de dépanner les applications, de gérer la consommation de capacité et de planifier des stratégies d'expansion (ou d'archivage). Les analyses de Qumulo sont alimentées par l'agrégation des modifications de métadonnées dans le système de fichiers au fur et à mesure qu'elles se produisent.
L'interface Web comprend des outils de surveillance en temps réel pour suivre les performances du système, l'utilisation de la capacité et l'activité actuelle sur l'instance Qumulo locale. Pour les entreprises qui souhaitent exporter ces informations vers une solution de surveillance externe, Qumulo prend en charge la norme API OpenMetrics pour l'exportation et la compilation des données Syslog.
réplication
Le service de réplication intégré de Qumulo peut copier des données à grande échelle entre deux instances de stockage Qumulo. En plus de protéger les données contre les cyberattaques, un emplacement secondaire avec un autre cluster Qumulo peut également servir de stockage de basculement en cas de panne au niveau du site.
Étant donné que toutes les instances Qumulo prennent en charge les mêmes fonctionnalités de réplication et fournissent les mêmes services quel que soit l'emplacement, la réplication peut être configurée pour s'exécuter dans n'importe quelle direction entre deux points de terminaison Qumulo, que ce soit sur site, dans AWS ou sur Azure.
Réplication continue
Cette forme de réplication prend simplement un instantané des données sur le cluster Qumulo source et le copie dans un répertoire sur un cluster cible. Tant que la relation de réplication est active, le système analyse tous les fichiers modifiés pour identifier et copier uniquement les modifications spécifiques apportées à la cible, écrasant ainsi toutes les versions précédentes des données.
Réplication basée sur un instantané
Avec la réplication basée sur les instantanés, des instantanés sont également pris du répertoire cible sur le cluster secondaire. Une fois la tâche de réplication terminée, un nouvel instantané du répertoire cible est créé, garantissant la cohérence des données sur les deux clusters, ainsi que la maintenance d'un journal des modifications et d'un historique des versions pour chaque fichier sur la cible.
Le système de fichiers Qumulo
Toutes les données non structurées stockées sur un système de fichiers Qumulo sont organisées dans un seul espace de noms. Cet espace de noms est conforme à POSIX et prend également en charge la norme Access Control List utilisée par les protocoles NFSv4.1 et SMB, tout comme les autres systèmes et architectures NAS.
Là où Qumulo se différencie, c'est dans sa capacité à faire évoluer son espace de noms unique à pratiquement n'importe quelle taille, la manière dont l'analyse du système et des données est intrinsèquement intégrée aux opérations du système de fichiers, sa prise en charge de S3 ainsi que NFS et SMB, et son approche unique. à la gestion des autorisations multiprotocoles.
Opérations sur le système de fichiers
Le système de fichiers de Qumulo a été conçu dès le début pour évoluer de manière transparente jusqu'à une capacité de plus d'exaoctets dans un espace de noms unique pouvant héberger des milliards de fichiers pouvant être partagés via les protocoles NFS et SMB standard. De plus, le système de fichiers a été conçu avec la capacité de surveiller efficacement les mises à jour et les actions du système de fichiers, et d'agréger des statistiques et des opérations basées sur des métadonnées, permettant ainsi une analyse du système et des données en temps réel sans recourir à des parcours d'arborescence longs et gourmands en ressources. .
Évolutivité du système de fichiers
Une seule instance Qumulo peut atteindre des exaoctets de capacité et 264 (~ 18.4 quintillions) de fichiers sans aucun des problèmes communs à d'autres plates-formes comme l'épuisement des inodes, les ralentissements de performances et les longs temps de récupération après des pannes de composants.
Agrégation de métadonnées
Dans la plate-forme de données de fichiers Qumulo, les métadonnées telles que les octets utilisés et le nombre de fichiers sont regroupées sous forme de fichiers et les répertoires sont créés ou modifiés. Cela signifie que les informations sont disponibles pour un traitement rapide sans parcourir l'arborescence coûteuse de la plate-forme de données de fichiers. Le moteur d'analyse en temps réel maintient des résumés de métadonnées à jour dans l'espace de noms du système de fichiers, collectant et mettant à jour les informations à mesure que des changements se produisent. Différents champs de métadonnées sont résumés pour créer un index virtuel. Au fur et à mesure que des changements se produisent, de nouvelles métadonnées agrégées sont collectées et propagées depuis les fichiers individuels jusqu'à la racine du système de fichiers. Chaque opération sur les fichiers et les répertoires est prise en compte et les modifications qui en résultent sont immédiatement fusionnées dans les analyses du système.
Espace de noms global Qumulo
Le service Global Namespace offre la possibilité d'étendre l'espace de noms unique de Qumulo sur plusieurs instances, que ce soit sur site ou dans le cloud, en définissant des chemins de données virtuels, appelés « portails », indépendamment de l'emplacement réel des données. L'utilisation de portails signifie non seulement que les données peuvent être localisées sur n'importe lequel des déploiements Qumulo du client, mais cela signifie également que les utilisateurs et les flux de travail peuvent voir les données distantes dans le cadre de l'espace de noms sur leur stockage Qumulo local, et que les données peuvent provenir physiquement d'un seul emplacement. Instance Qumulo vers une autre – par exemple pour les flux de travail de suivi du soleil ou pour migrer des données froides vers un niveau d'archive Azure Native Qumulo Cold centralisé – sans avoir à remapper les clients vers le nouveau chemin ou à casser les applications existantes.
La première fois qu'un fichier distant est accédé via un portail GNS, l'instance Qumulo locale met automatiquement en cache une copie du fichier localement. Tout accès ultérieur au fichier, que ce soit depuis le même client ou d'autres sur le même site, est fourni à partir du cache local. En plus de simplifier l'accès aux données sur plusieurs déploiements Qumulo sur site et dans le cloud, GNS permet également un accès à faible latence aux données distantes mises en cache.
Le magasin de blocs évolutif
Sous le système de fichiers Qumulo se trouve une couche modulaire protégée qui sert d'interface entre potentiellement des milliards (ou plus) de fichiers et de répertoires et le support de données physique sur lequel ils sont stockés. Dans l'architecture modulaire Qumulo, ce rôle est rempli par la couche Scalable Block Store.
Système de transactions mondial
Étant donné que Qumulo utilise une architecture distribuée et sans partage qui offre des garanties de cohérence immédiates, chaque nœud du service doit avoir une vue globalement cohérente de toutes les données à tout moment. Le Scalable Block Store s'appuie sur une approche transactionnelle globale pour garantir que, lorsqu'une opération d'écriture implique plusieurs blocs, l'opération écrira soit tous les blocs pertinents, soit aucun d'entre eux. Pour des performances optimales, le système optimise le parallélisme et le calcul distribué tout en maintenant la cohérence transactionnelle des opérations d'E/S.
L'avantage de cette approche est que le minimum absolu de verrouillage est utilisé pour les opérations d'E/S transactionnelles, permettant aux déploiements Qumulo d'évoluer jusqu'à plusieurs centaines de nœuds.
Mise en cache et prélecture intelligentes
Une seule instance Qumulo peut stocker des milliards de fichiers et des pétaoctets de capacité. Cependant, étant donné que seul un petit pourcentage de ces données est actif à un moment donné, Qumulo a conçu plusieurs fonctionnalités et opérations pour optimiser les performances de lecture et d'écriture des données actives :
- Toutes les métadonnées, qui sont les plus souvent lues dans n'importe quel ensemble de données, résident en permanence sur le niveau Flash de l'instance de stockage.
- Les blocs virtuels lus fréquemment (tels que mesurés par un « indice de chaleur » propriétaire) sont stockés sur flash, tandis que les blocs virtuels lus rarement sont déplacés vers un support plus froid, c'est-à-dire le niveau HDD du système (si disponible).
- Au fur et à mesure que les données sont lues, l'instance Qumulo surveille le comportement du client et pré-extrait intelligemment les nouvelles données dans la mémoire système sur le nœud le plus proche du client afin d'accélérer les temps d'accès.
Déploiements physiques Qumulo
Sur un cluster Qumulo physique, le Scalable Block Store sert d'interface entre le système de fichiers et les supports de stockage sous-jacents, qui peuvent être soit des périphériques flash à semi-conducteurs (SSD), soit des disques durs (HDD). Cette couche est principalement chargée de garantir la cohérence des données sur tous les nœuds d'un cluster physique, d'assurer des performances optimales pour les demandes de lecture et d'écriture, et d'assurer la sécurité, l'intégrité et la résilience des données contre les pannes de composants.
Blocs virtuels protégés
La capacité de stockage d'un cluster physique Qumulo est conceptuellement organisée en un espace d'adressage virtuel protégé. Chaque adresse dans cet espace stocke soit un bloc de données 4K, soit un hachage de codage d'effacement 4K qui peut être utilisé pour reconstruire tous les blocs de données perdus en raison d'une panne matérielle. Le rapport entre les blocs de données et les blocs de codage à effacement est déterminé par la taille du cluster physique : à mesure que davantage de nœuds sont ajoutés, le rapport s'ajuste pour offrir une plus grande efficacité globale tout en protégeant contre les pannes de disque et de nœud.
En plus de la protection offerte par le codage d'effacement, le système de blocs virtuels comprend également un algorithme de détection de bit-rot pour protéger contre la corruption des données sur le disque.
Chiffrement logiciel au repos
Sur les clusters physiques Qumulo, le Scalable Block Store comprend un algorithme logiciel AES 256 bits qui crypte toutes les données du système de fichiers avant de les écrire dans la couche de données. Cet algorithme s'initialise dans le cadre du processus de création initial du cluster et regroupe toutes les données et métadonnées du système de fichiers au niveau du bloc pendant toute la durée de vie du cluster.
Les clusters Qumulo dans le cloud s'appuient sur un cryptage au niveau des blocs au sein de la couche de stockage cloud, mis en œuvre et maintenu par le fournisseur de services cloud et garantissant que toutes les données au repos sur toute instance basée sur le cloud Qumulo sont entièrement cryptées.
Pour les entreprises qui en ont besoin, l'algorithme de chiffrement sur site Qumulo et les services de chiffrement fournis par Azure et AWS prennent en charge la conformité FIPS 140-2.
Le Scalable Block Store sur le stockage basé sur le cloud
Pour les instances Qumulo déployées sur Azure, de nombreuses fonctions fournies sur site par la couche Scalable Block Storage, telles que le chiffrement sur disque, le codage d'effacement, la détection de la pourriture des bits et la gestion des blocs, sont fournies en tant que fonctionnalités principales d'Azure sous-jacent. Service de stockage Blob.
Matériel serveur
Le logiciel de Qumulo fonctionne sur pratiquement n'importe quel matériel standard d'entreprise basé sur x86-64, bien que les clients recherchant une disponibilité et des performances optimales devraient consulter directement Qumulo pour choisir la configuration matérielle appropriée.
Le système d'exploitation Linux sous-jacent est verrouillé, permettant uniquement les opérations nécessaires pour effectuer les tâches de support requises de l'environnement logiciel Qumulo. D'autres services Linux standard ont été désactivés afin de réduire davantage le risque d'attaque.
Pile logicielle entièrement native
Bien que Linux inclut des composants open source pour fournir à la fois des services client et serveur NFS et SMB (par exemple Samba, Ganesha, etc.), ces services ne sont pas inclus dans l'image Ubuntu renforcée qui prend en charge l'environnement logiciel Qumulo. Qumulo développe et contrôle tout le code utilisé pour les protocoles d'accès aux données NFS, SMB, FTP et S3 – dans l'environnement d'exploitation Qumulo.
Mises à jour instantanées
Le processus de développement itératif de Qumulo est simple et rationalisé, avec de nouvelles mises à jour logicielles publiées régulièrement. Non seulement cela permet une innovation rapide pour développer et déployer de nouvelles fonctionnalités, mais cela favorise également une plate-forme de stockage plus sécurisée.
Qumulo a conçu le processus de mise à niveau pour qu'il soit rapide et facile. L'ensemble de notre pile logicielle est conteneurisée, ce qui nous permet de mettre à niveau un cluster entier, quelle que soit sa taille, en 20 secondes, éliminant ainsi les restaurations dans le processus, puisque la fonctionnalité et la stabilité de la version mise à jour peuvent être entièrement validées avant la fermeture de l'ancienne version. vers le bas.