Introduction
On ne présente plus cette technologie qui a révolutionné le monde du stockage informatique. Le Cloud est devenu un outil indispensable dans ce gigantesque monde qu’est le numérique. Les plus grandes multinationales, que ça soit Microsoft, Amazon ou encore IBM ont lancées durant ces 10 dernières années leurs plateformes Cloud et tous les services qui vont avec.
Dans cet article nous allons nous pencher sur Microsoft Azure, ainsi que tous les outils que la plateforme met à notre disposition pour le stockage et l’exploitation de grandes quantités de données.
Vue d’ensemble de la plateforme Cloud
Ce schéma nous donne une vision d’ensemble de la plateforme Azure. Les processus essentiels que sont l’ingestion de données, le stockage, l’entreposage, l’analyse des données et finalement la visualisation. Le but de « l ’Analytics » est d’obtenir les données les plus enrichies/agrégées que possible afin de démarrer la phase d’aide à la décision.
Rappel des différents services du Cloud
Avant de commencer la description de tous les services qu’Azure met à notre disposition sur sa plateforme, il est important d’effectuer un rappel concernant les services que l’on peut choisir si on s’oriente vers du Cloud et de définir certains termes associés.
On Premise : Littéralement « Sur site », signifie que les serveurs ou sont stockés les données d’une entreprise sont physiquement installés au sein de l’entreprise. Par conséquent, l’entreprise choisit d’administrer les services comme la gestion des serveurs, la sécurité, le stockage, les applications, la mise en place du réseau, ou encore la virtualisation de son propre chef.
IaaS (Infrastructure As A Service) : Dans ce cas de figure, les serveurs, le stockage, le networking, ou encore la virtualisation sont des services que Microsoft gère à la place de l’entreprise. L’entreprise peut donc se focaliser sur ses applications, ses données, les environnements d’exécution et les temps d’exécution des différents programmes.
PaaS (Plateforme As A Service) : L’entreprise gère uniquement les applications mises à disposition par la plateforme ainsi que ses données et ce qu’elle souhaite faire avec. Tout le reste est géré par le Cloud, en l’occurrence Azure.
SaaS (Software As A Service) : Tout est géré par la plateforme Cloud, l’entreprise doit simplement ingérer ses données dans la plateforme.
Description des différents services de Azure Cloud
Azure SQL DataBase
Azure SQL DataBase est un moteur de base de données PaaS (Platform as a Service) complètement managé qui prend en charge la plupart des fonctions de gestion de base de données telles que la mise à niveau, la mise à jour corrective, les sauvegardes et la surveillance sans intervention de l’utilisateur. Ce service fonctionne comme une base de données SQL installée localement.
Les capacités des Bases de données (tailles, vitesse d’exécution) dépendent de la formule tarifaire que l’on choisit sachant que Microsoft insiste sur le fait que les prix soient les plus modulables possibles.
Azure Blob Storage
Le Blob Storage (Stockage d’objets binaires volumineux) est un système de stockage PaaS optimisé pour les charges de travail d’analyse de données volumineuses. C’est un Data Lake qui permet de répondre à des besoins d’analyses. Il fournit un espace de stockage pour créer de puissantes applications natives cloud et mobiles.
Les Blob Storage gèrent les types de données suivantes : Images, fichiers, vidéo et audio, données de sauvegarde, données binaires et non structurées ou encore de restauration.
Azure Data Lake Storage (Gen1)
Le Data Lake de première génération d’azure permet le stockage de données de tous types, structurées, semi-structurées, non structurées ou encore des métadonnées.
On peut avoir dû mal à différencier ces deux services (Data Lake) qui en surface proposent des options similaires. Voici un tableau présentant les principales différences de ces deux solutions ainsi que des cas d’usages :
| Azure Blob Storage | Azure Data Lake Gen1 | |
| Structure | Noms de fichiers plats | Hiérarchiques (un peu comme un système de fichiers) |
| But | Magasin d’objets à usage général pour une grande variété de scénarios de stockage, y compris l’analyse de données volumineuses. | Stockage optimisé pour les charges de travail d’analyse de données volumineuses. |
| Performance | Bonnes performances de récupération du stockage. | Meilleures performances de récupération de stockage. |
| Coût |
Coût élevé pour l’analyse |
Faible coût pour l’analyse |
| Cas d’utilisations |
|
|
Azure Data Lake Storage (Gen2)
Azure Data Lake Storage Gen2 est le résultat de la convergence des capacités de deux services de stockage, Azure Blob Storage et Azure Data Lake Storage Gen1. Le but est d’en tirer le meilleur des deux mondes. La sémantique du système de fichiers, les fonctionnalités de sécurité au niveau des répertoires et des fichiers d’ADLS Gen1 sont combinées avec les capacités de stockage hiérarchisé à faible coût, de haute disponibilité/de reprise après sinistre d’Azure Blob Storage.
Azure Data Factory
Azure Data Factory est l’ETL de la plateforme Azure. Il ne diffère pas des autres ETL, et permet de piocher dans des sources variées même si évidement, il fonctionne plus efficacement avec des données stockées dans des environnement Azure Cloud. Avec un environnement intuitif et moderne Azure Data Factory propose de déployer des flux ETL avec un peu moins d’une centaine de connecteurs.
Une autre force de Data Factory est de pouvoir réhébergé des flux ETL créer dans des environnements SSIS (SQL Server Integration Services).
Azure Synapse Analytics
Azure Synapse Analytics est un service d’analytique qui regroupe l’intégration, l’entreposage des données d’entreprise et l’analytique Big Data. Synapse est surnommé le « Dataware House D’Azure SQL » et dispose de son propre environnement dédié pour l’analyse de tous les types de données qui et conviendra à n’importe quel développeur BI familier avec ce genre d’interface.
Les cas d’utilisations les plus fréquents d’Azure Synapse Analytics sont les suivants :
- Interrogation de données Ad Hoc : Interrogation de données sur des DataLake ou des Pool SQL
- Analyse et Entreposage de données SQL : Fournit un entrepôt de données complet permettant un modèle de données relationnel et des procédures stockées.
Fournit toutes les fonctionnalités SQL récentes (indexation en colonnes etc..) y compris le T-SQL. - ETL : Dispose de son propre ETL (expériences d’intégration similaires a DataFactory) et donc la possibilité de créer ses propres Pipelines d’interrogation de données.
- Communication avec tous les services d’Azure y compris Power BI pour la visualisation de nos données entreposées.
Azure Data Bricks
On privilégiera l’utilisation de DataBricks dans des cas : D’apprentissages automatique de transformations en temps réel.
3 environnements distincts pour 3 utilisations différentes :
- DataBricks SQL : Pour l’exécution de requêtes SQL sur des DataLake.
- DataBricks Science et Engineering : Pour le travail sur des données massives en utilisant Apache Spark
- DataBricks Machine Learning : Environnement destiné aux processus nécessitant du Machine Learning
Azure Analysis Services
Azure Analysis Services est une plateforme (PaaS) dans le cloud. Il permet d’effectuer des modélisations avancées pour combiner des données provenant de plusieurs sources de données, définir des mesures et sécuriser vos données dans un seul modèle de données sémantique.
Analysis Services offre la possibilité d’exploiter des jeux de données complexes afin d’en tirer des informations complexes le plus rapidement possible. L’utilisation d’Analysis Services intervient juste avant de passer à l’étape de visualisation de nos données.
Power BI
On ne présente plus cette solution d’analyse et de visualisation de données, produite par Microsoft et leadeur sur le marché de la « DataViz ». En plus de fournir des visuels modernes, interactifs et totalement personnalisables, Power Bi permet via son éditeur de requête Power Query la transformation et le nettoyage des données en amont de la création de tableau de reporting.
Power BI dispose de connecteur de données directement reliés à la plateforme Azure. On peut citer les connecteurs Azure SQL ou Synapse qui permettent d’analyser l’intégralité d’un patrimoine de données Azure, quels que soient la taille ou le type de celles-ci. On peut aussi intégrer des visualisations de Power Bi dans des applications Azure.
CONCLUSION DE L’EXPERT
La plateforme Microsoft Azure Cloud regorge des services permettant le traitement de donnée sur tout le long de la chaine décisionnelle. Aucune étape n’est oubliée :
- L’ingestion des données
- Le stockage de ces dernières,
- La création de flux pour les faire transiter entre les différents environnements Azure.
- Sans oublier les outils qu’Azure mets à disposition pour les traitements de ces dernières en s’aidant d’intelligence artificielle ou de machine learning.
- Enfin, l’analyse et la visualisation des données.
Tous ces services sont disponibles et communiquent entre eux grâce au Cloud, cette technologie qui garantit accessibilité, rapidité et simplicité d’utilisation.
