Introduction
La concurrence entre les principaux éditeurs d’outils ETL ne cesse de s’accroître. Cela vient en partie du fait que les entreprises utilisent une multitude d’outils, et de progiciels. Ils cherchent de plus en plus à analyser, croiser, fiabiliser et maîtriser leurs données dans un but décisionnel. Il existe actuellement un large choix d’outils d’extractions, de transformations et de chargements des données sur le marché, ce qui rend le choix difficile.
Nous allons vous présenter une série d’articles sur différents outils ETL du marché. Dans cet article, nous allons nous intéresser plus particulièrement à l’ETL SAP Data Services.
Qu’est-ce qu’un ETL ?
L’abréviation ETL signifie Extract Transform Load (Extraction Transformation Chargement). Il a pour objectif d’uniformiser des données en provenance de différentes sources de données disparates (bases de données, fichiers plats…), de les nettoyer pour ensuite les transformer (agrégations des données par exemple) et enfin de les charger dans une cible (une base de données le plus souvent). On peut ainsi concevoir un DataWarehouse ou mettre en place des interfaces entre les applications
La première question que l’on se pose est souvent la suivante : « Quel ETL choisir et pourquoi ? »
Pour répondre de manière objective à cette question, il faut prendre en compte un certain nombre de critères même si le principe de base reste le même entre tous les ETL. Ainsi, en fonction de ses besoins et de ses moyens, chacun pourra décider quel ETL privilégier.
SAP Data Services
L’application SAP BusinessObjects « Data Services » est l’ETL créé par l’éditeur allemand SAP. Anciennement nommée Business Objects Data Integrator, il permet aux utilisateurs de trouver facilement des solutions de traitement des données. En effet, cet outil va permettre aux entreprises de construire une fondation de données de qualité. Ces données seront fiables, pertinentes, uniques et permettront la prise de décisions. De plus, cet outil permet de traiter rapidement des volumes de données très importants.
Les utilisateurs peuvent grâce à cet outil :
- Se connecter à la majorité des systèmes de bases de données du marché ainsi qu’à toute sorte de fichiers (XML, CSV, TXT…)
- Intégrer les données des applications métiers à partir de connecteurs spécifiques (SAP, BW, Siebel, …)
- Uniformiser des données disparates de plusieurs applications au sein d’une même base de données
- Automatiser les chargements de données d’une base de données vers une autre en les planifiant
- Création de Jobs, Workflows, Dataflows, … réutilisables dans plusieurs projets.
- Création de contexte de travail (Développement, Qualification, Production)
De plus, la ligne de produits SAP BusinessObjects offre une solution complète pour l’aide à la décision. Elle intègre des outils de qualité de données, d’analyse d’impact, d’interrogation, de reporting et de data-viz. Elle est aussi composée de modules utilisateurs finaux et techniques :
- La Central Management Console (CMC) permet d’administrer les utilisateurs, la sécurité ainsi que les différentes ressources de la plateforme décisionnelle. Ces tâches fondamentales devront être prises en charge par les administrateurs du système.
- Le Designer (UDT/IDT) est utilisé pour concevoir les couches sémantiques (univers) et les distribuer aux utilisateurs.
- Web Intelligence et Web Intelligence Rich Client sont les outils de reporting et d’analyse respectivement en mode web et client/serveur.
- Data Services est l’ETL qui fait le lien entre vos bases données applicatives et vos bases de données de Reporting.
- Data Services Management Console permet de suivre l’exécution des jobs, de faire du reporting sur les temps de tratements des données, et de faire de l’analyse d’impact, afin de suivre sur toute la chaine décisionnelle les modifications de données.
Depuis la Version 4.x de SAP BusinessObjects, cet outil est pleinement intégré à la suite de Analytics. Ainsi, si vous utilisez déjà SAP BusinessObjects au sein de votre société, l’utilisation de l’outil SAP Data Services sera possible et ne nécessitera potentiellement aucun coût supplémentaire. Toutefois, il est important de préciser que l’outil Data Services sera Multi-sources mais Mono-Cible (idéal dans le cadre de mise en place d’un Datawarehouse). Pour utiliser la possibilité de l’outil SAP Data Services en Multi-Sources et Multi-Cibles (idéal dans le cadre de mise en place de flux inter-application), il faudra vous acquitter d’une licence spécifique.
Lorsque l’on procède à l’installation de l’outil SAP Data Services, une console de management comprenant notamment un outil de monitoring s’installe également.
Le module « Administrateur » permet d’exécuter des flux à la volée ou de la planifier de manière automatique et récurrente. Il est également possible de superviser la planification des différents flux et de consulter les logs d’exécution.
Le module « Analyse d’impact et de lignage » avec le MetaData Report permet de mesurer de manière très précise l’impact d’une modification Métadonnées sur l’ensemble de la plateforme SAP BusinessObjects.
De plus, le MetaData Report délivre une traçabilité complète des Métadonnées (Lineage) et ainsi répond à la question : « Comment cet indicateur a-t’ il été calculé ? »
Il est possible de visualiser toutes les dépendances entre les métadonnées suivantes :
- Des dimensions ou indicateurs (rapport Web Intelligence, Crystal Report, Business View)
- Les Méta-Données correspondant aux modèles physiques des schémas cibles (DataWareHouse & DataMarts)
- Les étapes de transformation réalisées depuis Data Integrator
- Les Méta-Données des systèmes sources
De plus, des tableaux de bord avec des KPI prédéfinis sont également consultables. Vous pourrez ainsi maîtriser votre référentiel Data Services.
Installation SAP Data Services
Il existe deux méthodes bien différentes pour installer SAP Data Services. Chacune de ces méthodes à ses avantages et inconvénients.
La première méthode est possible seulement si vous utilisez déjà SAP BusinessObjects. Elle consiste à installer l’outil SAP Data Services sur le même serveur que BO. Cela vous permettra d’utiliser la base du référentiel de BO. Vous pourrez ainsi, depuis la Central Management Console (CMC) de BO, gérer les utilisateurs et la sécurité de BO et de Data Services. L’avantage sera donc de pouvoir gérer vos ressources BO et Data Services dans un seul et unique outil. Il vous faudra par contre, augmenter les ressources de votre serveur (+16 GO minimum) ainsi que l’espace disque disponible.
D’autre part, il est également possible d’installer une partie de l’outil Data Services sur un serveur dédié. Ceci permettra de bien cloisonner les ressources machines à BO et à Data Services. Il vous faudra alors mettre en place une configuration spécifique sur le serveur BO afin que l’outil Data Services puisse se brancher à la base du CMS de BO.
La seconde méthode consiste à installer Data Services de manière autonome et donc à l’écart de la plateforme SAP BusinessObjects (si vous en avez une). Ce serveur devra avoir au minimum 16 GO de RAM. Il vous faudra installer, en plus de l’outil, un IPS (Information Platform Services), afin d’avoir une « Central Management Console » propre à Data Services. L’avantage de cette solution est de ne pas avoir besoin d’une version spécifique de Data Services compatible avec la version SAP BusinessObjects utilisée. De plus, si votre serveur BO rencontre des dysfonctionnements, l’outil SAP Data Services ne sera pas impacté, les environnements seront indépendants
Les sources de l’outil SAP Data Services sont à télécharger sur le site du support SAP. Il faudra renseigner votre clé de licence à l’installation.
Points Forts de SAP Data Services
- L’outil SAP Data Services est intégré à la suite globale de SAP BusinessObjects
- Intégration étroite avec les autres produits SAP (SAP HANA, SAP ECC, SAP BW,…)
- Outil très robuste
- Seul ETL à pouvoir utiliser les extracteurs BW et SAP ECC (génération de code ABAP)
- Fonctionnalité d’analyse d’impact et de traçabilité complète des Métadonnées (de l’ETL aux tableaux de bord)
- Architecture des flux avancés avec la notion de Job, de Work Flow et de Data Flow
- Outil de monitoring performant
- Traitement de gros volumes de données
- Parallélisme des traitements
- Création d’une bibliothèque de données et de composants réutilisable
- Support et Communauté très présents
- Technologie Hybride : moteur de transformation et générateur de code SQL optimisé
- Outils d’administration et de gouvernance des données avancés
Selon Magic Quadrant de Gartner, l’un des critères pour lesquelles un grand nombre d’entreprises choisissent la solution ETL SAP Data Services est l’intégration avec les applications d’entreprise.
Points Faibles de SAP Data Services
- Installation de l’outil complexe
- Coût de la licence SAP BusinessObjects, si l’outil n’est pas compris dans votre packaging de licence
- Nécessite un serveur dédié avec de fortes ressources (16 GO de RAM entre autres)
CONCLUSION DE L’EXPERT
Il est important de choisir l’outil d’intégration des données qui correspond le plus à vos besoins, le plus à vos moyens et qui peut être mis en œuvre avec les ressources et les compétences dont vous disposez.
Si vous possédez une licence SAP BusinessObjects alors le choix de l’outil SAP Data Services peut être le plus pertinent. De plus, SAP Data Services étant intégré avec les autres produits SAP, les facilités d’accès à des sources SAP ECC ou SAP BW par exemple peuvent être un point en prendre à compte.
Enfin, il est important de noter que SAP Data Services est le seul à proposer un module permettant de faire une analyse d’impact. Ce module permet de visualiser à quel(s) endroit(s) intervient tel ou tel objet (un champ ou une table par exemple). Cette analyse d’impact ne s’arrête pas seulement à la partie ETL mais peut être propagée sur les univers et les rapports Web Intelligence qui en découlent.
Nous vous invitons également à lire les autres articles de cette série qui permettent de voir les points forts et points faibles de Talend et Microsoft SSIS.
