Introduction
Le géant américain Microsoft a lancé la deuxième version de son outil de traitement de données dans le cloud, Azure Data Factory (ADF), en 2018. Cette dernière version intègre la possibilité de déployer des solutions développées ‘on premise’ (packages SSIS) sur le cloud Azure.
Un nombre croissant d’entreprise migre ses ressources vers le cloud afin de profiter des nombreux avantages que cela suppose, notamment en termes d’évolution, souplesse et performance.
Néanmoins, la transition peut s’avérer coûteuse en raison des traitements longs à migrer, initialement développés à l’aide de l’outil ‘on premise’ SQL Server Integration Services (SSIS).
(Présentation de ADF : https://www.decivision.com/blog/microsoft-bi/presentation-de-azure-data-factory)
SSIS in the cloud
De nos jours le cloud prend une place importante dans le quotidien des entreprises, qui conservent encore de nombreux traitements de données on-premise. En optant pour le Cloud hybride, Azure Data Factory propose deux solutions afin de gagner en temps de gestion et déploiement des traitements existants.
Solution 1 : Avec la fonctionnalité d’ADF « Configurer SSIS », gérez et exécutez vos solutions SSIS dans le cloud Azure.
Solution 2 : Si vous souhaitez inclure vos packages dans l’ensemble de vos traitements on-cloud, créez un pipeline dans ADF et intégrez l’activité « Exécuter le package SSIS » classée dans la catégorie ‘Général’.
Prérequis
Le déploiement de vos packages SSIS est contraint à certains pré-requis en termes de version des outils SQL Server (SQL Server Data Tools ou SSDT) et environnement.
- Visual Studio 2015 fonctionne avec une version de SSDT 17.2 ou supérieure.
- Visual Studio 2017 fonctionne avec une version de SSDT 15.3 ou supérieure.
Une fois les pré-requis respectés, procédez au paramétrage des différents éléments, en commençant par le Runtime d’intégration SSIS.
Le runtime d’intégration SSIS-Azure dans ADF
Un runtime d’intégration Azure permet de déplacer des données entre les différentes sources et cibles en garantissant une sécurité et fiabilité.
Il existe différents types de runtimes d’intégration en fonction des traitements exécutés, parmi lesquels on retrouve le runtime d’intégration SSIS-Azure. Ce dernier est un cluster de machines virtuelles géré par ADF qui est chargé de déployer les solutions SSIS dans le cloud, il est donc une étape obligatoire pour pouvoir bénéficier de cette fonctionnalité de Data Factory.
En référence à l’accès des runtime d’intégration, il se réalise depuis l’onglet du portail Azure Data Factory.
Ensuite, vous pourrez créer un nouveau runtime d’intégration du type Azure-SSIS.
A la suite de la configuration et mise en place de runtime d’intégration en fonction de vos besoins, vous pourrez désormais exécuter vos solutions SSIS dans ADF. Attention, assurez-vous que le Runtime d’intégration est en fonctionnement avant utilisation !
Connexion au catalogue SSIS (SSISDB)
Pour pouvoir localiser vos packages SSIS, vous devez déployer le catalogue SSIS. Ainsi, lorsque le runtime d’intégration a été créé il a automatiquement généré une base de données SQL nommée SSISDB ayant le rôle de catalogue.
Le catalogue SSISDB contient l’ensemble d’éléments composant une solution SSIS dont les packages et les traitements dont nous avons besoin, ainsi que les informations relatives aux déploiements et implémentations réalisées. Ceci se trouve dans les bases de données SQL du portail Azure.
Pour information, il se peut que le catalogue SSISDB soit déployé sur un environnement local dont SQL Server Management Studio, et la base de données SSISDB sur le cloud pointe directement vers cette base de données déjà existante.
Déploiement de votre solution
Pour terminer, déployez votre solution en choisissant le runtime d’intégration créé, le catalogue SSIS et le package dont vous avez besoin et bénéficiez d’une expérience optimale.
CONCLUSION DE L’EXPERT
L’outil de transformation de données de notre partenaire Microsoft enrichit l’expérience de ses utilisateurs en intégrant la possibilité de gérer, surveiller et déployer des solutions mises en place avec SSIS, et qui souhaitent évoluer vers un environnement du cloud.
Les tendances affirment une fois de plus les avantages de cette transition numérique en constante amélioration dont Azure Data Factory fait partie, et sans doute rend plus rapide et facile la migration.
En synthèse, si la migration vers le cloud vous concerne ou fait partie de votre plan d’action futur et que vous souhaitez conserver les traitements SSIS développés jusqu’à présent, l’opportunité qui vous offre Azure Data Factory est sans doute une solution à vos futurs traitements composant le cloud Hybride.
