Extract-transform-load

L'objectif d'ETL est de produire des données propres, faciles d'accès et qui peuvent être exploitées efficacement par l'analytique, l'informatique décisionnelle et/ou les opérations commerciales. Les données brutes peuvent être extraites de différentes sources, en particulier :

• bases de données existantes ;
• logs d'activité (trafic réseau, rapports d'erreurs, etc.) ;
• comportement, performances et anomalies des applications ;
• événements de sécurité ;
• autres opérations qui doivent être décrites aux fins de conformité.

Les données extraites sont parfois stockées dans un emplacement tel qu'un data lake ou un data warehouse.

L'étape de transformation du processus ETL est celle des opérations les plus essentielles. L'opération la plus importante de l'étape de transformation consiste à appliquer aux données brutes les règles internes de l'entreprise de manière à répondre aux exigences en matière de reporting : les données brutes sont nettoyées et converties aux formats de rapport qui conviennent (si les données ne sont pas nettoyées, il devient plus difficile d'appliquer les règles internes de reporting).

La transformation applique les règles définies en interne. Les normes qui garantissent la qualité des données et leur accessibilité doivent tenir compte des pratiques suivantes :

• Standardisation : Définir les données à traiter, leur format et leur mode de stockage ainsi que d'autres considérations de base qui définiront les étapes qui suivent.
• Déduplication : Transmettre un rapport sur les doublons aux personnes chargées de la gouvernance des données ; exclure et/ou supprimer les données redondantes
• Vérification : Effectuer des vérifications automatisées pour comparer des données similaires telles que durée de transaction ou suivi des accès. Les tâches de vérification permettent d'éliminer les données inutilisables et de signaler les anomalies des systèmes, des applications ou des données.
• Tri : Maximiser l'efficacité des data Warehouse en regroupant et stockant les objets par catégorie (données brutes, données audio, mails, etc.). Vos règles de transformation ETL conditionnent la catégorisation de chaque objet et sa prochaine destination. Le processus ETL est parfois utilisé pour générer des tables d'agrégation qui sont ensuite proposées dans des rapports de base ; dans ce cas, vous devez trier puis agréger les données.
• Autres tâches : Tâches dont vous avez besoin et que vous définissez et paramétrez de telle sorte qu'elles s'exécutent en mode automatique

La dernière étape du processus ETL standard consiste à charger les données extraites et transformées dans leur nouvel emplacement. En général, les entrepôts de données supportent deux modes pour le chargement des données : chargement complet (on recharge l'integralité des données) et chargement incrémental (seules les dernières données sont chargées).

• Optimisé pour la structure de l’entrepôt de données
• Peut traiter de grandes quantités de données dans une même exécution (traitement en lot)
• Permet des transformations complexes et agrégations sur les données
• La cédule d’exécution peut être contrôlée par l’administrateur
• La disponibilité d’outils GUI sur le marché permet d’améliorer la productivité
• Permet la réutilisation des processus et transformations (ex : packages dans SSIS)

• Processus de développement long et coûteux
• Gestion des changements nécessaire
• Exige de l’espace disque pour effectuer les transformations (staging area)
• Exécuté indépendamment du besoin réel
• Latence des données entre la source et l’entrepôt
• Unidirectionnel (des sources vers l’entrepôt de données)

L’EAI, ou Enterprise Application Integration (en français, l’intégration des applications d’entreprise), désigne un processus en cours depuis de nombreuses années, l’intégration d’applications variées afin qu’elles puissent partager librement l’information et les traitements. L’EAI est sous le feu des projecteurs des fournisseurs de logiciels et des analystes et permet enfin de régler un problème qui coûte aux très grandes entreprises 100 milliards de dollars par an.

Enterprise Application Integration (EAI) pour le terme consacré en anglais, est aussi appelé Echanges Inter-applicatifs de Données en français. Ce terme désigne une architecture SI qui permet à plusieurs logiciels de communiquer entre eux et de gérer les différents échanges. On parle aussi de gestion des flux inter-applicatifs. Par raccourci, les outils logiciels utilisés pour réaliser ces architectures EAI sont eux aussi appelés « logiciels EAI ».

Un logiciel EAI permet de se connecter à tout type de sources de données, d’en extraire des données, de manipuler ces données, de structurer ces données puis de les déposer dans toutes autres structures de données. L’exécution de ces manipulations et la synchronisation de données est programmable et déclenchée par tout type d’évènements[4].

L’ETL est une technique d’intégration de données comme l’EAI. Les produits d’EAI sont orientés événements et supportent des traitements de type transactionnel, que l’ETL ne supporte pas. En revanche, l’ETL permet des transformations beaucoup plus complexes. Certains éditeurs de produits d’EAI et d’ETL deviennent partenaires, et on se dirige vers des solutions où l’EAI capture les données et les événements des applications en temps réel et les passe à l’outil ETL qui transforme les données et les charge dans l’environnement d'informatique décisionnelle.