Apache Sqoop
Sqoop est une interface en ligne de commande de l'application pour transférer des données entre des bases de données relationnelles et Hadoop[2]. Il prend en charge le chargement différentiels d'une seule table ou d'une requête SQL ainsi que des tâches enregistrées qui peuvent être exécutées plusieurs fois pour importer les mises à jour effectuées dans une base de données depuis la dernière importation. Les imports peuvent également être utilisés pour remplir les tables dans Hive ou HBase[3]. les Exportations peuvent être utilisés pour mettre les données de Hadoop dans une base de données relationnelle. Le nom Sqoop est un mot valise constitué de sql et de hadoop.En Sqoop est devenu un projet haut niveau d'Apache[4].
Informatica fournit un connecteur pour Sqoop à partir de la version 10.1. Informatica prend en charge à la fois les actions d'Importation et celles d'Exportation, qui sont souvent utilisées pour l'Intégration de Données dans d'Hadoop.
Pentaho fournit également des connecteurs open source basé sur Sqoop ' Sqoop Importat[5] et Sqoop à Export[6] ) dans leur ETL depuis la version 4.5 du logiciel[7]. Microsoft utilise un connecteur basé sur Sqoop pour aider le transfert des données à partir de Microsoft SQL Server vers les bases de données de Hadoop[8]. Couchbase, Inc. fournit également un connecteur Couchbase Server-Hadoop par le biais de Sqoop[9].
En 2015, Ralph Kimball décrit Sqoop comme suit, sous le titre The Future of ETL[10] : « Several big changes must take place in the ETL environment. First, the data feeds from original sources must support huge bandwidths, at least gigabytes per second. Learn about Sqoop loading data into Hadoop. If these words mean nothing to you, you have some reading to do! Start with Wikipedia. » (« Plusieurs changements importants doivent avoir lieu dans l'environnement ETL. Premièrement, les flux de données provenant de sources originales doivent prendre en charge d'énormes bandes passantes, au moins plusieurs gigaoctets par seconde. Renseignez-vous sur les données de chargement Sqoop dans Hadoop. Si ces mots ne vous disent rien, vous avez quelques lectures à faire ! Commencez avec Wikipedia. »).
Notes et références
- (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Sqoop » (voir la liste des auteurs).
- « https://projects.apache.org/json/projects/sqoop.json » (consulté le )
- « Hadoop: Apache Sqoop » (consulté le )
- « Apache Sqoop - Overview » (consulté le )
- « Apache Sqoop Graduates from Incubator » (consulté le )
- (en-US) « Sqoop Import » [archive du ], Pentaho, (consulté le ) : « The Sqoop Import job allows you to import data from a relational database into the Hadoop Distributed File System (HDFS) using Apache Sqoop. »
- (en-US) « Sqoop Export » [archive du ], Pentaho, (consulté le ) : « The Sqoop Export job allows you to export data from Hadoop into an RDBMS using Apache Sqoop. »
- (en-US) « Big Data Analytics Vendor Pentaho Announces Tighter Integration with Cloudera; Extends Visual Interface to Include Hadoop Sqoop and Oozie » [archive du ], Database Trends and Applications (dbta.com), (consulté le ) : « Pentaho’s Business Analytics 4.5 is now certified on Cloudera’s latest releases, Cloudera Enterprise 4.0 and CDH4. Pentaho also announced that its visual design studio capabilities have been extended to the Sqoop and Oozie components of Hadoop. ».
- « Microsoft SQL Server Connector for Apache Hadoop » (consulté le )
- « Couchbase Hadoop Connector » (consulté le )
- (en-US) Ralph Kimball, « Design Tip #180 The Future Is Bright » [archive du ], Kimball Group, (consulté le ).