DataOps
Le DataOps est une méthodologie automatisée et orientée processus, utilisée par les équipes d'analyse et de données, pour améliorer la qualité et réduire le temps de cycle de l'analyse des données . Alors que le DataOps a commencé comme un ensemble de bonnes pratiques, c'est maintenant devenu une approche nouvelle et indépendante de l'analyse des données[1]. Le DataOps s'applique à l'ensemble du cycle de vie des données [2], du pré-traitement des données au reporting, et intègre le lien entre l'équipe d'analyse des données et les opérations informatiques (ops)[3].
Le DataOps intègre la méthodologie agile pour raccourcir le temps de cycle de développement en fonction des objectifs de l'entreprise[2].
Le DevOps se concentre sur la livraison continue en tirant parti des ressources informatiques à la demande et en automatisant les tests et le déploiement de logiciels. Cette fusion du développement de logiciels et des opérations informatiques a amélioré la vitesse, la qualité et la prédictibilité. Empruntant des méthodes au DevOps, le DataOps cherche à apporter ces mêmes améliorations à l'analyse de données[3].
Le DataOps n'est pas lié à une technologie, une architecture, un outil, un langage ou un framework particulier. Les outils qui prennent en charge le DataOps favorisent la collaboration, l'orchestration, la qualité, la sécurité, l'accès et la facilité d'utilisation[4].
Histoire
Le DataOps a été présenté pour la première fois par Lenny Liebmann, contributeur au InformationWeek, dans un article de blog sur IBM Big Data & Analytics Hub intitulé "3 raisons pour lesquelles DataOps est essentiel pour le succès du Big Data" le 19 juin 2014[5]. Le terme DataOps a ensuite été popularisé par Andy Palmer chez Tamr[3]. DataOps est un surnom pour « opérations de données »[2]. 2017 a été une année importante pour le DataOps avec un développement important de l'écosystème, une augmentation de l'intérêt sur les moteurs de recherches, des publications et des projets open source[6]. Gartner a mentionné DataOps sur le Hype Cycle for Data Management en 2018[7].
Notes et références
- (en) « DataOps – It’s a Secret », www.datasciencecentral.com (consulté le )
- (en-US) « What is DataOps (data operations)? - Definition from WhatIs.com », SearchDataManagement,‎ (lire en ligne, consulté le )
- (en-US) « From DevOps to DataOps, By Andy Palmer - Tamr Inc. », Tamr Inc.,‎ (lire en ligne, consulté le )
- (en-US) « What is DataOps? | Nexla: Scalable Data Operations Platform for the Machine Learning Age », www.nexla.com (consulté le )
- (en) « 3 reasons why DataOps is essential for big data success »(Archive.org • Wikiwix • Archive.is • Google • Que faire ?), IBM Big Data & Analytics Hub (consulté le )
- DataKitchen, « 2017: The Year of DataOps », data-ops, (consulté le )
- (en) « Gartner Hype Cycle for Data Management Positions Three Technologies in the Innovation Trigger Phase in 2018 », Gartner (consulté le )