BigQuery
BigQuery est un service web RESTful intégré à Google Cloud qui permet l'analyse interactive massive de grands ensembles de données en collaboration avec l'espace de stockage Google. C'est un logiciel en tant que service (SaaS) qui peut être utilisé en complément de MapReduce.
| BigQuery | |
| Adresse | cloud.google.com/products/bigquery/ |
|---|---|
| Langue | Anglais |
| Propriétaire | |
| Lancement | |
| État actuel | En activité |
BigQuery est également un entrepôt de données d'entreprise de Google, en mode sans serveur, donc sans infrastructure à gérer. Les requêtes peuvent être écrites en SQL legacy ou en SQL standard. Cet outil google permet d'analyser les données situées dans un entrepôt logique. Un entrepôt logique contient des datasets (bases de données). Les datasets contiennent des tables ou des vues. Le service est gratuit jusqu'à 1 To de données analysées par mois et 10 Go de données stockées[1].
Histoire
Après une période de tests en 2010, BigQuery a été rendu globalement disponible en novembre 2011, lors de la conférence Google Atmosphère[2]. En 2014, MapR a présenté le projet Apache Drill, qui vise à résoudre des problèmes similaires[3]. En avril 2016, les utilisateurs européens du service ont subi une interruption de 12 heures[4]. Depuis mai 2016, les Feuilles de calcul Google peuvent utiliser BigQuery[5].
Conception
BigQuery fournit un accès externe à la technologie Dremel[6] - [7], un système évolutif, interactif ad hoc sur le système de requête pour l'analyse de la lecture seule de données imbriquées. Pour utiliser des données dans BigQuery, celles-ci doivent d'abord être téléchargées sur le stockage de Google et ensuite importées à l'aide de l'API HTTP de BigQuery. BigQuery exige que toutes les demandes soient authentifiées via un mécanismes d' authentification OAuth.
Fonctionnalités[1]
- Entrepôt de données sans serveur.
- Analyse en temps réel.
- Haute disponibilité automatique.
- Langage SQL standard.
- Requêtes fédérées et entreposage de données logique.
- SĂ©paration du stockage et des calculs.
- Sauvegarde automatique et restauration facile.
- Fonctions et types de données géospatiaux.
- Service de transfert de données.
- Intégration à un écosystème de big data.
- Évolutivité à l'échelle du pétaoctet.
- Modèles tarifaires flexibles.
- Chiffrement des données et sécurité.
- Localité des données.
- Base pour l'IA.
- Base pour la veille stratégique.
- Ingestion flexible des données.
- Gouvernance des données.
- Interaction automatisée.
- Surveillance et journalisation complètes avec Stackdriver.
- Maîtrise des coûts
Caractéristiques
- La gestion des données - créer et supprimer des tables sur la base d'un schéma codé JSON, importer des données codées au format CSV ou JSON à partir de l'espace de stockage Google.
- Requête - les requêtes sont exprimées dans la norme du langage SQL[8] et les résultats sont retournés en JSON avec une réponse de taille maximume de 128 Mo, ou de taille illimitée, lorsque le critère "grands résultats" est activé[9].
- Intégration - BigQuery peut être utilisé à partir de Google Apps Script, les feuilles de calcul Google, ou n'importe quel langage qui peut travailler avec son API REST ou les bibliothèques client[10].
- Contrôle d'accès - il est possible de partager l'accès aux jeux de données avec une personne, un groupe, ou le monde.
Références
- (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « BigQuery  » (voir la liste des auteurs).
- « google cloud platform », sur cloud.google.com
- Iain Thomson, « Google opens BigQuery for cloud analytics: Dangles free trial to lure doubters », (consulté le )
- Neil McAllister, « Is your data boring? MapR wants you to bore it back with Apache Drill: New release adds support for Google-y SQL-on-Hadoop tech », (consulté le )
- Simon Sharwood, « Google Euro-cloud glitch », (consulté le )
- Jordan Novet, « Google BigQuery now lets you analyze data from Google Sheets », (consulté le )
- Sergey Melnik, Andrey Gubarev, Jing Jing Long, Geoffrey Romer, Shiva Shivakumar, Matt Tolton et Theo Vassilakis, « Dremel: Interactive Analysis of Web-Scale Datasets », Proc. of the 36th International Conference on Very Large Data Bases (VLDB),
- Kazunori Sato, « An Inside Look at Google BigQuery », Google, (consulté le )
- « SQL Reference » (consulté le )
- « Quota Policy » (consulté le )
- « BigQuery Client Libraries » (consulté le )