Apache Flink
Apache Flink est un framework open source de traitement flux développé par la Apache Software Foundation. Le noyau d'Apache Flink est un moteur distribué de flux écrit en Java et en Scala[3] - [4]. Flink exécute des programmes de flux de données arbitraires de manière parallèle et en pipeline[5]. Le système d'exécution en pipeline de Flink permet l'exécution de programmes de traitement en bloc / par lots et de flux[6] - [7]. En outre, le runtime de Flink prend en charge l'exécution d'algorithmes itératifs de manière native[8].
| Développé par | Apache Software Foundation |
|---|---|
| Première version | [1] |
| Dernière version | 1.17.1 ()[2] |
| DĂ©pĂ´t | github.com/apache/flink |
| Écrit en | Java et Scala |
| Environnement | Machine virtuelle Java |
| Type | Big data |
| Licence | Licence Apache version 2.0 |
| Site web | flink.apache.org |
Flink fournit un moteur de diffusion en continu à haut débit et à faible temps de latence , ainsi qu'un support pour le traitement des événements et la gestion de l'état. Les applications Flink sont tolérantes aux pannes en cas de défaillance de la machine et prennent en charge une sémantique exacte[9]. Les programmes peuvent être écrits en Java , Scala[10], Python[11], et SQL [12]. Ils sont automatiquement compilés et optimisés [13] dans des programmes de flux de données exécutés dans un cluster ou un environnement en nuage[14].
Flink ne fournit pas son propre système de stockage de données, mais fournit des connecteurs de source et de données aux systèmes tels que Amazon Kinesis , Apache Kafka , Alluxio , HDFS , Apache Cassandra et Elasticsearch[15].
Articles connexes
Liens externes
Références
- « https://projects.apache.org/json/projects/flink.json » (consulté le )
- « Release 1.17.1 », (consulté le )
- « Apache Flink: Scalable Batch and Stream Data Processing », apache.org
- « apache/flink », GitHub
- Alexander Alexandrov, Rico Bergmann, Stephan Ewen, Johann-Christoph Freytag, Fabian Hueske, Arvid Heise, Odej Kao, Marcus Leich, Ulf Leser, Ulf Leser, Felix Naumann, Mathias Peters et Astrid Rheinländer, Matthias J. Sax Höger, Kostas Tzoumas et Daniel Warneke. 2014. La plate-forme Stratosphere pour l'analyse de données volumineuses . The VLDB Journal 23, 6 (décembre 2014), 939-964. EST CE QUE JE
- Ian Pointer, « Apache Flink: New Hadoop contender squares off against Spark », InfoWorld,
- « On Apache Flink. Interview with Volker Markl. », odbms.org
- Stephan Ewen, Kostas Tzoumas, Moritz Kaufmann et Volker Markl. 2012. Flux de données itératifs rapides . Proc. VLDB Endow. 5, 11 (juillet 2012), 1268-1279. EST CE QUE JE
- (en) Paris Carbone, Gyula Fóra, Stephan Ewen, Seif Haridi et Kostas Tzoumas, « Lightweight Asynchronous Snapshots for Distributed Dataflows », .
- (en) « Apache Flink 1.2.0 Documentation: Flink DataStream API Programming Guide », ci.apache.org (consulté le )
- (en) « Apache Flink 1.2.0 Documentation: Python Programming Guide », ci.apache.org (consulté le )
- (en) « Apache Flink 1.2.0 Documentation: Table and SQL », ci.apache.org (consulté le )
- Fabian Hueske, Mathias Peters, Matthias J. Sax, Astrid Rheinländer, Rico Bergmann, Aljoscha Krettek et Kostas Tzoumas. 2012. Ouverture des boîtes noires dans l'optimisation des flux de données . Proc. VLDB Endow. 5, 11 (juillet 2012), 1256-1267. EST CE QUE JE
- Daniel Warneke et Odej Kao. 2009. Nephele: traitement de données parallèle efficace dans le cloud . Dans Actes du deuxième atelier sur l'informatique à plusieurs tâches sur les grilles et les super-ordinateurs (MTAGS '09). ACM, New York, NY, États-Unis d’Amérique, article 8, 10 pages. EST CE QUE JE
- (en) « Apache Flink 1.2.0 Documentation: Streaming Connectors », ci.apache.org (consulté le )