LDI La Donnée Intelligente AI & Data Engineering Get in Touch
AI, Data Engineering & MLOps

La donnée intelligente

Amazon AWS: instancier son cluster Hadoop facilement

on August 16, 2019





Amazon Elastic MapReduce (EMR) est le service qui simplifie la création et la mise à disposition d’une stack Hadoop complète et ajustable. Grâce à ce service, il suffit de quelques opérations pour créer un cluster Hadoop dans le Cloud embarquant les principaux outils de l’écosystème tels que YARN, Spark, Zeppelin, Hive, Presto, HBase et HDFS. Cet article propose de faire un tour d’horizon de ce service et de quelques moyens d’en profiter. Il s’inscrit dans une série d’articles autour de l’instanciation de clusters dans le Cloud.
Nous présenterons les raisons qui peuvent pousser à utiliser EMR, puis nous parlerons brièvement des différents services Amazon impliqués. Ensuite, après avoir déterminé l’architecture cible, nous passerons en revue les questions qu’il est indispensable de se poser, puis nous créerons notre cluster.

Lire la suite:

http://blog.xebia.fr/2017/09/11/emr-instancier-son-cluster-hadoop-simplement/