LDI La Donnée Intelligente AI & Data Engineering Get in Touch
AI, Data Engineering & MLOps

La donnée intelligente

Apache Tez

on November 28, 2016


Apache Tez c'est quoi? 
Utilisant YARN il remplace MapReduce afin de fournir des requêtes dites “temps réel”. La faible latence est en effet un pré requis à l’exploration interactive des données stockées sur un cluster Hadoop.
C’est un concurrent d’Apache Drill (MapR) ou de Cloudera Impala.

source:http://blog.ippon.fr/2013/05/14/big-data-la-jungle-des-differentes-distributions-open-source-hadoop/


Tez, un MapReduce sur mesure pour Hive et Pig

Oui, Tez est une réimplémentation de MapReduce. Mais avec quelques adaptations qui le rendent mieux adapté au contexte particulier de Hive et Pig.

Ainsi, une requête génère moins de jobs à enchaîner sur le cluster. Moins de jobs, ce sont aussi moins de ressources à allouer donc des requêtes plus véloces.