Índice:
Definição - O que significa Job Chaining?
O encadeamento de tarefas é um termo no MapReduce que se refere ao lançamento de várias etapas na mesma tarefa MapReduce. Com o encadeamento de trabalhos, o primeiro trabalho envia a saída para um trabalho, que envia a saída para o próximo trabalho na cadeia e assim por diante até que o trabalho seja concluído. É uma forma de pipeline de tarefas do MapReduce para torná-las mais gerenciáveis.
Techopedia explica Job Chaining
O encadeamento de tarefas no MapReduce refere-se à execução de várias tarefas em uma única tarefa do MapReduce.
Por exemplo, uma cadeia de tarefas pode consistir em:
Mapa1> Reduzir1> Mapa2> Reduzir2
A vantagem do encadeamento de tarefas é que elimina a necessidade de dados intermediários entre todas as etapas de um pipeline. Nesse sentido, o encadeamento de tarefas é semelhante ao redirecionamento de entrada / saída no shell Unix. A saída de um link na cadeia flui para a entrada no próximo trabalho na cadeia. O MapReduce permite que os desenvolvedores especifiquem dependências ou quais tarefas devem ser concluídas antes de processar as próximas tarefas na cadeia através do uso da chamada de método addDependingJob ().
Isso facilita para um desenvolvedor escrever um programa MapReduce que pode processar grandes quantidades de dados.
