Índice:
Definição - O que significa o JobTracker?
O JobTracker é um daemon que é executado no mecanismo MapReduce do Apache Hadoop. O JobTracker é um serviço essencial que distribui todas as tarefas do MapReduce para os diferentes nós no cluster, idealmente para os nós que já contêm os dados ou, no mínimo, estão localizados no mesmo rack que os nós que contêm os dados.
Techopedia explica o JobTracker
O JobTracker é o serviço do Hadoop responsável por atender às solicitações dos clientes. Ele os atribui aos TaskTrackers no DataNodes, onde os dados necessários estão presentes localmente. Se isso não for possível, o JobTracker tenta atribuir as tarefas aos TaskTrackers no mesmo rack em que os dados estão presentes localmente. Se, por algum motivo, isso também falhar, o JobTracker atribui a tarefa a um TaskTracker onde existe uma réplica dos dados. No Hadoop, os blocos de dados são replicados nos DataNodes para garantir redundância, de modo que, se um nó no cluster falhar, o trabalho também não falhará.
Processo JobTracker:
- Solicitações de trabalho de aplicativos clientes são recebidas pelo JobTracker,
- O JobTracker consulta o NameNode para determinar a localização dos dados necessários.
- O JobTracker localiza os nós do TaskTracker que contêm os dados ou pelo menos estão próximos dos dados.
- O trabalho é enviado ao TaskTracker selecionado.
- O TaskTracker executa suas tarefas enquanto é monitorado de perto pelo JobTracker. Se o trabalho falhar, o JobTracker simplesmente reenvia o trabalho para outro TaskTracker. No entanto, o JobTracker em si é um ponto único de falha, ou seja, se falhar, todo o sistema será desativado.
- O JobTracker atualiza seu status quando o trabalho é concluído.
- O solicitante do cliente agora pode pesquisar informações do JobTracker.
