Q:
Como posso aprender a usar o Hadoop para analisar big data?
UMA:O conjunto de software Apache conhecido como Hadoop está se tornando um recurso muito popular para lidar com grandes conjuntos de dados. Esse tipo de estrutura de software de manipulação de dados foi criada para ajudar a agregar dados de maneiras específicas, com base em projetos que podem tornar alguns tipos de projetos de dados mais eficientes. Dito isto, o Hadoop é apenas uma das muitas ferramentas para lidar com grandes conjuntos de dados.
Uma das primeiras e mais básicas maneiras de aprender sobre a análise de big data com o Hadoop é entender alguns dos componentes de nível superior do Hadoop e o que ele faz. Isso inclui uma "plataforma de gerenciamento de recursos" do Hadoop YARN que pode ser aplicada a certos tipos de configurações de rede, bem como um conjunto de funções do Hadoop MapReduce que se aplicam a grandes conjuntos de dados. Há também um sistema de arquivos distribuídos (HDFS) do Hadoop, que ajuda a armazenar dados em sistemas distribuídos para que possam ser indexados ou recuperados com rapidez e eficiência.
Além disso, aqueles que desejam se familiarizar com o Hadoop podem procurar recursos publicados individuais para profissionais que explicam o software em um nível relacionável. Este exemplo de Chris Stucchio em um blog pessoal fornece um excelente conjunto de pontos sobre o Hadoop e a escala de dados. Uma das dicas básicas é que o Hadoop pode ser usado com mais frequência do que o necessário e pode não ser a melhor solução para um projeto individual. A revisão desses tipos de recursos ajudará os profissionais a se familiarizarem com os detalhes do uso do Hadoop em qualquer cenário. Stucchio também fornece metáforas para relacionar as funções do Hadoop a tarefas físicas específicas. Aqui, o exemplo está contando o número de livros em uma biblioteca, enquanto uma função do Hadoop pode dividir essa biblioteca em seções, fornecendo contagens individuais que são combinadas em um resultado agregado de dados.
Uma maneira mais profunda de os profissionais aprenderem mais sobre o Hadoop e sua aplicação ao big data é através de recursos e programas específicos de treinamento. Por exemplo, a empresa de aprendizado on-line Cloudera, um fornecedor proeminente de sessões de treinamento remoto, tem várias opções interessantes sobre o uso do Hadoop e tipos semelhantes de manipulação de dados.
