10 Big data faz e não faz

O big data traz muitas promessas para todos os tipos de indústrias. Se esse big data for aproveitado de maneira eficaz e eficiente, poderá ter um impacto significativo na tomada de decisão e na análise. Mas o benefício do big data só pode ser alcançado se for gerenciado de maneira estruturada. As melhores práticas de big data estão sendo gradualmente estabelecidas, mas já existem alguns prós e contras claros na implementação.

A orientação a seguir é baseada na experiência prática e no conhecimento coletado de projetos da vida real. Aqui estão os meus principais dados sobre o que fazer e o que não fazer.

Envolva todas as seções de negócios em uma iniciativa de big data

Uma iniciativa de big data não é uma atividade isolada e independente, e é necessário o envolvimento de todas as unidades de negócios para obter valor e insight reais. O big data pode ajudar as organizações a aproveitar grandes volumes de dados e obter informações sobre o comportamento do cliente, eventos, tendências, previsões, etc. Isso não é possível com um instantâneo de dados, que captura apenas uma parte de todo o volume de dados processados ​​no big data. Como resultado, as empresas estão se concentrando cada vez mais em todos os tipos de dados provenientes de todas as avenidas / unidades de negócios possíveis para entender o padrão correto.

Avalie todos os modelos de infraestrutura para implementação de big data

O volume de dados e seu gerenciamento são uma grande preocupação para qualquer iniciativa de big data. Como o big data lida com petabytes de dados, a única solução para gerenciá-lo é usando data centers. Ao mesmo tempo, o componente de custo deve ser considerado antes de selecionar e finalizar qualquer instalação de armazenamento. Os serviços em nuvem geralmente são a melhor opção, mas os serviços de diferentes ambientes em nuvem devem ser avaliados para determinar o apropriado. Como o armazenamento é um dos componentes mais importantes em qualquer implementação de big data, é um fator que deve ser avaliado com muito cuidado em qualquer iniciativa de big data. (Obtenha outra perspectiva no Desafio de Big Data de hoje decorre de variedade, não de volume ou velocidade.)

Considere fontes de dados tradicionais no planejamento de big data

Existem várias fontes de big data e o número de fontes também está aumentando dia a dia. Esse enorme volume de dados é usado como entrada para o processamento de big data. Como resultado, algumas empresas pensam que as fontes de dados tradicionais são inúteis. Isso não é verdade, pois esses dados tradicionais são um componente crítico para o sucesso de qualquer história de big data. Os dados tradicionais contêm informações valiosas, portanto devem ser usados ​​em conjunto com outras fontes de big data. O valor real do big data só pode ser obtido se todas as fontes de dados (tradicionais e não tradicionais) forem levadas em consideração. (Saiba mais em Take That, Big Data! Por que os dados pequenos podem ter um impacto maior).

Considere um conjunto consistente de dados

Em um ambiente de big data, os dados são provenientes de várias fontes. O formato, estrutura e tipos de dados variam de uma fonte para outra. A parte mais importante é que os dados não são limpos quando se trata do seu ambiente de big data. Portanto, antes de confiar nos dados recebidos, é necessário verificar a consistência por observação e análise repetitivas. Depois de confirmada a consistência dos dados, eles podem ser tratados como um conjunto consistente de metadados. Encontrar um conjunto consistente de metadados pela observação cuidadosa do padrão é um exercício essencial em qualquer planejamento de big data.

Distribua os dados

O volume de dados é uma grande preocupação quando consideramos um ambiente de processamento. Devido ao grande volume de dados com que o big data lida, o processamento em um único servidor não é possível. A solução é um ambiente Hadoop, que é um ambiente de computação distribuído que roda em hardware comum. Permite o processamento mais rápido em vários nós. (Saiba mais em 7 coisas para saber sobre o Hadoop.)

Nunca confie em uma única abordagem de análise de big data

Existem várias tecnologias disponíveis no mercado para o processamento de big data. A base de todas as tecnologias de big data é o Apache Hadoop e o MapReduce. Portanto, é importante avaliar a tecnologia correta para a finalidade correta. Algumas das abordagens de análise importantes são: análise preditiva, análise prescritiva, análise de texto, análise de dados de fluxo, etc. A seleção do método / abordagem apropriada é importante para atingir o objetivo desejado. É melhor evitar confiar em uma única abordagem, mas investigar várias abordagens e selecionar a combinação perfeita para sua solução.

Não inicie grandes iniciativas de big data antes de estar pronto

É sempre recomendável começar com pequenas etapas para qualquer iniciativa de big data. Portanto, comece com projetos-piloto para obter experiência e, em seguida, vá para a implementação real. O potencial do big data é muito impressionante, mas o valor real só pode ser alcançado quando reduzimos nossos erros e adquirimos mais experiência.

Não use dados isoladamente

As fontes de big data estão espalhadas ao nosso redor e estão aumentando dia a dia. É importante integrar todos esses dados para obter uma saída analítica correta. Diferentes ferramentas estão disponíveis no mercado para integração de dados, mas elas devem ser avaliadas adequadamente antes do uso. A integração de big data é uma tarefa complexa, pois os dados de diferentes fontes são de formatos diferentes, mas é muito necessário para obter bons resultados de análise.

Não ignore a segurança dos dados

A segurança dos dados é uma consideração importante no planejamento de big data. Inicialmente, (antes de qualquer processamento), os dados estão em petabytes, portanto a segurança não é estritamente implementada. Mas, após algum processamento, você obterá um subconjunto de dados que fornece algumas informações. Neste ponto, a segurança dos dados se torna essencial. Quanto mais os dados são processados ​​e ajustados, mais valiosos se tornam para uma organização. Esses dados de saída ajustados são de propriedade intelectual e devem ser protegidos. A segurança dos dados deve ser implementada como parte do ciclo de vida do big data.

Não ignore a parte do desempenho da análise de big data

A saída da análise de big data é útil apenas quando oferece bom desempenho. O big data oferece mais insights com base no processamento de uma enorme quantidade de dados em uma velocidade mais rápida. Portanto, é essencial gerenciá-lo de forma eficaz e eficiente. Se o desempenho do big data não for gerenciado com cuidado, ele causará problemas e fará todo o esforço sem sentido.

Em nossa discussão, nos concentramos no que fazer e não fazer em iniciativas de big data. O big data é uma área emergente e, quando se trata de implementação, muitas empresas ainda estão na fase de planejamento. É essencial entender as melhores práticas de big data para minimizar riscos e erros. Os pontos de discussão foram derivados de experiências de projetos ao vivo, portanto, fornecerão algumas diretrizes para tornar uma estratégia de big data bem-sucedida.