A evolução do big data

No início dos anos 2000, ficou claro que havia uma enorme necessidade de inovação em relação aos dados. As limitações do que as empresas poderiam fazer com seus dados frustravam os executivos e diminuíam tremendamente a eficiência. Muitas empresas armazenaram grandes quantidades de informações, mas simplesmente não conseguiram gerenciá-las, analisá-las ou manipulá-las em proveito próprio. É essa pressão crescente que deu lugar à fronteira de big data.

Em 2003, o Google criou o MapReduce, um aplicativo de dados que permitia à empresa processar e analisar informações sobre suas consultas de pesquisa em milhares de servidores em um curto espaço de tempo. Escalável e adaptável, o programa permitiu ao Google executar milhares de tarefas de dados em poucos minutos, o que melhorou a produtividade e redefiniu os limites percebidos sobre o que poderia ser feito com os dados. Quase 10 anos depois, o big data se tornou um princípio central da tecnologia da informação. Seu escopo e capacidade de longo alcance mudaram fundamentalmente o gerenciamento de dados no local de trabalho. Mas o que levou essa evolução e como exatamente o big data afetará o futuro? Nós pensamos que você nunca perguntaria. (Para algumas informações básicas sobre big data, consulte Big Data: como ele é capturado, compactado e usado para tomar decisões de negócios.)

Buscando respostas para perguntas sobre Big Data

A beleza do MapReduce foi a maneira como simplificou tarefas altamente complexas. A comunicação pode ser gerenciada entre máquinas, as falhas do sistema podem ser tratadas e os dados de entrada podem ser organizados automaticamente, um processo que pode ser supervisionado por indivíduos que não precisam mais de habilidades altamente técnicas. Ao tornar o processamento de dados não apenas possível, mas também acessível, o Google inspirou uma mudança cultural no gerenciamento de dados. Não demorou muito para que milhares de grandes empresas usassem o MapReduce para seus dados.

Mas havia um problema: o MapReduce era simplesmente um modelo de programação. Embora tenha facilitado o básico do processamento de dados, não era a resposta para as deficiências existentes; foi apenas um passo muito necessário na direção certa. As empresas ainda precisavam de um sistema que pudesse atender às suas necessidades exclusivas de dados e ir além do essencial do gerenciamento de dados. Em suma, a tecnologia precisava evoluir.

Entrar no Hadoop

Entre no Hadoop, um software de estrutura de código aberto criado por vários programadores, incluindo Doug Cutting. Onde o MapReduce era básico e amplo, o Hadoop fornecia uma especificidade refrescante. As empresas poderiam projetar seus próprios aplicativos personalizados que atendessem às necessidades de dados de maneira que nenhum outro software poderia, e geralmente era compatível com outros sistemas de arquivos. Uma empresa com programadores talentosos poderia projetar um sistema de arquivos que atingisse tarefas únicas com dados que antes pareciam inacessíveis. Possivelmente a melhor parte disso foi que os desenvolvedores compartilhariam aplicativos e programas entre si que poderiam ser expostos e aperfeiçoados.

Ao democratizar um recurso tão importante, o Hadoop se tornou uma tendência. Afinal, muitas empresas grandes, especialmente empresas de mecanismos de busca, achavam que precisavam disso há décadas! Não demorou muito para que gigantes do mecanismo de busca como o Yahoo anunciassem a implementação de grandes aplicativos Hadoop que geravam dados usados ​​em consultas de pesquisa na Web. No que parecia uma onda, várias empresas de destaque anunciaram a adoção dessa tecnologia para seus enormes bancos de dados, incluindo Facebook, Amazon, Fox, Apple, eBay e FourSquare. O Hadoop definiu o novo padrão para processamento de dados.

Big Data, Grandes Problemas

Embora os avanços na tecnologia de dados tenham reformulado a maneira como as empresas tratam os dados, muitos executivos ainda os acham desequipados para toda a gama de tarefas necessárias. Em julho de 2012, a Oracle divulgou uma pesquisa com mais de 300 executivos de nível C, que revelaram que, enquanto 36% das empresas dependem de TI para gerenciar e analisar dados, 29% consideram que seus sistemas não possuem habilidades suficientes para atender às necessidades de suas empresas. necessidades. Possivelmente, a descoberta mais impressionante do estudo foi que 93% dos entrevistados acreditavam que sua empresa estava perdendo até 14% de sua receita por não poder usar os dados coletados. Essa é a receita que poderia ser gasta na fabricação de melhores produtos e na contratação de mais trabalhadores. Numa época em que as empresas lutam para permanecer lucrativas, é necessário melhorar os dados para que as empresas se tornem mais lucrativas. A pesquisa indica que, apesar daqueles que acreditam que a influência do big data no comércio já passou, as oportunidades de crescimento e avanço que ele possui ainda precisam ser totalmente realizadas.

O que o futuro reserva para o Big Data

A boa notícia é que o Hadoop e o MapReduce inspiraram muitas outras ferramentas de gerenciamento de dados. Muitas empresas novas estão criando extensas plataformas de dados que são executadas no Hadoop, mas oferecem uma ampla variedade de funções analíticas e uma integração mais fácil do sistema. Parece que as empresas investiram uma grande quantidade de recursos na abordagem de preocupações com dados e o sucesso financeiro das empresas de dados foi uma prova disso. Em 2010, as empresas de dados faturaram US $ 3, 2 bilhões em vendas no varejo. Muitos especialistas estimaram que esse número chegará a US $ 17 bilhões somente no ano de 2015. Este é um fato que não se perdeu em algumas das maiores empresas de tecnologia. Tanto a IBM quanto a Oracle gastaram bilhões nos últimos meses para adquirir empresas de dados. Muitas outras empresas farão movimentos semelhantes nos próximos anos, à medida que continuam disputando uma participação de mercado competitiva.

A fronteira de Big Data

A quantidade de dados coletados continua a crescer exponencialmente, o que deixa alguns preocupados e outros empolgados. A vantagem é que os seres humanos continuarão a se tornar mais produtivos e adaptáveis ​​à medida que aprendemos coisas novas sobre o mundo através da análise de dados. A desvantagem é que há uma quantidade tão grande de dados que muitos temem ser incapazes de armazenar tudo corretamente, muito menos administrá-lo de maneira adequada, para que possa ser usado por todos que precisam.

Dito isto, os avanços no big data podem oferecer oportunidades sem precedentes de soluções para problemas urgentes relacionados a dados. Por exemplo, especialistas sugeriram que, se o big data fosse implementado adequadamente, com ênfase na eficiência e na qualidade, ele teria o potencial de economizar cerca de US $ 300 bilhões por ano apenas em gastos com saúde; os varejistas poderiam melhorar suas margens operacionais, o setor público poderia fornecer melhores serviços e as grandes empresas economizariam bilhões. E assim, parece que resolver nossos problemas de dados não é apenas necessário nas salas de reuniões da empresa, mas em todos os lugares. O que diz coisas boas sobre o futuro do big data - e talvez o nosso também.