Q:
Quais circunstâncias levaram ao surgimento do ecossistema de big data?
UMA:Existem muitos fatores que contribuíram para o surgimento do ecossistema de big data de hoje, mas há um consenso geral de que o big data surgiu devido a uma variedade de designs de hardware e software que simplesmente permitiam a existência de big data.
| Webinar: Big Iron, Conheça Big Data: Liberando Dados de Mainframe com Hadoop & Spark Registre-se aqui |
Uma definição convencional de big data é a seguinte: Conjuntos de dados que são suficientemente grandes e complexos para desafiar o gerenciamento iterativo fácil ou o gerenciamento manual. Os conjuntos de big data geralmente são identificados como conjuntos de dados que não podem caber em uma rede de banco de dados simples, porque suas análises exigem muito trabalho por parte dos servidores que lidam com os dados.
Com isso em mente, grande parte do que criou big data é a idéia que conhecemos como Lei de Moore, ou a duplicação de transistores em um circuito a cada dois anos, criando dispositivos de hardware e armazenamento de dados cada vez menores (além de microprocessadores mais poderosos) . Em conjunto com a Lei de Moore, e provavelmente por causa disso, a capacidade de computação de sistemas de software acessíveis continuou aumentando, a ponto de até mesmo computadores pessoais poderem lidar com quantidades muito maiores de dados, e os sistemas de negócios e de vanguarda começaram a lidar com tamanhos de dados inconcebível apenas alguns anos antes. Os sistemas pessoais passaram de kilobytes para megabytes e depois para gigabytes, em um processo transparente para os consumidores. Os sistemas de vanguarda passaram de gigabytes para terabytes e petabytes, e para ordens de magnitude como zetabytes, de maneiras muito menos transparentes para o cidadão comum.
Outro avanço que acomodava o big data foram as mudanças nas maneiras como os manipuladores processavam os conjuntos de dados. Em vez de processamento linear por meio de um design de banco de dados relacional convencional, os manipuladores começaram a usar ferramentas como o Apache Hadoop e peças de gerenciamento de hardware relacionadas para eliminar gargalos nos processos de dados.
O resultado é o mundo de big data em que vivemos, onde grandes conjuntos de dados são armazenados e mantidos em data centers e cada vez mais acessados por uma ampla gama de tecnologias para uma ampla variedade de usos. Do comércio à ecologia, do planejamento público à medicina, o big data está se tornando cada vez mais acessível. Enquanto isso, agências governamentais e outras organizações maiores ainda estão ultrapassando os limites do tamanho de big data e implementando soluções ainda mais avançadas.
