Com todo o burburinho sobre enormes data centers da NSA mantendo bilhões de bits de dados sobre nossas vidas particulares, há uma coisa que não se fala muito, pelo menos na CNN. Isso envolve um problema de engenharia que surgiu junto com a tecnologia em nuvem, big data e os impressionantes centros de armazenamento físico de dados que estão sendo construídos no mundo todo. Então o que é? Bem, não importa quem esteja administrando um dos gigantescos sistemas de TI que executam essas instalações, há uma necessidade de sistemas de software que ajudem todos esses dados a entrar e sair rapidamente do pipeline. Essa necessidade representa uma das perguntas ou quebra-cabeças de TI mais interessantes que os profissionais enfrentam atualmente.
Como muitos especialistas apontam, a extrema demanda atual por processamento de dados vai muito além das abordagens tradicionais. Simplificando, o uso de estruturas e ferramentas simples de banco de dados, como a interface de consulta SQL, não fornecerá capacidade ou funcionalidade de processamento suficiente para empresas como os sistemas proprietários que se desenvolveram nos últimos anos. Os arquivos das grandes empresas de tecnologia atuais precisam de uma tecnologia extremamente escalável. Eles precisam de ferramentas de processamento de dados que possam gerar e gerar resultados em um volume muito maior do que o que um único servidor pode facilitar. Eles precisam de soluções que possam ser rapidamente aumentadas para o crescimento, soluções que incluem níveis complexos de inteligência artificial, soluções projetadas para facilitar o gerenciamento por um departamento de TI.
A questão é: como as empresas e agências governamentais conquistam as limitações do caminho tradicional de manipulação de dados? Aqui, veremos uma opção muito promissora: software que lida com big data e a administração de vários data centers.
