Q:
Como os ambientes existentes de data warehouse podem ser melhor dimensionados para atender às necessidades da análise de big data?
UMA:Projetos individuais de data warehouse precisam ser avaliados caso a caso. Geralmente, ao tentar esticar um design de data warehouse existente para lidar melhor com a análise de big data, há um processo central para descobrir o que precisa ser feito. Os profissionais de TI podem chamar isso de "expansão" ou "expansão".
| Webinar: Big Iron, Conheça Big Data: Liberando Dados de Mainframe com Hadoop & Spark Registre-se aqui |
A expansão geralmente envolve procurar obter poder de processamento suficiente, obter uma quantidade suficiente de memória e acomodar atividades mais poderosas do servidor para lidar com todos os conjuntos de dados maiores que a empresa processará. Por outro lado, expandir pode significar coletar clusters de hardware de servidor e conectá-los em rede para encurtar big data.
Alguns especialistas em TI sugeriram que o método mais comum com o Apache Hadoop e outras ferramentas e plataformas populares de big data é dimensionar e agrupar o hardware para obter os efeitos desejados. No entanto, outros apontam que, com a tecnologia atual, um data warehouse pode ser expandido usando uma estratégia de compras que agrega recursos a um servidor, como obter um número maior de núcleos de processamento e uma quantidade maior de RAM.
Quer eles aumentem ou reduzam, os data warehouses precisam de ativos físicos de hardware adicionais para poder lidar com cargas de trabalho de dados maiores. Eles também precisam de administração humana adicional, o que significa mais treinamento para equipes internas. É necessário muito planejamento para determinar o tipo de estresse e pressão que as cargas de trabalho de dados maiores terão em um sistema legado existente, a fim de equipá-lo para um novo ecossistema de big data. Um grande problema são os gargalos de armazenamento, que exigem atualizações nos centros de armazenamento e outros tipos de gargalos de desempenho que podem prejudicar um sistema nascente, caso contrário, eles não são abordados.
