Desduplicação eficiente de dados no Hadoop

O Hadoop é amplamente utilizado para armazenamento de dados massivamente distribuído. Embora seja altamente tolerante a falhas, escalável e funcione em hardware comum, ele não oferece uma solução de armazenamento de dados eficiente e otimizada. Quando o utilizador carrega ficheiros com o mesmo conteúdo no Hadoop, ele armazena todos os ficheiros no HDFS (Hadoop Distributed File System), mesmo que o conteúdo seja o mesmo, o que leva à duplicação de conteúdo e, portanto, ao desperdício de espaço de armazenamento. A deduplicação de dados é um processo que reduz a capacidade de armazenamento necessária, uma vez que apenas as instâncias únicas de dados são armazenadas. O processo de deduplicação de dados é amplamente utilizado em servidores de ficheiros, sistemas de gestão de bases de dados, armazenamento de cópias de segurança e muitas outras soluções de armazenamento. Uma estratégia de deduplicação adequada utiliza suficientemente o espaço de armazenamento em dispositivos de armazenamento limitados. O Hadoop não oferece uma solução de deduplicação de dados. Neste trabalho, o módulo de deduplicação foi integrado na estrutura do Hadoop para obter um armazenamento de dados otimizado.

Pagina's: 76, Paperback, Edições Nosso Conhecimento