Comecei hoje a tentar aprender Data Vault, a metodologia que promete resolver os principais problemas de modelagem para DW corporativo (EDW.)

A coisa mais notável é que que a maioria das transformações (estou usando o PDI) são muito simples por definição: para carregar hubs eu usei cinco passos – e depois gravei a transformação com outro nome, mudando apenas dois campos (além da tabela de origem.) Para carregar uma tabela de link, usei um pouco mais, mas já posso perceber que essas transformações sempre serão maiores e mais complexas, porque elas precisam descobrir as relações entre os hubs.

A performance de tais transformações são enormes, claro, já que não passa de um processo de ler e gravar. O maior gargalo é o lookup, mas mesmo assim não é tanto, pois as tabelas buscadas (hubs) têm sempre muito poucas colunas, e as chaves são inteiros.

Eu estou carregando dois hubs e um link entre eles:

Carga do hub de serviços

Projetos

Carga do hub de projetos

Link

Carga da tabela de elo (link) entre projeto e serviço.

E o layout das tabelas é sempre o mesmo (feito com Power*Architect):

Modelo de dados do DV até agora.

O próximo passo é criar as (tabelas) satélites: uma para serviço, uma para projeto e uma para o link das duas (acho…)

(Vou traduzir esses nomes! Hub vai ser concentrador, link vai ser elo e satellite, bom, satélite.)

Depois de colocar os links, eu ainda preciso construir um modelo “consultável”, já que o DV não é feito para consulta, mas sim para armazenamento. Esse modelo de consulta pode ser qualquer coisa – de um tabelão a um na terceira forma normal. Como esse modelo é para ser consultado por seres humanos, eu vou adotar um modelo dimensional tradicional.

Muito divertido!! :-)

Um comentário sobre “Data Vault Baby Steps

  1. Fábio, parabéns por mais essa iniciativa. Esse é um assunto que poucos conhecem e os DV podem ser uma peça-chave em infraestruturas de BI.

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s