No final de 2014 o artigo Monetizing Big Data: A Q&A with Wells Fargo’s Data Chief expunha a opinião de que DWs não são uma condição necessária para projetos de BI de sucesso. Concordo com ele em certos pontos, mas não de maneira geral. Eu não cheguei realmente a detectar uma tendência que defenda isso, mas vejo essa mesma opinião em fóruns e na propaganda de algumas ferramentas de visualização de dados.

O Prof. Goodnight, CEO do SAS, tem um excelente artigo no qual ele retruca a declaração acima. Leia ambos, são muito bons.

Assim como o Prof. Goodnight, eu também não acredito que DWs tenham chegado ao fim do seu ciclo de vida. Vou contar uma história, e no final eu volto para amarrar as pontas. Divirtam-se!

No Início Era o Excel

Para escrever meu livro Pentaho na Prática eu criei uma base de dados de treinamento chamada Beltrano S/A. Essa base reflete o sistema transacional da empresa fictícia chamada (adivinhe!!) Beltrano S/A, que é uma empresa de treinamentos.

Agora imagine que o Sr. Beltrano da Silva decidiu investir no crescimento da empresa, e se prepara para abrir filiais. Ele usa alguns sistemas transacionais para cuidar dos negócio da empresa, e começa a fazer perguntas. Cada pergunta que ele faz percorre um caminho dentro da empresa – ora pelo Financeiro, ora por Vendas, ora por Operações – mas sempre acaba caindo no mesmo lugar: a Informática, que é a responsável por manter os sistemas funcionando.

Porque lá, se eles não têm nada a ver com o negócio em si, mas apenas com as bases e os dados? É porque os “outros” empregados da Beltrano não sabem mexer nessas bases, ou simplesmente nem sabem que elas existem.

O Sr. Gerente da Informática recebe cada um desses pedidos e devolve arquivos com linhas e linhas de dados. Por exemplo, o Sr. Beltrano pediu ao Sr. Gerente de Vendas a lista dos 10 cursos mais rentáveis por região de São Paulo, e por Bairro. O Sr. de Vendas pediu ajuda ao Sr. da Informática, que fez uma consulta na base e trouxe a resposta para o ano passado, mês a mês, em um arquivo CSV. O Sr. de Vendas montou “um Excel” com esses dados, imprimiu e entregou na mão do Sr. Beltrano.

Invariavelmente e, para supremo desgosto do Sr. de Vendas, imediatamente, o Sr. Beltrano olha os papéis na mão do subordinado de relance e responde: “Jóia, e quebrando por X?” X pode ser qualquer coisa – cidade, bairro, curso, instrutor, estado etc. etc. etc.

Água Mole em Pedra Dura

Você conhece o final dessa história: de tanto vai e volta alguém decide que precisam achar uma forma melhor de fazer isso. Descobrem que o assunto responde pelo nome de “BI” e vão ao mercado buscar o que precisam.

Vem uma consultoria e diz que precisam de um projeto super-duper de DW. Caro demais.

Vem outra e diz que precisam de Data Mining, que depende de construir um DW antes. Caro demais ao quadrado!!

Outra empresa oferece as ferramentas de BI, poderosas, complexas e caras, mas nada de serviço. Caro demais e trabalhoso demais.

Finalmente uma das empresas mostra um produto interessante: caro, mas acessível, permite manusear facilmente os dados de qualquer base. “Precisa de DW, como o projeto de Data Mining?” Nããão, diz o fornecedor, é self-service (!), basta conectá-lo à base de dados e mandar ver! É fácil e simples!

Fechado! Na semana seguinte vem o CD. O Sr. da Informática instala a cópia no computador do Sr. Beltrano e configura para ler as bases.

O Paraíso na Terra…

Nos primeiros dias o Sr. Beltrano até se diverte, mas ele tem mais o que fazer e repassa o serviço para um dos membros da TI, o Sr. Analista. Esse novo usuário conhece as bases e sabe como extrair o que o dono precisa.

Funcionou! Um relatório, um gráfico, um painel, outro gráfico… Ficando mais complicado… Pegando mais dados…

Pá! O pessoal de vendas começa a reclamar que o sistema está lento. O pessoal do Financeiro começa a reclamar que o sistema está lento. A menina da portaria reclama que o sistema está lento! Sem dinheiro para mais computadores, o Sr. da Informática tem a idéia salvadora: gravar uma cópia dos bancos na máquina do Sr. Analista.

… Não Existe

De novo, funcionou no começo. O problema passou a ser outro: os dados ficavam defasados, porque a base inteira era muito grande para copiar, e não dava para sincronizar minuto a minuto.

Tudo bem, disse o Sr. Beltrano, não precisa minuto a minuto. Uma vez por dia basta.

Beleza: durante a noite, um processo automático copiava a base, que estava sem atividade àquela hora, do servidor para o computador do Sr. Analista.

Funcionou? Sim, claro.

O Que Foi Agora?!

O Sr. Beltrano não deixava o Sr. Analista em paz, e chegou o dia em que pediu um relatório comparando aqueles números com os do mês passado.

Fácil! A base da Beltrano já tem histórico: ela guarda todos os dados e pedidos e coisas que aconteceram na vida da Beltrano. Claro que, no começo, a base era diferente e por isso os dados de um ano atrás estavam em tabelas antigas, que não era mais atualizadas. Tudo: o pedido era só para um mês.

Funcionou, no começo.

A base guardava tudo que ela processava, mas a complexidade do modelo de dados, aliado à complexidade das perguntas de negócio fazia com que os cruzamentos – as consultas SQL escritas pelo Sr. Analista – crescessem em complexidade. A certa altura o Sr. Analista levava até dois dias escrevendo e testando e debugando as consultas.

O Sr. Beltrano disse ao Sr. Analista, suavemente, que precisa de um serviço mais rápido De qualquer *%$%@!$ de jeito!

Você Está de Brincadeira!

A idéia salvadora veio de Vendas: e se o Sr. Analista deixasse os dados pré-arranjados? Ele tem poder total sobre a cópia do banco dele, mesmo.

Boa idéia, pensou o Sr. Analista, e montou consultas que pré-combinavam os dados em novas tabelas, mais simples, sem relacionamentos com nenhuma outra e fáceis de se consultar.

Funcionou? Sim, claro, no começo… KKKKK

O sistema antigo estava chegando a seu limite e por isso o Sr. Beltrano comprou um ERP. Resultado? Ele ficou sem relatórios do novo sistema por quase um mês, até o Sr. Analista aprender o suficiente para repetir as mesmas consultas no novo sistema, mas ainda assim não era a mesma coisa. As tabelas eram diferentes, os dados guardados eram diferentes, organizados de maneira diferente.

O fato é que todo o trabalho do Sr. Analista foi congelado. O Sr. Analista voltou para a TI e contrataram um novo profissional, de BI, para ajudar o Sr. Beltrano. Mais um ou dois meses, e o Sr. Beltrano, agora com uma nova versão daquela ferramenta – lembram-se? – estava de volta ao jogo.

QUEREM ME ENLOUQUECER?!!

(Risos)

Bom, lembram do Sr. Analista? Que voltou para TI? Então, souberam disso. Fora da asa do Sr. Beltrano, o Sr. Analista virou presa fácil da empresa inteira: pediam relatórios para ele o tempo todo! Financeiro, Vendas, Operações, a moça da recepção, todo mundo conseguia pedir alguma coisa para ele, e o Sr. da Informática deixava.

E isso funcionava? Não, é óbvio!!! (kkkk)

O backlog do Sr. Analista crescia, as reclamações sobre o Sr. da Informática cresciam (ele era acusado de não deixar o Sr. Analista atender quem precisava de ajuda) e as reuniões de diretoria estavam virando um pesadelo de conciliação!

Vejam, o Sr. BI, auxiliar direto do Sr. Beltrano, montava gráficos e relatórios e tudo mais – e o Sr. Analista fazia exatamente a mesma coisa, mas para o restante da empresa inteira. Cada qual em cima de suas bases, com seus próprios critérios, a seu tempo.

Os números viviam a se explicar. Era quase um Inquérito Policial-Matemático.

Highlander na Parada

Os cérebros da empresa concluíram que a raiz do problema era o fato de cada um usar uma base diferente e critérios diferentes.

Reorganizaram a empresa: montaram o setor de BI, que cuidaria de uma base de dados única. O Sr. BI cuidaria dos relatórios e análises, e o Sr. Analista manteria e extenderia a base.

Ah, é! A esta altura, a base de dados corporativa era uma mixórdia de tabelas, scripts, comandos SQL, componentes de replicação blá blá blá. Os tempos de consulta estavam ficando maiores, e tabelas de apoio eram criadas quando necessário.

Os Portões do Inferno se Abrem

Enquanto na teoria o Departamento de TI rumava para o manso recanto da base corporativa e dos empregados dedicados, felizes e satisfeitos, na prática a tensão crescia: o backlog de demandas do Sr. BI (que agora acumulava o do Sr. Beltrano e o do restante da empresa) transbordava. As reclamações de prevaricação, justas e nem tão justas, abundavam. Volta e meia voava um dedo na cara de alguém. Horas extras foram jogadas na equação, mas resolveu pouco, porque o time de BI estava no limite da exaustão.

A solução é óbvia! Contrataram um ajudante para cada um, descartaram o antigo software do Sr. Beltrano, compraram um novo, com portal web e recursos de Business Analytics Self-Service Turbo Pro 2.0 etc. blá blá blá

Aqueles Que Desconhecem a História…

No final, o cenário na Beltrano era apocalíptico:

  • O ritmo de produção de análises e relatórios era lento…
  • … por que todas as demandas da empresa passavam por dois empregados;
  • Na tentativa de aliviar esse gargalo, dando autonomia aos usuários, mais software foi comprado…
  • … e a demanda em cima do departamento de BI aumentou: além de atender os usuários do backlog, tinham novos produtos para cuidar.
  • O processo de ingestão de dados na base corporativa não era automatizado…
  • … o que ajudava a aumentar a carga em cima do departamento de BI.
  • Os usuários continuavam tão insatisfeitos quanto antes…
  • … e a sensação era de que “o BI” só atrapalhava.

… Estão Condenados a Repeti-la

Aos poucos alguns usuários mais espertos começaram a descobrir como acessar os dados da empresa, e conseguiam exportá-los para um Excel. Ali eles podiam trabalhar em paz, longe da zoeira que era “o BI”, e resolver suas necessidades.

Estava tudo indo bem, mas aos poucos o trabalho para manter aquelas poucas planilhas foi aumentando, as poucas planilhas viraram muitas planilhas, foram ficando mais complexas… O diretor de Vendas, que era mais desesperado, usou a verba do departamento para comprar um daqueles produtos self-service, se ligando direto nos dados.

E a roda seguia girando…

Data Warehouse São Obsoletos?

É claro que essa história é só uma invenção da minha cabeça. Mas, guardadas as devidas proporções, eu vi isso acontecer na empresa em que trabalho, e em outras empresas, através de relatos de amigos e conhecidos. Gente se queimando com chefe, chefe se queimando com diretor, e assim sucessivamente, no meio de uma bagunça de ferramentas e conceitos, com cada solução criando novos problemas mas nem sempre resolvendo os antigos.

Olhando só o que aconteceu com os dados da Beltrano S/A, o que vemos na história?

  1. No começo é consulta direta (e usa-se Excel para análise dos dados);
  2. Os dados passam a ser replicados integralmente (explorados com uma ferramenta mais adequada;)
  3. A cópia em tempo real é pesada demais e um compromisso é atingido: a replicação passa a ser diária;
  4. A cópia não basta: a complexidade dos dados força à sua recombinação a priori, antes da exploração – os dados começam a ser transformados durante a carga;
  5. A demanda sobe, e o peso dos dados é aliviado com estruturas de apoio, como tabelas pré-agregadas e/ou normalizadas.

Neste ponto a ferramenta de consulta precisa estar à disposição da comunidade de não-técnicos que consomem aqueles dados. Isso causa um efeito em cascata de demanda, sofisticação crescente, dados de outras fontes começam a ser requeridos e por aí vamos.

Conclusão

Quem é do ramo sabe o que aconteceu nessa historinha: a Beltrano re-inventou a roda da bicicleta, um raio de cada vez. Eles partiram da idéia simplória de que os dados podem ser consumidos em seu estado bruto, para chegar na necessidade de centralização e organização dos dados. Caso contrário as contradições e falhas dos dados vão aparecer nos números construídos por cada usuário. No limite não haverão dois totais de venda do mês iguais na empresa inteira.

Um Armazém de Dados não é um projeto estéril, um capricho do povo de TI. É um “ser” que reflete a empresa e seu conhecimento, que muda e cresce continuamente. Um DW constrói e guarda a memória que a empresa, na figura de seus empregados, consulta para estabelecer relações, para responder perguntas, para tirar as dúvidas no momento de escolher a direção do próximo passo.

Por isso eu não acredito que DWs sejam obsoletos. Cada nova moda tecnológica traz promessas valiosas, mas somos nós, seres humanos, que realizamos essas promessas usando essas tecnologias. Por si só, elas são estéreis. Não existe mágica, só trabalho duro e recompensas ao final do dia.

A Opinião dos Fornecedores

Alguns fornecedores perceberam a armadilha em que se colocariam se defendessem a não-adoção de DWs. Por exemplo, este post do Tibco Spotfire de 2011 explica que, apesar de custar dinheiro, muito dinheiro, um DW é importante e dá boas explicações do porquê. Já este outro artigo, de uma empresa alemã de consultoria, oferece alguns comentários interessantes sobre DW, sua importância e a realidade típica de projetos de DW. Leia ambos, valem a pena.

Até a próxima!

12 comentários sobre “Todos os Caminhos Levam a um DW

  1. Fábio, parabéns pelo texto. Essa história se repete/iu nas empresas que passei. Os Srs Beltranos não dão a devida atenção a TI, eles não consideram a TI como um parceiro que pode oportunizar reais contribuições para o Negócio.

    1. Muito obrigado, André. Eu também vivi isso algumas vezes e acho que o Sr. Beltrano é só metade do problema. A outra metade, me parece, é um tanto de falta de humildade em reconhecermos que não sabemos tudo e um pouco de resistência em aceitarmos que resultados custam (dinheiro, tempo, esforço…)

  2. Fabio, perfeito seu texto, vale lembrar ainda que estas ferramentas que constroem gráficos tem um ponto crucial, a segurança. Muitas delas geram arquivos com os dados da empresa e os salvam nas máquinas, para evitar a consulta na base de dados, porém a empresa passa por um perigo tremendo, uma vez salvo esses dados o arquivo pode ser transportado pra qualquer lugar, imagine um concorrente ter acesso a sua lista de clientes? Ainda tem um ponto que acho que você poderia adicionar em sua história, a crescente massa de dados, onde o volume de dados é tão grande que fica impraticável para tais ferramentas, um grande abraço!

    1. Obrigado, Sérgio, que bom que gostou! Você tem razão: eu não fatorei na história o volume de dados. Pensando em retrocesso, pelo próprio tamanho da minha empresa fictícia, acho que não cheguei a imaginar isso como um problema para eles – nem me passou pela cabeça. Só que a mesma fábula também acontece em empresas de médio para grande porte, e nestas o volume é um fator de peso na arquitetura. Acho que mesmo a Beltrano, passados alguns anos, pode dispor de dados em volume suficiente para desafiar as máquinas desktop, que fazem o grosso da infra deles. Hmmm… Obrigado pela idéia!

  3. Fábio, muito legal seu texto, e realmente este cenário se repete em muitas empresas. A criação de um DW pode ser importante em alguns cenários, porém já existe aplicação que consegue trabalhar com múltiplas fontes de dados sem precisar de DW, que é o caso do QlikView. Provavelmente você já deve ter ouvido falar desta ferramenta. Conheço vários cases de empresas de grande porte, que utilizam Business Intelligence na sua essência e não possuem DW. Toda esta manipulação de dados pode ser gerenciada de forma efetiva e com muita segurança. Existem alguns cases de empresas que já possuiam DW antes da implantação da ferramenta, mas depois com o conhecimento maior sobre o QlikiVew por parte do cliente, esta cultura vai se transformando. Quero deixar claro, que minha proposta aqui é de contribuir com a discussão e não promover qualquer ferramenta. Quando vi o título de seu post, me chamou a atenção. Abraço!

    1. Obrigado, Alan. Vi um comentário semelhante no LinkedIn, pelo Gabriel Campos/Direcional Engenharia. Vocês se conhecem?

      Estou “no ramo” há quinze anos, e há pelo menos vinte já existem esses programas. O QlikView é um destes – deve ter ai por volta de uns 10 anos. Existe o MicroStrategy, e o próprio SAS e houve o BO, por exemplo, que estão na casa dos 20, 30 anos. O problema, que eu discuto aqui, não é necessidade de se ter um DW para poder analisar os dados, mas o equívoco em acreditar que ferramenta resolve, tudo e sempre. Uma ferramenta, IMHO, é a solução apenas em casos pequenos. Acredito que uma ferramenta não vai servir quando a empresa passar de um certo tamanho porque, fatalmente, a complexidade vai subir para além da capacidade de resolução da ferramenta. Basta ver que o próprio QlikView vem com uma linguagem batch de transformação de dados porque não raro os dados crús “não colaboram” e que uma das recomendações no livro “QlikView for Developers” (excelente, como tudo da Packt, recomendo!) é carregar os dados em um modelo dimensional, já que isso beneficia a própia ferramenta. Usar um modelo dimensional, claro, nao é nem de longe o mesmo que construir um DW, mas a mensagem nessa recomendação é que a reorganização dos dados agrega valor. Daí, sabe né?, caímos na Jacque: já que vamos reorganizar, que tal fazer tudo organizadamente, para reduzir o caos? ;-)

      Na minha opinião, BI é entender como o negócio funciona e você só consegue isso se olhar o comportamento da empresa ao longo do tempo, não apenas desenhando um painel ou traçar um gráfico sobre os dados correntes – que podem mudar, aliás. Usar apenas o instante atual é o mesmo que tentar calcular a probabilidade de algo acontecer tendo analisado apenas um evento. Na minha opinião, BI não tem a menor relação com ferramentas.

      E eu acredito que todo debate enriquece, pode ficar tranquilo. Eu valorizo muito quem dedica parte do seu (normalmente escasso) tempo para compartilhar uma opinião – muito obrigado por participar. ;-)

  4. Muito bom o artigo Fábio. Reflete bem a realidade de muitas empresas. O Livro Pentaho na Prática não está mais na Amazon para compra? Não encontro lá e o link está retornando um 404.

    1. Obrigado, Elias! Eu extraí aquilo da realidade que eu vivi algumas vezes… O livro está fora do prelo por tempo indefinido, lamentavelmente. Estou preparando outros livros, mas não creio que o PnP vá voltar.

  5. Excelente artigo, muito bem escrito e pensado. Reflete a maioria das empresas. O ponto que gostaria de incluir diz respeito a pouca visão estratégica e de negócios da TI. Com isso somos levados (me incluo por ser da TI) por outras áreas para soluções com pouca agregação de valor para a organização. Ou a diversos “especialistas” e “consultores” que sabem vender o peixe.Para mim, grandes empresas não podem deixar de lado um DW, tanto por contarem com múltiplos e complexos sistemas transacionais quanto pela necessidade de receber informações de fora da organização.
    Parabéns!

    1. Obrigado, Alberto, fico feliz em saber que gostou. Não há como não concordar com você: TI ainda é uma operação distante dos negócios. Não entendo como isso é possível, no meio de tanta propaganda sobre dados, sobre como dados são importantes, como há valor oculto nos dados e tal. Se um dia entender, eu divido aqui com vocês. ;-)

  6. Fabio, muito bom o artigo e aproveito para agradecer os comentários!!! Estou querendo trabalhar em um TCC na minha pós onde quero trazer o tema “Implantação de BI x Ruptura do uso de Excel”, a ideia é tentar identificar as resistências de ambos os lados da hierarquia organizacional!
    Sou formado em SI, mas trabalhei sempre na area de MIS, esse dilema na prática!
    Grande Abraço!

    1. Obrigado, Felippe. Fico feliz em saber que gostou do artigo. Quanto à seu tema para TCC, acho-o muito interessante. Eu te digo uma coisa que me “segurou” no Origin (um pacote de análise anterior ao Excel): eu não queria usar o Excel porque eu sabia fazer tudo no Origin, e nada no Excel. E ninguém me ajudava, porque fora um ou outro “maluco” (kkkk), quase ninguém mexia no Excel. Hoje eu vejo esse mesmo dilema entre MDX e Excel: é difícil aprender MDX (que seria a ferramenta de BI com maior potencial para substituir o Excel), pois quase ninguém sabe, sem contar que colocar os dados em formato para consulta MDX é bem mais trabalhoso que em Excel. Boa sorte com seu trabalho!

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s