O Que É Data Discovery – Conclusão

Depois de anos ouvindo falar sobre Data Discovery eu decidi descobrir o que era isso. Estudei e com o resultado desse estudo eu preparei uma série de dois artigos: O Que é Data Discovery e o presente post, O Que é Data Discovery – Conclusão. No meio eu acabei fazendo um novo artigo, O Que É Data Discovery – Interregno, que traz um reforço às idéias apresentadas no primeiro, e meio que limpa o caminho para este aqui.

Vou colocar aqui um breve retrospecto do primeiro artigo e contar um pouco da minha curta peregrinação por fóruns sobre Data Discovery (DD.) Vou apresentar opiniões de outras pessoas e finalmente colocar o meu ponto-de-vista, e a minha conclusão.

Como dizem nos EULAs da vida, segue o disclaimer: se vocês não gostarem do que leram (ou ainda vão ler), eu não posso fazer nada. Conquanto eu me refreie de ofender a inteligência de alguém, minha opinião é minha e eu faço o que eu quiser com ela. Beleza? ;-)

Recapitulação

Há anos eu ouço falar em Data Discovery, mas até hoje eu não encontrei nenhuma definição clara. Como eu tenho um fraco por coisas mal-explicadas, eu embarquei em uma aventura para conseguir essa resposta.

No meu primeiro post sobre o assunto, O que é Data Discovery?, eu relatei minha pesquisa, na web, sobre essa definição. Resumindo, eu encontrei uma definição, escrita por uma VP do SAS, que é essencialmente a mesma definição de Data Mining (pesadamente editado; acesse o post original para os textos completos:)

Data Discovery (aka ‘Knowledge discovery’): The detection of patterns in data.

Data Mining: The process of discovering patterns in large data sets.

Será que DD = DM? Responder sim à essa pergunta colocaria ferramentas de DD no mesmo nível de ferramentas como Enterprise Miner, SPSS, R ou Weka, o que definitivamente soaria estranho.

Li os sites de vários dos assumidos fornecedores de DD em busca de alguma definição, nem que fosse uma particular. De novo, nada. Consegui encontrar menções à DD, mas nunca uma explicação simples ou mesmo um link para tal explicação.

Por outro lado, eu descobri algumas coisas curiosas. Por exemplo, não raro ferramentas que nasceram como mera visualização de dados passaram a se anunciar como ferramentas de DD, numa ação de “rebranding” ou “reposicionamento”. Também fiquei com a sensação de que as expressões “belos gráficos”, “painéis interativos” e “self-service” estão associadas à DD, bem como o mantra de “independência de TI”. Relação explícita, mesmo, nenhuma.

A conclusão daquele post foi “Data Discovery é só uma buzzword.”

Na minha opinião era inaceitável concluir isso. Como então um segmento inteiro cresce em cima de uma expressão tão sedutora e ao mesmo tempo tão vazia? Tinha que haver mais! Até o Gartner reconhece o assunto! Diretores e presidentes de empresas não falam em outra coisa, e mesmo assim só existe vapor? Eu com certeza estava mal-informado. Alguém de dentro haveria de ter o conhecimento necessário!

Discussões no LinkedIn

Fui até o LinkedIn e procurei por grupos de BI e grupos específicos de DD. Achei dois:

Eu consegui me inscrever no primeiro, mas estou esperando até agora a aprovação para entrar no segundo:

Aguardando a autorização para participar até hoje...
Aguardando a autorização para participar até hoje…

Além disso, já que DD é tido como um assunto de BI, nada mais adequado que também procurar algo nos grupos de BI:

Não olhei nenhum grupo nacional simplesmente porque eu queria a maior audiência possível.

Daí eu escrevi o seguinte post:

I give up: what is Data Discovery?

I’ve read the Wikipedia entry (http://bit.ly/TVrYP6) and it is of no help: ‘Jill Dyche calls Data discovery ‘Knowledge discovery’ and defines it as: “[…]the detection of patterns in data. […] ‘. That means DD is defined as some opinion of the SAS VP Jill Dyche, which closely resembles Data Mining, which entry on Wikipedia (http://bit.ly/1nklO3n) says “is the computational process of discovering patterns in large data sets involving”. I googled for it a bit more and found more or less the same argument around, including a HBR blog entry by the SAS VP herself (http://bit.ly/1plnfCU).

I gave up looking for description or information on what DD is and went to the products demo and watched all the nifty corporate videos: Tableu, Spotfire, QlikView, MicroStrategy etc. etc. etc. Everyone of them claim A) they don’t need IT to give beautifull graphics B) no need for ANY kind of ETL processing, neither data cleansing, separate data stores (do they go for the data on the transactional systems?) However all of them just look like a downplayed SAS Enterprise Miner.

Some other questions I couldn’t find an answer:

– If all those products do the same, the same way, should I pick the cheapest?
– Do all those products run on COTS hardware?
– Do I need fast network for them to sift through the databases?
– If all of them prescinds data models and DWs, and are so easy to use, can I ditch the expensive BI and project management teams for a couple of cheaper guys?
– What do I do with bad data?
– How do they get to relate the right data around? I mean, how do they relate each field on each table on each database to the correct field on other table in other database? Aren’t there any risk of coming to a wrong conclusion?

So, what IS Data Discovery? How does a DD project look like? Are there requisites gathering or do you just go online, buy a license, download, install and start siphoning data? Or is it only Data Mining’ s new name?

Sorry to dump it all at once, but I’ve been hearing “DD” for quite some months by now and couldn’t find any answer (let it alone a good answer!) less…

Eu não vou traduzir tudo, mas os pontos centrais eram:

  • Eu fiz minha lição de casa e procurei a definição de DD pela web, mas não encontrei nada substancial;
  • Eu asssisti a todos os vídeos de demonstração das empresas assumidamente do nicho de DD e tudo que achei foram interfaces de exploração de dados, que eventualmente lembram o SAS Enterprise Miner;
  • Coloquei a questão, “o que é?”, junto a outras dúvidas, tais como o destino de dados sujos, a complexidade dos relacionamentos dos dados na origem, custos de infra-estrutura e a diferenciação de ferramentas;

Postei esse mesmo texto em todos os grupos. O grupo do Penny Crown nunca autorizou a publicação e o post está lá até hoje, aguardando ser publicado:

O grupo Penny Crown nunca autorizou a publicação da pergunta.
O grupo Penny Crown nunca autorizou a publicação da pergunta.

Tanto o DD Group quanto o Penny Crown eram minhas melhores apostas. Não consegui a inscrição no que pareceu ser o principal grupo de DD do LinkedIn, e no aparentemente segundo mais importante a publicação não foi autorizada. Isso me deixou realmente com o pé atrás: eram grupos-fantasmas? Não tinha ninguém cuidando? Minhas perguntas tocavam alguma ferida? Acho que eu nunca vou saber.

Bom, eu consegui resposta em três dos outros grupos: Pentaho BA, Open Source DW, e Successful BI Project Management. Vou dar uma passada nos comentários recebidos nos dois primeiros, antes de ir para a resposta que encerrou a minha busca.

Pentaho Business Analytics

É um grupo dedicado a Pentaho, então seria compreensível encontrar alguma opinião que diminuísse os outros fornecedores – os concorrentes, afinal. Eis as duas respostas que eu recebi:

Pé-no-chão, ainda que suspeito.
Pé-no-chão, ainda que suspeito.
Explorando as possibilidades do conceito.
Explorando as possibilidades do conceito.

A primeira, do Ties Blom, é bem seca: eu listara apenas fornecedores tradicionais e nenhum deles oferece nada daquilo que eu busco. Além disso, não existe opção que contorne ou evite o departamento de informática. Ele aposta que nenhuma dessas empresas conseguiria entregar essas promessas, que “It’s just a lot of salestalk” (em bom Português: é só conversa de vendedor.)

Já a segunda resposta é mais bem-intencionada: o David Hicks tenta ver um lado mais inovador no assunto todo, e divaga um pouco sobre o que talvez seja DD. Legal, mas não vi ali nada de novo. Ele tenta definir BI como uma série de relatórios estáticos (absurdo) e daí parte para sugerir que DD seja uma busca por padrões em dados. Que salada…

Open Source Data Warehousing

Um grupo de DW Open Source? DD parece uma coisa tão “de proprietário” que achava pouco provável receber alguma resposta, muito menos uma interessante.

Boas idéias para analogias!
Boas idéias para analogias!

Ele deu boas idéias para analogias – refinamento de informações, derretimento de dados etc. – mas foi na mesma direção dos outros dois: DD deve ser a mesma coisa que Data Mining, assim como mineração de ouro e exploração de ouro são praticamente o mesmo. Eu até gostei, mas não me ajudou.

Successful Business Intelligence Project Management

E daqui veio a resposta campeã. Veja que, a esta altura do jogo, eu já estava convencido de que Data Discovery é só uma buzzword dedicada a capturar a corações e mentes dos novatos em BI. Eu só não tinha, ainda, uma opinião do andar de cima. Até ali eu lera opiniões de técnicos e especialistas bem-informados, que também examinaram criticamente essa “nova tecnologia”. Claro que eu também tinha coisas mais sólidas como o rebranding do QlikView e a completa ausência de informação de qualidade em fontes como a Wikipedia, mas as pontas (a falta de evidência e o senso-comum) precisavam se tocar.

Quem teria a envergadura profissional, o alcance de liderança, que também houvesse examinado criticamente a oferta tecnológica representada pelo jargão Data Discovery?

Fabio You Poor Soul

Conheçam Elizabeth Barr, formada na University of Michigan, certificada em gestão de projetos pela Georgetown University. Ela foi DBA na Travelers e na Motorola Solutions, trabalhou como líder de equipe de DBA na AMOCO, arquiteta de dados corporativos da Associação de Estradas de Ferro dos EUA (Railinc), Vice-Presidente Assistente no Banco Chevy Chase e finalmente gerente de DW na Associação de Universidades de Medicina dos EUA.

O resumo da experiência dela diz “19+ years in IT at Fortune 500 companies and non-profit organizations”. Para não deixar dúvida sobre o que isso significa: mais de 19 anos em TI de empresas da lista Fortune 500, e organizações sem fins lucrativos. A Fortune 500 é uma lista das 500 maiores empresas do mundo, compilada pela revista Fortune ano a ano.

Não apenas ela é da área, mas tem uma posição de respeito e uma carreira séria.

Séria. Há, há.

Quero dizer, basta olhar seu perfil no LinkedIn para ver que ela é séria, e que teve seu trabalho reconhecido. O que eu queria dizer é que ela não é sisuda. A resposta dela começa assim: “Fábio, pobre alma.” Sacaram? Não botam fé? Vejam:

Elizabeth Barr esclarece a malta: "There is no spoon".
Elizabeth Barr esclarece a malta: “There is no spoon”.

Realmente, é preciso dizer mais? Ela encerrou a discussão de cima de quase duas décadas em empresas de respeito!

De novo, não posso traduzir tudo (é muita preguiça, admito.) Mas os pontos mais importantes da resposta dela são:

  1. Até 2010 todo mundo sabia que o “processo computacional de encontrar padrões em grandes massas de dados” chamava-se Data Mining, e que isso era 100% dependente de dados – mal-ajambrados, poluídos, corrompidos e bagunçados dados transacionais;
  2. A partir de 2010 “nós todos” passamos a saber que o “processo computacional de encontrar padrões em grandes massas de dados” chamava-se Data Discovery, mas…
  3. … continuamos precisando dos mesmos dados, que continuam se acumulando nos mesmos bancos de dados (relacionais ou não), e que continuam vindo sujos, tortos e faltando pedaços!!!
  4. Fiat Lux! Uma nova categoria de ferramentas surge! Moderna, poderosa, capaz de entregar “Data Discovery” = encontrar padrões em grandes massas de dados, com pouca dependência da TI, sem ETL, sem integração, sem dor, capaz de acabar com a fome mundial.

Séria!!! :-)

Você Não Está Sozinho

Ela conclui destacando que o mundo mudou, mas as coisas não mudaram tanto assim: dados ainda são dados, difícies de lidar e causadores de dor. Ferramentas são só isso: ferramentas, e pouca diferença faz se são de prateleira, bem modernas, ou feitas à mão. Segundo ela, o fato é que existe uma legião de gente “trabalhando furiosamente” para se manter em dia com as buzzwords, tentando prover qualquer ajuda que puderem dar a seus usuários de negócios na contínua busca por entendimento do negócios e por insights nestes mesmos negócios.

E ela diz com todas as palavras:

I can tell you this: These are all just buzzwords.

Conclusão

Desde o início eu tinha a impressão que Data Discovery, bem como Business Discovery, não passava de mais uma buzzword destinada a promover uma leva de ferramentas de visualização de dados. Como eu sempre me obrigo a demonstrar um mínimo civilizado de humildade, eu parti do pressuposto que eu não sabia de nada (ou apenas do mínimo) e saí à cata do significado, da definição do termo Data Discovery.

A premissa do trabalho era bem simples: eu quero achar o que está disponível ao usuário mais ou menos leigo. Eu desconsiderei trabalhos acadêmicos pelo simples fato que poucos sabem fazer uma busca no WoS – ou mesmo sabem que o WoS existe. Eu presumia que, se o conceito existe e está bem-definido, uma busca “de escritório” deveria encontrá-la.

Essa busca não trouxe nada substancial. Ou seja, Data Discovery aparentemente existia apenas na boca dos vendedores, e na dos clientes que repetem o que os vendedores dizem.

Ok, então eu fui incompetente para achar a definição de DD por meus próprios meios. Ainda descartando o lado acadêmico da coisa, me pareceu que o próximo passo era buscar ajuda. Perguntar por aí o que é que a baiana tem. Não foi a busca mais completa e detalhada: se o termo tivesse vida própria, não deveria ser preciso um hercúleo esforço para descobrir o que ele significava. Se fosse assim tão difícil, não deveria ser parte do dia-a-dia de BI ou TI.

Os poucos que se dignaram a me responder reforçaram a minha pressuposição (viés de confirmação?), até que uma profissional de alto calibre deitou no papel a definição presumida mas não reconhecida: é só uma buzzword.

Mesmo assim, me parece não dá para dizer que “Data Discovery” não existe. O que podemos afirmar com certeza é que ninguém assumiu a autoria do termo tal como ele vem sendo usada pelos vendedores de ferramentas de visualização de dados. O que esses vendedores querem dizer quando afirmam que tal ou tal ferramenta “faz” Data Discovery é que elas têm “uma forma mágica de vencer as dificuldades de qualquer projeto de BI, eliminando os problemas com a obtenção e tratamento dos dados”. O que o discurso de vendas dessas ferramentas prometem, no fundo, é eliminar o que o senso comum entende como a raiz dos incontáveis fracassos de projetos de BI: obter e preparar dados para análise.

Reparem, por favor, que eu não retiro de nenhum dos softwares mencionados nesses posts a grande qualidade e flexibilidade na apresentação e análise dos dados. Não há como contestar isso, e nem é preciso contestar. É uma grande sorte do mercado de BI que existam ferramentas diversas, com caracerísticas distintas e especializações variadas. Dispor de uma só ferramenta para tudo empobreceria nossas vidas.


O que eu vou levar para casa, e divido aqui para vocês fazerem o mesmo se quiserem, é a certeza de que NENHUMA ferramenta isenta-nos de capturar e arrumar os dados antes de examiná-los. Se Data Discovery são softwares cujos vendedores prometem isso, bom…

… você é livre para acreditar no que quiser. ;-)

Feliz Ano Novo!

Fim de Ano na Packt: Tudo a US$5,00!

Final de ano e, claro, a Editora Packt lançou uma promoção de Natal: qualquer livro por US$5,00!! A oferta é simples: até 6 de Janeiro de 2015, qualquer livro ou vídeo do site – qualquer um mesmo – está sendo vendida a US$5,00! É um desconto de no mínimo 30% se você pensar que os livros mais baratos começam em US$15,00.

Vocês já sabem que eu sou fã da Packt – eu até poderia completar minha coleção, mas francamente, eu já tenho tudo que eu poderia querer deles. Não tem UM que seja ruim! São todos excelentes, com um padrão editorial de alta qualidade, com autores que dominam totalmente seus assuntos.

Gastou tudo no Natal a ainda não conseguiu montar sua solução de (preencha com o software/hardware se sua preferência)? Relaxe: a Packt US$5,00 Book Bonanza (americanos…) vai te ajudar a fechar o ano com chave de ouro!

Porque Data Vault, Segunda Tomada

Já tem algum tempo que eu superei a – oh! – dúvida cruel acerca de adotar ou não um Data Vault. Para você não ter que ler minha epifania, que é longa pra dedéu, eu finalmente concluí que sim, adotar um Data Vault traz muitas vantagens reais. Com isso superado eu segui adiante e comecei a implantar Data Vaults em pequenos projetos experimentais e a ajudar amigos a implantar DVs em suas empresas. Até mesmo produzi um treinamento inédito para criar DVs usando apenas Software Livre.

Como todo bom neurótico, eu sempre acho que não fui muito claro, que sempre dá para melhorar – ou ao menos para simplificar. E olhem só o que eu encontrei: um vídeo sobre uma ferramenta muito interessante, o BIML. Neste vídeo, antes da demonstração do BIML propriamento dito (que é uma linguagem markup para BI), aparece um slide aí pelos 4’40”:

Snapshot do vídeo mostrando os bullets sobre Data Vault.
Snapshot do vídeo mostrando os bullets sobre Data Vault.

Ele sumaria os pontos que respondem à minha (antigamente eterna) – oh! – dúvida cruel: adotar ou não adotar um DV, e por quê, eis a questão.

Eu transcrevi e tentei traduzir os bullets acima:

Usando-se um modelo Data Vault, o Data Warehouse:

  • Absorve mudanças mais prontamente (mais ágil;)
  • Responde bem ao surgimento de novas origens de dados (construção incremental;
  • Gerenciamento histórico em fatias temporais inato (historiamento;)
  • Provê rastreamento completo até a fonte dos dados (auditabilidade;)
  • Cresce e adapta-se com impacto mínimo, sem silos (TCO reduzido;)
  • Integra, alinha e reconcilia os dados (integração corporativa;)
  • Rastreia, gerencia e reporta sobre situações excepcionais (provê um loop para feedback.)

Eu não consegui traduzir tudo – sobrou o “loop de feedback”. Eu achei que laço de retroalimentação não estaria ajudando. Mas enfim…

Cada um destes bullets precisaria ser provado para ser aceito, para ser válido, mas minha experiência nestes últimos 10 meses com Data Vault provou para mim todos esses pontos: tudo fica mais fácil, mais rápido, com mais qualidade e mais resiliente. Ainda não achei uma boa maneira de dividir essa prova com vocês, mas vocês sabem como são os neuróticos: uma hora eu vou descobrir, e voltar aqui para contar.

Até a próxima!

Primeira Edição do PenSaPUG foi um Sucesso!

Eu, pelo menos, adorei.

Imagine: uns 10 nerds, a maioria fanático por BI (e quase todos por Pentaho), soltos para bater-papo. Ontem valeu por alguns cursos. Fora ter ouvido idéias novas e ter conhecido projetos inovadores, ainda demos umas boas risadas!

Resumindo: 1) mal posso esperar pelo próximo e 2) precisamos montar um portal do PenSaPUG!!

Caio, você é um gênio! Parabéns!

Primeiro Encontro do PenSaPUG – Pentaho São Paulo User Group


 

Ops! Parece que nem para copiar eu sirvo! :-) É às 19H00min, não às 18H00min!

http://www.meetup.com/Sao-Paulo-Pentaho-User-Group/events/219039104/


É hoje! às 19H00min nos reuniremos no Escritório Geek, a base da IT4Biz no centro de São Paulo (ao lado do Metrô São Bento) para bater um papo, comer um pão de queijo e trocar experiências.

Eu vou falar sobre os logs do PDI – como capturá-los e o que dá para fazer com eles. Depois eu vou postar aqui um artigo, com todos os detalhes.


P.S.: a abreviação PenSaPUG é invenção minha e em nada oficial. Só para constar, significa Pentaho o Paulo User Group. Se você tiver uma idéia melhor, estamos aceitando sugestões. Falando alto parece raça de cachorro – ou sapo…

Primeiro Curso de Data Vault no Brasil

Bom, notícias primeiro:

Em setembro de 2014 a IT4Biz aplicou a primeira turma de Data Vault com Pentaho do Brasil (e, considerando-se o “com Pentaho”, talvez até do mundo.) O cliente da IT4Biz mostrou-se contente com o resultado e comentou que DV tornou-se uma peça importante de sua estratégia, e que vai seguir para implementação de um projeto inicial.

Estou dando a notícia porque o curso foi desenhado e ministrado por mim mesmo. O cliente da IT4Biz é uma empresa brasileira de grande porte. Ela não é a filial de uma multinacional no Brasil, mas uma empresa do Brasil, que aliás é uma multinacional. Ou seja, não é uma empresa de fundo-de-quinta, uma farmácia ou uma padaria.É uma empresa grande, complexa e com um número enorme de variáveis e fatores.

Apesar de o curso ter ocorrido há quase dois meses, eu estava esperando para ver como o material seria usado – ou se ao menos seria usado. Em outras palavras, eu esperei para saber o real impacto que esse novo conhecimento teve para eles:

(…) avançamos bastante. Só pra ter uma ideia, conseguimos chegar no modelo dimensional com um dia de trabalho (+/- 8h), gerando o DV, fatos, dimensões e o cubo preliminar. É claro que precisa de ajustes no modelo. (…)

Em outras palavras: a partir do conteúdo e do material do curso (que inclui templates de transformações, documentos de modelagem e documentação de requisitos etc.), eles conseguiram passar a primeira etapa do projeto em um dia. Isso mesmo: um DW começado em UM DIA, já com uma estrela, com dimensões e tudo. Dê um desconto de duas semanas para revisar e finalizar e me diga se é ou não algo muito poderoso. ;-)

Deep Impact

Bom, como dizia o filme, teve um impacto profundo: entrou como uma dos componentes da arquitetura. Não apenas adotaram, mas estenderam o que foi passado. Claro que eram alunos excepcionalmente competentes e inteligentes, mas não teriam feito nada se o assunto não fosse relevante para eles.

Eu entrei como professor freelancer e como o cliente não é meu, eu não posso dar nenhum outro detalhe. Se minha palavra vale, nesse tempo todo o cliente aplicou o material do curso (que inclui templates de transformações, documentos de modelagem e documentação de requisitos etc.) com maestria e obteve os resultados que buscava.

Se o mercado demandar, talvez a IT4Biz abra outras turmas. Se você tem interesse, manifeste-se para eles: http://www.it4biz.com.br/.