Depois de anos ouvindo falar sobre Data Discovery eu decidi descobrir o que era isso. Estudei e com o resultado desse estudo eu preparei uma série de dois artigos: O Que é Data Discovery e o presente post, O Que é Data Discovery – Conclusão. No meio eu acabei fazendo um novo artigo, O Que É Data Discovery – Interregno, que traz um reforço às idéias apresentadas no primeiro, e meio que limpa o caminho para este aqui.

Vou colocar aqui um breve retrospecto do primeiro artigo e contar um pouco da minha curta peregrinação por fóruns sobre Data Discovery (DD.) Vou apresentar opiniões de outras pessoas e finalmente colocar o meu ponto-de-vista, e a minha conclusão.

Como dizem nos EULAs da vida, segue o disclaimer: se vocês não gostarem do que leram (ou ainda vão ler), eu não posso fazer nada. Conquanto eu me refreie de ofender a inteligência de alguém, minha opinião é minha e eu faço o que eu quiser com ela. Beleza? ;-)

Recapitulação

Há anos eu ouço falar em Data Discovery, mas até hoje eu não encontrei nenhuma definição clara. Como eu tenho um fraco por coisas mal-explicadas, eu embarquei em uma aventura para conseguir essa resposta.

No meu primeiro post sobre o assunto, O que é Data Discovery?, eu relatei minha pesquisa, na web, sobre essa definição. Resumindo, eu encontrei uma definição, escrita por uma VP do SAS, que é essencialmente a mesma definição de Data Mining (pesadamente editado; acesse o post original para os textos completos:)

Data Discovery (aka ‘Knowledge discovery’): The detection of patterns in data.

Data Mining: The process of discovering patterns in large data sets.

Será que DD = DM? Responder sim à essa pergunta colocaria ferramentas de DD no mesmo nível de ferramentas como Enterprise Miner, SPSS, R ou Weka, o que definitivamente soaria estranho.

Li os sites de vários dos assumidos fornecedores de DD em busca de alguma definição, nem que fosse uma particular. De novo, nada. Consegui encontrar menções à DD, mas nunca uma explicação simples ou mesmo um link para tal explicação.

Por outro lado, eu descobri algumas coisas curiosas. Por exemplo, não raro ferramentas que nasceram como mera visualização de dados passaram a se anunciar como ferramentas de DD, numa ação de “rebranding” ou “reposicionamento”. Também fiquei com a sensação de que as expressões “belos gráficos”, “painéis interativos” e “self-service” estão associadas à DD, bem como o mantra de “independência de TI”. Relação explícita, mesmo, nenhuma.

A conclusão daquele post foi “Data Discovery é só uma buzzword.”

Na minha opinião era inaceitável concluir isso. Como então um segmento inteiro cresce em cima de uma expressão tão sedutora e ao mesmo tempo tão vazia? Tinha que haver mais! Até o Gartner reconhece o assunto! Diretores e presidentes de empresas não falam em outra coisa, e mesmo assim só existe vapor? Eu com certeza estava mal-informado. Alguém de dentro haveria de ter o conhecimento necessário!

Discussões no LinkedIn

Fui até o LinkedIn e procurei por grupos de BI e grupos específicos de DD. Achei dois:

Eu consegui me inscrever no primeiro, mas estou esperando até agora a aprovação para entrar no segundo:

Aguardando a autorização para participar até hoje...
Aguardando a autorização para participar até hoje…

Além disso, já que DD é tido como um assunto de BI, nada mais adequado que também procurar algo nos grupos de BI:

Não olhei nenhum grupo nacional simplesmente porque eu queria a maior audiência possível.

Daí eu escrevi o seguinte post:

I give up: what is Data Discovery?

I’ve read the Wikipedia entry (http://bit.ly/TVrYP6) and it is of no help: ‘Jill Dyche calls Data discovery ‘Knowledge discovery’ and defines it as: “[…]the detection of patterns in data. […] ‘. That means DD is defined as some opinion of the SAS VP Jill Dyche, which closely resembles Data Mining, which entry on Wikipedia (http://bit.ly/1nklO3n) says “is the computational process of discovering patterns in large data sets involving”. I googled for it a bit more and found more or less the same argument around, including a HBR blog entry by the SAS VP herself (http://bit.ly/1plnfCU).

I gave up looking for description or information on what DD is and went to the products demo and watched all the nifty corporate videos: Tableu, Spotfire, QlikView, MicroStrategy etc. etc. etc. Everyone of them claim A) they don’t need IT to give beautifull graphics B) no need for ANY kind of ETL processing, neither data cleansing, separate data stores (do they go for the data on the transactional systems?) However all of them just look like a downplayed SAS Enterprise Miner.

Some other questions I couldn’t find an answer:

– If all those products do the same, the same way, should I pick the cheapest?
– Do all those products run on COTS hardware?
– Do I need fast network for them to sift through the databases?
– If all of them prescinds data models and DWs, and are so easy to use, can I ditch the expensive BI and project management teams for a couple of cheaper guys?
– What do I do with bad data?
– How do they get to relate the right data around? I mean, how do they relate each field on each table on each database to the correct field on other table in other database? Aren’t there any risk of coming to a wrong conclusion?

So, what IS Data Discovery? How does a DD project look like? Are there requisites gathering or do you just go online, buy a license, download, install and start siphoning data? Or is it only Data Mining’ s new name?

Sorry to dump it all at once, but I’ve been hearing “DD” for quite some months by now and couldn’t find any answer (let it alone a good answer!) less…

Eu não vou traduzir tudo, mas os pontos centrais eram:

  • Eu fiz minha lição de casa e procurei a definição de DD pela web, mas não encontrei nada substancial;
  • Eu asssisti a todos os vídeos de demonstração das empresas assumidamente do nicho de DD e tudo que achei foram interfaces de exploração de dados, que eventualmente lembram o SAS Enterprise Miner;
  • Coloquei a questão, “o que é?”, junto a outras dúvidas, tais como o destino de dados sujos, a complexidade dos relacionamentos dos dados na origem, custos de infra-estrutura e a diferenciação de ferramentas;

Postei esse mesmo texto em todos os grupos. O grupo do Penny Crown nunca autorizou a publicação e o post está lá até hoje, aguardando ser publicado:

O grupo Penny Crown nunca autorizou a publicação da pergunta.
O grupo Penny Crown nunca autorizou a publicação da pergunta.

Tanto o DD Group quanto o Penny Crown eram minhas melhores apostas. Não consegui a inscrição no que pareceu ser o principal grupo de DD do LinkedIn, e no aparentemente segundo mais importante a publicação não foi autorizada. Isso me deixou realmente com o pé atrás: eram grupos-fantasmas? Não tinha ninguém cuidando? Minhas perguntas tocavam alguma ferida? Acho que eu nunca vou saber.

Bom, eu consegui resposta em três dos outros grupos: Pentaho BA, Open Source DW, e Successful BI Project Management. Vou dar uma passada nos comentários recebidos nos dois primeiros, antes de ir para a resposta que encerrou a minha busca.

Pentaho Business Analytics

É um grupo dedicado a Pentaho, então seria compreensível encontrar alguma opinião que diminuísse os outros fornecedores – os concorrentes, afinal. Eis as duas respostas que eu recebi:

Pé-no-chão, ainda que suspeito.
Pé-no-chão, ainda que suspeito.
Explorando as possibilidades do conceito.
Explorando as possibilidades do conceito.

A primeira, do Ties Blom, é bem seca: eu listara apenas fornecedores tradicionais e nenhum deles oferece nada daquilo que eu busco. Além disso, não existe opção que contorne ou evite o departamento de informática. Ele aposta que nenhuma dessas empresas conseguiria entregar essas promessas, que “It’s just a lot of salestalk” (em bom Português: é só conversa de vendedor.)

Já a segunda resposta é mais bem-intencionada: o David Hicks tenta ver um lado mais inovador no assunto todo, e divaga um pouco sobre o que talvez seja DD. Legal, mas não vi ali nada de novo. Ele tenta definir BI como uma série de relatórios estáticos (absurdo) e daí parte para sugerir que DD seja uma busca por padrões em dados. Que salada…

Open Source Data Warehousing

Um grupo de DW Open Source? DD parece uma coisa tão “de proprietário” que achava pouco provável receber alguma resposta, muito menos uma interessante.

Boas idéias para analogias!
Boas idéias para analogias!

Ele deu boas idéias para analogias – refinamento de informações, derretimento de dados etc. – mas foi na mesma direção dos outros dois: DD deve ser a mesma coisa que Data Mining, assim como mineração de ouro e exploração de ouro são praticamente o mesmo. Eu até gostei, mas não me ajudou.

Successful Business Intelligence Project Management

E daqui veio a resposta campeã. Veja que, a esta altura do jogo, eu já estava convencido de que Data Discovery é só uma buzzword dedicada a capturar a corações e mentes dos novatos em BI. Eu só não tinha, ainda, uma opinião do andar de cima. Até ali eu lera opiniões de técnicos e especialistas bem-informados, que também examinaram criticamente essa “nova tecnologia”. Claro que eu também tinha coisas mais sólidas como o rebranding do QlikView e a completa ausência de informação de qualidade em fontes como a Wikipedia, mas as pontas (a falta de evidência e o senso-comum) precisavam se tocar.

Quem teria a envergadura profissional, o alcance de liderança, que também houvesse examinado criticamente a oferta tecnológica representada pelo jargão Data Discovery?

Fabio You Poor Soul

Conheçam Elizabeth Barr, formada na University of Michigan, certificada em gestão de projetos pela Georgetown University. Ela foi DBA na Travelers e na Motorola Solutions, trabalhou como líder de equipe de DBA na AMOCO, arquiteta de dados corporativos da Associação de Estradas de Ferro dos EUA (Railinc), Vice-Presidente Assistente no Banco Chevy Chase e finalmente gerente de DW na Associação de Universidades de Medicina dos EUA.

O resumo da experiência dela diz “19+ years in IT at Fortune 500 companies and non-profit organizations”. Para não deixar dúvida sobre o que isso significa: mais de 19 anos em TI de empresas da lista Fortune 500, e organizações sem fins lucrativos. A Fortune 500 é uma lista das 500 maiores empresas do mundo, compilada pela revista Fortune ano a ano.

Não apenas ela é da área, mas tem uma posição de respeito e uma carreira séria.

Séria. Há, há.

Quero dizer, basta olhar seu perfil no LinkedIn para ver que ela é séria, e que teve seu trabalho reconhecido. O que eu queria dizer é que ela não é sisuda. A resposta dela começa assim: “Fábio, pobre alma.” Sacaram? Não botam fé? Vejam:

Elizabeth Barr esclarece a malta: "There is no spoon".
Elizabeth Barr esclarece a malta: “There is no spoon”.

Realmente, é preciso dizer mais? Ela encerrou a discussão de cima de quase duas décadas em empresas de respeito!

De novo, não posso traduzir tudo (é muita preguiça, admito.) Mas os pontos mais importantes da resposta dela são:

  1. Até 2010 todo mundo sabia que o “processo computacional de encontrar padrões em grandes massas de dados” chamava-se Data Mining, e que isso era 100% dependente de dados – mal-ajambrados, poluídos, corrompidos e bagunçados dados transacionais;
  2. A partir de 2010 “nós todos” passamos a saber que o “processo computacional de encontrar padrões em grandes massas de dados” chamava-se Data Discovery, mas…
  3. … continuamos precisando dos mesmos dados, que continuam se acumulando nos mesmos bancos de dados (relacionais ou não), e que continuam vindo sujos, tortos e faltando pedaços!!!
  4. Fiat Lux! Uma nova categoria de ferramentas surge! Moderna, poderosa, capaz de entregar “Data Discovery” = encontrar padrões em grandes massas de dados, com pouca dependência da TI, sem ETL, sem integração, sem dor, capaz de acabar com a fome mundial.

Séria!!! :-)

Você Não Está Sozinho

Ela conclui destacando que o mundo mudou, mas as coisas não mudaram tanto assim: dados ainda são dados, difícies de lidar e causadores de dor. Ferramentas são só isso: ferramentas, e pouca diferença faz se são de prateleira, bem modernas, ou feitas à mão. Segundo ela, o fato é que existe uma legião de gente “trabalhando furiosamente” para se manter em dia com as buzzwords, tentando prover qualquer ajuda que puderem dar a seus usuários de negócios na contínua busca por entendimento do negócios e por insights nestes mesmos negócios.

E ela diz com todas as palavras:

I can tell you this: These are all just buzzwords.

Conclusão

Desde o início eu tinha a impressão que Data Discovery, bem como Business Discovery, não passava de mais uma buzzword destinada a promover uma leva de ferramentas de visualização de dados. Como eu sempre me obrigo a demonstrar um mínimo civilizado de humildade, eu parti do pressuposto que eu não sabia de nada (ou apenas do mínimo) e saí à cata do significado, da definição do termo Data Discovery.

A premissa do trabalho era bem simples: eu quero achar o que está disponível ao usuário mais ou menos leigo. Eu desconsiderei trabalhos acadêmicos pelo simples fato que poucos sabem fazer uma busca no WoS – ou mesmo sabem que o WoS existe. Eu presumia que, se o conceito existe e está bem-definido, uma busca “de escritório” deveria encontrá-la.

Essa busca não trouxe nada substancial. Ou seja, Data Discovery aparentemente existia apenas na boca dos vendedores, e na dos clientes que repetem o que os vendedores dizem.

Ok, então eu fui incompetente para achar a definição de DD por meus próprios meios. Ainda descartando o lado acadêmico da coisa, me pareceu que o próximo passo era buscar ajuda. Perguntar por aí o que é que a baiana tem. Não foi a busca mais completa e detalhada: se o termo tivesse vida própria, não deveria ser preciso um hercúleo esforço para descobrir o que ele significava. Se fosse assim tão difícil, não deveria ser parte do dia-a-dia de BI ou TI.

Os poucos que se dignaram a me responder reforçaram a minha pressuposição (viés de confirmação?), até que uma profissional de alto calibre deitou no papel a definição presumida mas não reconhecida: é só uma buzzword.

Mesmo assim, me parece não dá para dizer que “Data Discovery” não existe. O que podemos afirmar com certeza é que ninguém assumiu a autoria do termo tal como ele vem sendo usada pelos vendedores de ferramentas de visualização de dados. O que esses vendedores querem dizer quando afirmam que tal ou tal ferramenta “faz” Data Discovery é que elas têm “uma forma mágica de vencer as dificuldades de qualquer projeto de BI, eliminando os problemas com a obtenção e tratamento dos dados”. O que o discurso de vendas dessas ferramentas prometem, no fundo, é eliminar o que o senso comum entende como a raiz dos incontáveis fracassos de projetos de BI: obter e preparar dados para análise.

Reparem, por favor, que eu não retiro de nenhum dos softwares mencionados nesses posts a grande qualidade e flexibilidade na apresentação e análise dos dados. Não há como contestar isso, e nem é preciso contestar. É uma grande sorte do mercado de BI que existam ferramentas diversas, com caracerísticas distintas e especializações variadas. Dispor de uma só ferramenta para tudo empobreceria nossas vidas.


O que eu vou levar para casa, e divido aqui para vocês fazerem o mesmo se quiserem, é a certeza de que NENHUMA ferramenta isenta-nos de capturar e arrumar os dados antes de examiná-los. Se Data Discovery são softwares cujos vendedores prometem isso, bom…

… você é livre para acreditar no que quiser. ;-)

Feliz Ano Novo!

2 comentários sobre “O Que É Data Discovery – Conclusão

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s