Agile BI?

Em agosto de 2005 eu lancei um mini-curso sobre como fazer levantamento de requisitos para projetos de Business Intelligence. O que diferenciava aquele curso da prática tradicional era ser voltado para projetos ágeis. Você pode ver aquele post clicando aqui, conhecer o curso aqui e assistir ao vídeo promocional seguindo este link.

O assunto é interessante por demais da conta. Nestes dois últimos anos eu tenho me dedicado a estudar como melhorar a implementação de projetos de BI e DW usando técnicas ágeis. Tenho visitado palestras, lido artigos pela web, conversado com inúmeros profissionais. O resultado desse envolvimento todo apareceu na minha palestra do Pentaho Day 2017, BI E.V.A., que teve uma boa recepção junto à comunidade Pentaho.

Hoje eu recebi um e-mail da TDWI, um respeitado instituto de Data Warehousing. O assunto? É óbvio, né?

Agile BI.

E-mail do TDWI convidando para um curso de Agile BI.

Claro que eu tinha que ver do que se tratava. Eis o conteúdo prometido:

  • Agile modeling values and principles
  • Techniques for determining the right level of up-front design
  • How to avoid overbuilding solutions by designing for what is needed
  • Domain modeling
  • Data model patterns
  • Data smells and the impact of technical debt
  • Continuous integration
  • Safe refactoring techniques for making incremental design changes
  • How to determine the right level of design documentation that is needed
  • Effective collaborative modeling practices for cross-functional teams
  • How to minimize the amount of unnecessary rework through reference and conceptual designs
  • How to establish iteration zero as an agile practice that gives teams the runway to start delivering

Hmm… Interessante. Uma das coisas que eu comento no BI E.V.A. é que há muito sendo discutido sobre como se transformar o processo de modelagem de dados, em especial Modelagem Dimensional, em um processo “ágil”. No fundo, o que muito da literatura tem pregado é como incorporar Scrum ao processo tradicional.

Eu já fiz isso, e não adianta.

Pense um pouco: o cerne de ser ágil é prover melhoria contínua. Mas o cerne de um processo de modelagem dimensional é entender a necessidade do cliente. Não é muito evidente, mas o fato é que essas motivações são incompatíveis. Ainda não tenho um argumento finalizado e por enquanto eu recomendo a leitura das notas da apresentação BI E.V.A. – é o melhor que eu consigo no estágio atual.

Ainda não é uma Conclusão

Voltando ao curso do TDWI, o que é que eles oferecem? Uma outra abordagem ao processo de modelagem de dados? Não.

Um outro modelo de dados? Não.

Uma outra forma de tratar os levantamentos de requisito? Não. (Meu curso faz isso.)

Eles propõe “modelar apenas o suficiente para galvanizar o cliente e desenvolvedores ao redor de uma compreensão compartilhada do domínio do problema, arquitetura e modelo de dados”.

Ou seja: adotemos ágil e, na hora de construir o modelo de dados, vamos fazer apenas o mínimo para começar. Do que se depreende que desenvolvimento incremental, aqui, deve ser “uma dimensão por história”, “uma estrela por épico” ou coisa do tipo!

Foi exatamente o que eu tentei. Deu resultado, mas ainda não me permitiu os fantásticos ganhos de produtividade que Scrum normalmente proporciona. Leia “Scrum: a arte de fazer o dobro do trabalho na metade do tempo” para saber do que é que eu estou falando. ;-)

Ganhos fantásticos!

O que eu acabei descobrindo é que o que atrapalha o desenvolvimento ágil – incremental – é a dificuldade de expressar a necessidade do cliente de modo que permita correções e ajustes, o que acabou me levando a rever o problema por outro ângulo.

Então este é o estado do BI Ágil, hoje?

Claro, existe mais sendo feito por aí. Quem leu o Building a Scalable Data Warehouse with Data Vault 2.0, por exemplo, viu uma outra abordagem. Mas ainda não nasceu algo que verdadeiramente habilite a construção de projetos de BI e DW calcados nos fundamentos ágeis – melhoria contínua, incremental, articulada.

A busca continua! :-)

Anúncios

A Capa

O lançamento da versão 7.1 da suite Pentaho me deu o impulso que faltava para “pegar firme” (ui!) no novo livro.

Capa provisória do primeiro livro da nova série.

O Pentaho na Prática tem uma capa de tema espacial, por puro acaso: era uma das imagens gratuitas na Amazon, das várias disponíveis para autores auto-publicados.

Lançado!!! Yahoooo!!!

Das páginas do PnP:


Capa

Texto sobre foto da decolagem do ônibus espacial Discovery, criada pelo Amazon Cover Creator a partir de foto de arquivo do Cover Creator. Todos os direitos sobre a capa reservados à Amazon.com conforme os termos do Cover Creator e do Kindle Direct Publishing.

Esse foi o 120o. vôo do programa de ônibus espaciais da Nasa e o 34a. vôo do ônibus espacial Discovery. Partiu em 23 de outubro de 2007, às 11H38min EDT, na base 39A do Kennedy Space Center para, entre outros objetivos, entregar módulos na ISS. A notícia completa pode ser lida neste link.

Essa é uma das várias fotos tiradas pela Nasa de suas missões. Todas as fotos da Nasa são protegidas por copyright. Se você quiser usar uma, a forma mais fácil é comprá-la de algum revendedor, como a Getty Images. Esta, aliá, é a imagem usada pela Amazon.com – podemos notar pela ausência de nuvens e a posição da nave. Nas fotos desta missão, feitas pela da Nasa, há sempre nuvens ao fundo.


Eu gostei muito por várias razões. Por exemplo, sendo cientista, espaço me pira o cabeção, e foguetes idem. A imagem da Challenger partindo também significava meu lançamento no mundo dos autores. O ônibus espacial é um veículo de entrega de carga, essencialmente, e o livro “entregava” uma carga de conhecimentos e por aí vai – o céu, hehe, é o limite para essas analogias baratas.

A capa da minha próxima edição vai seguir o tema. Como é sobre o servidor, decidi (por enquanto) que vai ser uma estação espacial. Essa figura é uma estação Torus, do jogo Oolite, uma versão open source do famigerado Elite. A minha intenção é usar uma foto da própria ISS, se houver com uso livre, ou então alguma das outras: o Skylab ou a MIR. (Pensando no destino de ambas, e o estado da ISS, não sei bem se dariam boas analogias… O Skylab e a MIR se desintegraram na reentrada, por exemplo.)

Daí o de ETL vai ser algum foguete e o de visualização de dados, não sei, que tal o Hubble? ;-)

É isso. Allons-y! :-)

Bola Redonda

Contrabalançando o post Bola Quadrada, neste aqui eu vou mostrar como bater um bolão, redondo, usando BI.

SAS Customer Intelligence Forum ’17.

Hoje, 17-5-17, aconteceu um evento do SAS, a maior empresa de BI do mundo, sobre aplicações de Marketing, o SAS Customer Intelligence Forum. O evento foi gravado: assista neste link. A primeira palestra é em inglês e não tem legendas, mas o restante é todo em português.

Vamos por partes.

Marketing Analítico

A primeira palestra foi feita pela Vice-Presidente Sênior de Marketing do SAS, Adele Sweetwood. Ela é autora de um livro, que aparentemente vende muito bem: The Analytical Marketer.

The Analytical Marketer.

O conceito, em si, é simples: há tantos dados disponíveis, e tanto poder de processamento, que novas formas de entender o cliente estão surgindo, e mais partes de uma empresa pode agir com base em dados. Ela mostra um monte de exemplos de novos usos dos dados para marketing, e fecha com um comentário digno de nota:


O uso dos dados para marketing está movendo a prática de marketing de “campanha” para “interação contínua”.


Não são exatamente essas as palavras, mas o sentido é esse. Central nesse admirável mundo novo é a evolução dos diversos canais, como e-mail, mídias sociais, rádio, revistas etc., para um único e grande canal: o [omnichannel][omnichannel_bitly], ou omnicanal. Assim, ao invés de termos uma campanha para e-mail, uma para WhatsApp, outra para chat, outra para telefone e assim por diante, devemos ter interação uniforme, orquestrada em todos esses canais. Caso contrário, se você mantiver esses canais separados e competindo entre si pela atenção do cliente, vai gerar desgaste e, no limite, espanar o cliente.


Coincidentemente, saindo do evento eu liguei o rádio no carro e, momentos depois, passou o anúncio de um evento sobre omnichannel aqui em São Paulo. Uau, isso foi rápido!


Ela destaca que é muito, muito importante, haver liderança na empresa para que essa evolução possa aparecer. É preciso existir um profissional com visão, energia e conhecimento capaz de conduzir a iniciativa de marketing e unir todas as formas de interação com o cliente em um continuum mercadológico.

Aliás, uma das máximas que ela, e outros repetiram, é “garantir que a experiência do meu cliente seja homogênea entre todos os canais”. Por exemplo, pode acontecer de eu olhar o preço de um produto na web usando o smartphone, depois conversar pelo chat com uma vendedora via laptop e sair, de carro, para ir até um shopping visitar a loja física e comprar o produto lá. Para que todas essas interações agreguem e fortaleçam a marca com o cliente, é preciso que sejam consistentes. Imagine, ver um preço na web, ir até a loja e encontrá-lo por outro valor lá?!

Outros

Em seguida veio o case de Marketing de canais da Natura. Interessante, mas meio livro-texto – nada realmente inédito ou impactante.

Teve uma palestra da startup Qedu, que me parece que vende análises de dados do sistema educacional público. A proposta é subsidiar o Estado com dados sobre seus alunos, para poder melhorar a educação. Hoje os dados são coletados a cada dois anos (o último conjunto é de 2015), e a meta é conseguir atualizar ao menos uma vez por mês, ou idealmente uma vez por semana, e alimentar as análises com isso. Interessante até, mas eu possuo uma opinião pessoal sobre essa idéia e preciso me abster de comentá-la.

Depois veio o primeiro painel, sobre a transformação digital do Marketing. Interessante pelo que expõe das engrenagens internas de cada empresa e como pensam, mas nada digno de destaque. Achei curioso as diferenças de perfil, nítidas entre consumidores de serviços de BI (a GE e o Sonda) e os fornecedores desse serviço (SAS e Mood/TDWA.) Assistam ao vídeo para entender.

Veio, então, a palestra do Pactual-BTG, sobre sua transformação de banco físico em digital, e logo depois uma fala do Aluizio Falcão Filho, do Círculo Millenium. Esse eu queria que tivesse falado mais – de novo, por motivos pessoais, não profissionais.

Ih! Olha eu aí! (4:01:37)

Ele contou uma ótima: já ouviram falar do Bebê Johnson & Johnson? Pois é, segundo o Aluizio, a primeira foto de um bebê J&J foi feita do filho recém-nascido de um dos envolvidos – não sei do marketeiro, ou do empresário da Johnson & Johnson à época. Adivinha quem era?

O JOÃO DORIA!!! :-D Sim, o prefeito!!! Ele foi o primeiro bebê! Devia ter se chamado era Aparecido, mesmo… kkkkkk (pode parecer teoria conspiratória, mas justamente este trecho, que começa em 3:42:30, não foi gravado. Eu procurei referências a isso na web, mas não achei confirmações. Se um dia eu tiver uma chance, confirmarei essa história.)


A Bola, Finalmente

E então chegou o último painel. O SAS, alimentado por idéias de marketing, criou uma linha de produtos de “Analytics” para os esportes. Primeiro eles falaram sobre o filme Moneyball, que veio do livro homônimo:

Moneyball, o livro.

Pelo trailer pareceu muito legal, e eu vou assistir: um time de baseball, que havia sido rebaixado no último campeonato, decide que vai se reerguer e acaba sendo salvo por um sujeito que tabulou estatísticas de inúmeros jogadores. De posse desses dados, esse analista conseguiu encontrar bons jogadores, que estavam subvalorizados, possibilitando montar um time barato, de qualidade, que finalmente alcança o sucesso.

Isso é que é Data Mining de raiz!

Outro livro mencionado no mesmo momento foi o Soccernomics, que vai na mesma linha de análise de dados, agora no futebol.

Soccernomics, Freakonimics de soccer. Duhn, óbvio.

O nome é uma referência a outro ótimo livro, que expõe contudentemente o valor que uma análise calcada em fatos pode ter, o Freakonomics. Esse eu li, e adorei.

O palestrante, então, monta o painel, chamando os outros três participantes, e começam a bater-papo sobre o assunto.

Acho que deixaram o mais legal para o final.

Sabia que existe uma empresa que registra todas as estatísticas de ações de jogadores em campo? Sabia que existem empresas de Data Mining que analisam esses dados e traçam perfis e estratégias? Meu, é um mundo de coisas que são feitas com BI nos esportes em geral – e no futebol, especificamente – que você nem imagina!

A conclusão desse painel, para mim, foi o ponto mais alto de um lance que já estava lambendo a estratosfera de coisas legais: a Paula Baeta, da Analysis, pegou os dados coletados pela Footstats, do Romanini, e montou um modelo explicativo (não preditivo) para identificar que variáveis explicam a classificação de cada time na última temporada. (Não me peçam detalhes – assistam ao vídeo!)

Daí ela pegou esse modelo e saiu trocando os valores de cada métrica (eram 6: uma positiva, e 5 negativos) entre os times. Por exemplo, ela pegava a quantidade de cartões amarelos do melhor time e colocou no pior, para ver se, de acordo com o modelo, algo teria sido diferente. Ela fez isso umas três vezes, com três times. Muito legal! Se você gosta de futebol, assista, vai se divertir!

Conclusão

O mercado de BI martela “ferramenta” nas nossas orelhas o tempo todo. Todo mundo quer ferramenta.

Quando uma empresa que está no mercado há quarenta anos, que cresce anualmente sempre na faixa dos dois dígitos, vem a público contar as suas histórias, pode ter certeza que vamos ter uma chance de aprender coisas novas. Descartada a parte comercial, que está ali para vender o produto, a parte de negócio, mesmo pequena ainda é extremamente valiosa.

Tocar uma bola redonda, com BI, é usar os dados para impactar a lucratividade de uma organização. Assista ao vídeo, ouça a mensagem e aprenda com essas idéias. Deixe a bola quadrada para a competição selvagem do mercado de software, e abra-se para o imenso mercado, de grandes valores, que existe para quem conseguir tocar uma bola redonda no gramado do BI.

É isso. Até a semana que vem. ;-)

 

Pentaho Day 2017 – BI E.V.A.

Neste exato momento estou assistindo a uma palestra do Pentaho Day 2017, ao qual eu tive a honra de ser convidado como palestrante. Minha palestra foi ontem, dia 11/5/17, e chamava-se BI E.V.A. – Enxuto, Valioso, Ágil. Ela teve uma recepção muito boa, acima do que eu esperava, e estou muito feliz de ter podido proporcionar aos participantes algo que eles tenham gostado.

Neste link você pode baixar um PDF das notas, que traz os slides e todos os comentários que eu “fiz”.

BI E.V.A.

O clipe do começo pode ser assistido neste link, para o Youtube. É o videoclipe Houdini, do Foster The People.

Foster The People – Houdini.

Eu estava salvando minhas (poucas) idéias para o Pentaho Day 2017. Agora que passou, voltarei a postar com mais frequência, focando justamente os temas de valor, agilidade e lean em BI.

É bom estar de volta. :-)