Vinte Anos de Inteligência de Negócios

Estava no meio do trabalho, sentado à mesa da sala de jantar (como muita gente hoje em dia, hehe), quando me dei conta que dia estava chegando.

Primeiro de Abril!

Não, de verdade, é o dia. Não é pegadinha! :-)

Em 1/4/2000 eu recebi a oferta formal de contratação pelo SAS, a maior empresa de BI do mundo.

SASLogo

Eu era assistente de vendas em uma representação comercial de equipamentos científicos e estava procurando um novo emprego, algo mais desafiador, com mais horizonte. Depois de alguns meses apareceu essa oportunidade, que eu adorei! Era a mistura boa demais para ser verdade de vendas, Física e computadores!

E agora, um piscar de olhos depois, estou completando vinte anos no campo!! Cara…

Casei, tive filhos, mudei de emprego, virei palestrante, fui desenvolvedor, gerente de projeto, trabalhei em governança corporativa… Uau.

Oba-Oba

Putz, vinte anos e não vou fazer nada? Ah, não mesmo!

Desde 2019 eu vendo uma palestra chamada Data Culture. Nela eu comento sobre os fatores que, no meu entendimento, dificultam o sucesso de projetos de BI.

GeekBI-DataCulture

Bom, em 2007 eu fiz minha primeira palestra on-line (sobre Pentaho, “O Pentaho Day”, um trocadilho infame – duvida? fale várias vezes em voz alta :-) ). Uma outra palestra online me pareceu uma boa idéia.

E decidi:

Em Primeiro de Abril de 2020, palestra on-line Data Culture!
Ainda não sei através de qual canal, mas assim que decidir, atualizarei esse post.

Oba-Oba-OBA!

Eu tenho um amigo muito querido que me apelidou de gigante. Nada a ver com minha estatura – eu sou baixinho – mas porque eu sou megalomaníaco. Eu não gosto de fazer coisas normais, bonitinha. Eu gosto de coisas legais, bacanas!

Daí…

Porque parar em uma apresentação? Vamos logo fazer uma coisa diferente!

Vou lançar meu novo livro!

fin_capa-teaser

Então, oficialmente:

Em Primeiro de Abril de 2020,
antes da palestra on-line Data Culture,
lançamento do novo livro
Fundamentos de Inteligência de Negócios!

E é isso. Agora tá oba-oba está (quase!) como eu gosto.

Você, leitor do meu blog, é meu convidado de honra. Para que você não saia de mãos abanando, eu coloquei os livros da coletânea Geek BI de graça, na Amazon, e baixei meus outros dois livros ao menor valor que a loja permite. Clique aqui para visitar a loja.

PnP_Capa-2aEd
Capa do Pentaho na Prática, segunda edição.

Agora sim! Festa completa – tem até lembrancinha! :-)

Espero você lá! ;-)

Baloes


A live foi gravada e está disponível no Youtube:

Escala Patricia de Utilidade de Dados

As transações realizadas por uma empresa são representadas em dados produzidos e consumidos diariamente dentro da organização. Esses dados possuem um valor de negócio descrito por uma escala de utilidade:

  • Nível 0: automação operacional. Os dados não são analisados em nenhum contexto, e servem apenas aos processos corporativos, à automação propriamente dita. Qualquer valor que eles possuam está trancado dentro dos sistemas transacionais. Mesmo uma simples tabulação depende de consultas de baixo nível aos elementos do sistema. Por exemplo, para listar os pedidos do mês é preciso que alguém acesse pedido a pedido e transcreva o dado desejado;
  • Nível 1: consultas aos sistemas. Os sistemas informatizados oferecem consultas pré-definidas para atender necessidades pontuais. É quando o sistema emite listagens de vários tipos, como relatórios de pedidos, listas de preços etc. Qualquer nova necessidade precisa ser atendida por uma equipe de desenvolvimento e programada nos sistemas transacionais;
  • Nível 2: Operational Intelligence (veja também OI vs BI). A corporação adota ferramentas para destrancar os dados transacionais e deixá-los ao alcance das mãos dos empregados, para que esses possam resolver seus problemas diários por si sós. Essas ferramentas ligam-se aos dados crús, direta ou indiretamente, com atualização em tempo real ou próximo a isso, e sem nenhum histórico que não o disponível no transacional. Qualquer dado assim exposto pode ser consumido de várias maneiras, sem necessidade de um profissional especializado;
  • Nível 3: Business Intelligence. Os níveis estratégicos da corporação adotam ferramentas de análises, usadas sobre dados acumulados à parte, em um Data Warehouse (DW). Não existe consumo de dados em tempo real, e os dados são levados para dentro do DW com frequência diária ou maior. Os dados são estocados em sua menor granularidade, indexados temporalmente e consumidos em processos que solucionam problemas de negócio.

Note que o Nível 1 suplanta o Nível 0, e que o Nível 2 suplanta todos os níveis abaixo. O Nível 3, porém, não suplanta o Nível 2 obrigatoriamente. Apesar de uma empresa poder existir no Nível 3, usando apenas soluções de BI, os níveis 2 e 3 são complementares entre si e podem conviver sem conflitos. Por conveniência podemos convencionar um “Nível 4” como:

  • Nível 4: pleno uso de dados. A empresa atua, simultaneamente, nos níveis 2 e 3, oferecendo tanto soluções de Operational Intelligence quanto de Business Intelligence.

Quanto mais alta está uma empresa nessa escala, mais útil seus dados são, e mais valor ela extrai de seus dados. Toda empresa almeja atingir o nível 3. Porém, até que ponto uma empresa quer chegar é uma decisão particular, caso-a-caso, motivada pelas aspirações e objetivos da corporação. Muitas mudanças são conduzidas por pressão competitiva ou demandas da clientela, de modo que o nível adequado é aquele que alivia essas pressões e dá suporte aos objetivos. O nível adequado não é um ponto estável no tempo, imutável. A vida da organização e suas decisões ao longo do tempo podem alterar o nível ideal – ou melhor dizendo, o nível necessário.

Eu tenho usado essa escala em projetos de BI. Como ela tem sido de algum valor, achei interessante compartilhar com vocês.

O nome da escala é uma homenagem do autor à sua esposa. ;-)


>
> Dedico este post a meus dois amados filhos, Marcos e Lorenzo, que fizeram aniversário nesta semana.
>
> Sim, os dois. Sim, na mesma semana. :-)
>
> —

B.I.A.S.

O conjunto das FATECs de São Paulo, capital, faz um congresso de tecnologia anual. Nesta semana está ocorrendo a décima nona edição do evento, no qual eu fui convidado para palestrar. A coordenação do evento me deixou livre para propor o tema e acabamos ficando com B.I.A.S.. A apresentação foi ontem, 03/10/17, às 10H00min, com boa presença dos alunos. Conforme prometido a todos eles, eis aqui os links para download dos slides e notas, ambos em PDF:

XIV Congresso Fatec, 2017.

Você pode clicar nestes links para download direto ou, se estiver lendo em papel ou outro meio não-digital, basta copiar os bit.lys no seu navegador. Ambos arquivos estão hospedados em uma conta DropBox e, por causa disso, pode ser que apareça uma tela requisitando seu login para fazer o download. Não caia nessa. Não é preciso fazer login para baixar os arquivos: examine a tela com atenção que você vai acabar descobrindo algum texto do tipo “não obrigado, leve-me ao download”. O DropBox usa qualquer opoturnidade para ampliar sua base e por isso ele fica com essas “pegadinhas”.

Bom proveito!

Resumão

Normalmente eu redijo um post espelhando a apresentação, mas… como tenho estado muito atarefado, vou deixar aqui apenas a conclusão dela. Eu sempre anoto todas as minhas apresentações com o que eu falo (ou o que eu queria ter falado, hehe), de modo que ali já tem tudo. Aqui é só um gostinho para quem estiver em dúvida se baixa ou não. ;-)

A alegoria da caverna.

Apenas para fechar o assunto:

  • Desde Platão, V AC, existe a noção de um mundo invísivel aos nossos sentidos. Era obrigação do Filósofo sair da caverna e enxergar a realidade;
  • O Método Científico deu origem aos Filósofos Naturalistas, como Físicos e Químicos;
  • Estes desvendaram, aos poucos e graças ao Método Científico, o mundo real que está fora do nosso alcance. A Ciência ampliou os sentidos humanos;
  • Após décadas de evolução, as tecnologias eletrônicas deram origem a um novo mundo invisível, agora formado por dados;
  • Mais uma vez o Método Científico ampliou nossos sentidos: através da aplicação dele aos dados gerados pelas organizações e pessoas, podemos enxergar esse novo mundo;
  • Nele podemos ver padrões, formas, ritmos.

Inteligência de Negócios é a aplicação do Método Científico aos dados de uma organização. O resultado disso são Soluções de Inteligência de Negócios, modelos matemáticos que podem desde automatizar a tomada de decisão até funcionar como especialistas ou conselheiros cibernéticos.


O Método Científico.

Meu propósito era ajudar os alunos da FATEC com algo que eles não vão encontrar tão facilmente por aí. Não tenho como avaliar o resultado e saber se eu atingi ou não esse objetivo, mas guardo a lembrança de um feedback muito positivo, e uma recepção foi boa. No mínimo, portanto, eu os diverti por uma hora. ;-)

Até lá! ;-)

The Dawn of The Data Dam!

O título é uma típica aliteração em inglês, “dedaom ov dedeidadam”. Além de ser mais diverto (fale em voz alta, para ver), em Português ele não tem lá muito sentido:

A Aurora da Represa de Dados

Essa foi uma idéia que nasceu durante um almoço que eu tive com o grande Flávio Daher, da PRODESP, em 7 de junho de 2017.

E ela é muito simples. ;-)

O que é um Data Lake? É só um reservatório no qual desaguam dados. Ele não agrega valor, per si, mais do que uma caixa d’água agrega valor a uma casa. Para que os dados que estão ali forneçam alguma vantagem competitiva, eles precisam ser bombeados para fora, tratados e levados para o consumo do usuário final. Por fim, este o cliente final usa a água de dados para cozinhar, lavar, produzir etc. A lista de metáforas hídricas é interminável, hehe.

Jogávamos conversa fora, Eu e o Flávio, brincando e troçando com essa idéia, quando o Flávio comentou:


É, mas os dados para terem algum valor, alguma utilidade, não podem ficar sentados ali, parados, eles têm que girar, que produzir algo, como numa represa…


Ele mal terminou de falar e eu congelei. Foi automático: represa de dados!!!

SHAZAM!!!!

AAAAHHHHHHHHH!!!!!

Ele ficou rindo e eu fiquei pulando e sacudindo os braços, berrando que nem um doido varrido, aaaaaaaaaaahhhhhhhh aaaaaaaaaaahhhhhhhh aaaaaaaaaaahhhhhhhh DATA DAM!!! DATA DAM!!!!

E foi assim. No meio do restaurante. Verdade! :-D Dentro da minha cabeça, ao menos. (Por fora eu fiquei olhando para o nada, mas isso não é engraçado…)

Então é isso: se você tiver algo mais importante para fazer agora, vá. Se não, pode ficar, porque o que vem a seguir é uma genuína e autêntica viagem na maionese (tm). Nem precisa de muito café para ficar: vai ser rapidinho.

What The Devil is a Data Dam?

E que diabos é uma represa de dados? No quê ela difere de um “lago de dados”?

Vista de Itaipu, uma das maiores usinas hidrelétricas do mundo.
  • Uma represa é feita para acumular água. Logo, semelhantemente mas ao mesmo tempo diferentemente de um Data Lake, uma Data Dam acumula um fluxo de água que inunda a área ao redor, que sobe de nível continuamente. Ainda que um lago evoque a imagem de rios formando um corpo hídrico maior, de dados acumulando-se em um ponto central, mais baixo que os OLTPs, uma represa evoca uma idéia de estrutura humana, construída para domar o poder das águas. É uma analogia muito mais forte;
  • Um lago pode ser consumido ou usado para fins domésticos. Não se bebe a água de um lago, mas apenas “pescamos” nele ou usamos porções modestas do líquido disponível, em escala doméstica. Uma represa, não: tudo é grande, maior que o Homem.
  • Um lago é uma obra da Natureza, que está lá e só. Quando muito, um lago artificial é feito para emular a Natureza, em geral para dar a sensação de se estar na Natureza. Em uma represa, não: a água que ali ficou apresada está lá para trabalhar por nós;
  • Um lago produz, quando muito, água potável e viveiros de aves e peixes. Uma repressa produz energia elétrica. É de represas hidrelétricas que o nosso país puxa um insumo indispensável para funcionar, diariamente, continuamente.
  • O poder de uma represa é muito superior a de um lago, e mais: é um poder plácido, contemplativo, mas de imenso potencial para o bem, se usada corretamente, e para a destruição, se liberado de uma vez;
  • De onde vem o poder de uma represa? Uma roda d’água, uma turbina, um moinho… Esses termos servem para ilustrar como os dados podem ser usados para alimentar de energia a Economia da Informação, a era em que estamos entrando.
Usando água para gerar energia elétrica.

Levando essa analogia mais longe ainda, podemos inventar que as equipes que montam refinarias de dados são equipes-turbinas, pois são elas que convertem aquele potencial preso nos dados crus em insumo para tudo. Tal como energia elétrica, que serve para tudo! Desde cozinhar, produzir e lavar, até qualquer outra coisa, já que eletrecidade, hoje, é mais versátil que a água. Diabos, com energia suficiente podemos até produzir água do ar!


Hmmm… Não… São equipes de “engenheiros hidáudicos” (mistura de hidráulico com dados). Daí, cada ETL que disponibiliza dados para o consumo é que é uma turbina. Logo, seriam ETL-Turbina. Extração-Turbinação-Carga? Extração-Turbina-Transmissão? Extração-Turbina-Consumo, sim, daí mantemos ETC e adotamos um novo significado. :-) Hoje eu tô a todo vapor! Affff! Vapor!!! :-D


E como isso se traduz em softwares e processos?

Nada de novo, aí: da mesma forma que em todas as outras analogias. O termo é só uma outra metáfora para as coisas que já existem há dez, vinte anos: um repositório de dados que alimenta o trabalho de uma organização. A novidade, mesmo, é forma de encarar, as imagens que ela evoca, muito mais poderosas e versáteis que um mero lago de dados.

Nothing But The BICC

E como funcionam “as coisas que já existem”? Melhor dizendo, como podem funcionar?

Como um BICC.

BICC é a sigla em Inglês para Centro de Competência de Inteligência de Negócios. Um BICC é como um departamento-mercearia: o cliente chega, vai até o balcão e pede alguma coisa – um dataset. Um dataset de tal e qual conformação, com esta e aquela agregação, que possa ser consumido por uma aplicação X para fazer Y – um conjunto de dados qualquer.

Daí o cara do balcão pode apontar o cliente para um produto qualquer, que já está na prateleira, e explicar como usá-lo. Ou pode se virar para dentro e berrar “Oh pá! Cá está um gajo a pediere um dataset de bugalhos! Faças e tragas cá, já!”

Tenho amigos, ídolos, em Portugal. Pelamordedeus, é só uma brincadeira com a nossa cultura!

Dali um tempo sai um moleque com o novo dataset, quentinho, que o cliente põe embaixo do braço (acidentalmente tostando o sovaco, kkkk) e vai-se embora feliz. Logo atrás dele entra outro cliente e o processo se reinicia: se o que este novo cliente precisa já existe pronto, ele pega e sai com ele, na hora; se não, espera um pouco e alguém da mercearia prepara especialmente para ele. Aos poucos, vai se acumulando uma lista de coisas já realizadas, como um catálogo de produtos.

Na minha opinião, uma Data Dam é uma boa metáfora para um BICC – se vocês mesmo questão de achar uma analogia. É uma estrutura que acumula água (dados) continuamente, que pode então ser usada para rodar turbinas (datasets) que vão alimentar algo com energia (resolver um problema.) Sempre que alguém precisa de tensão (voltagem) e frequência diferente, o time de engenheiros prepara uma nova turbina e instala um nova linha de eletricidade (ETC – Extração para Turbina e Consumo, hehe.)

Levando a analogia às últimas consequências, um cliente pode pedir os dados crus. Para atender essa demanda basta que o operador da represa abra as comportas de by-pass e está feito: lá fora vai aparecer toda água que nosso cliente puder consumir, tratar, usar como bem entender. Mais uma vez extrapolando, se as comportas forem completamente escancaradas, tudo rio abaixo será destruído. Essa é outra boa metáfora: inundação de dados não produz valor, apenas destrói o que já existe.

Novo Mesmo?

Aparentemente, outros já chegaram no termo ou perto dele. Por exemplo, tem o blog Big Data Dam/:

Página Sobre do blog Big Data Dam.

E tem até algum componente chamado Data Dam, para alguma coisa chamda Rhino:

Componente Data Dam do projeto Gafanhoto, para o Rhino. Eita…

Fora isso, não achei nada de muito significativo, de modo que pode ser que desta vez eu tenha criado algo ainda inédito.

Conclusão

Sorria: você acabou de testemunhar o nascimento de uma nova buzzword:

The Data Dam!!

Acabou, é só isso mesmo. O que virá a seguir, só Deus sabe. ;-)


Eu dedico este post à minha querida mãe, que hoje, 18 de julho de 2017, está completando 80 anos. Feliz Aniversário, Mãe! ;-)

Cheiro de Data Mining

Em 31/12/2016 eu passei na Droga Raia da Alfonso Bovero, que fica em frente ao Pão de Açucar. Estamos na Zona Oeste de São Paulo, um bairro classe média.

Essa é a dita cuja que lançou a moda.

Peguei o que fui buscar e passei no caixa. Lá, a atendente me recepcionou:

– Informe seu CPF, por favor.

Não notou nada?

Claro que não, que cabeça a minha! Deixe-me contextualizar melhor.

O governo estadual de São Paulo instituiu um programa de rebate de impostos. De maneira resumida, funciona assim: ao fazer qualquer compra, você registra o cupom fiscal no seu CPF. Quando esse cupom é processado pela Secretaria da Fazenda do Estado, um pouco dos impostos dessa nota são computados para você. Daí, em certas épocas do ano você pode sacar esse crédito e levar o dinheiro embora, para usar como bem entender.

A coisa se espalhou e agora outros estados e até cidades adotaram uma prática semelhante. Eu sei que existe um programa análogo, por exemplo, na cidade do Rio de Janeiro, na prefeitura de São Paulo, em Brasília e no Paraná.

Vai daí que, pela cidade inteira, o tempo todo, ouvimos os caixas perguntando:

  • Deseja informar seu CPF?

O que aconteceu naquela véspera de ano novo foi uma sutil mas perceptiva mudança na pergunta. Até então era dito:

  • Deseja informar seu CPF?

Naquele dia me disseram:

  • Informe seu CPF, por favor.

Ali! Notaram? Eles trocaram o deseja? por informe!.

Isso significa que passaram a forçar a coleta do CPF. Eu não tinha mais a opção, não queriam saber se eu queria ou não: informe!

Como eu já sou macaco velho de BI, que entre outras coisas testemunhou o nascimento do Cartão Mais, do Pão de Açucar, eu fiquei de orelhas em pé na hora que o verbo habitual não deu as caras.

Só que além de macaco velho, eu sou um cientista, com o péssimo hábito de só acreditar em fatos confirmados.

E eu confirmei isso: perguntei à caixa se ela havia recebido uma orientação, recentemente, para requisitar o CPF do cliente, ao invés de simplesmente perguntar se ele desejava informar o CPF para nota. A reação foi inesperada: com um sorriso de satisfação (porque alguém notou que ela estava fazendo algo novo ou certo?), ela afirmou que sim, que agora eles estavam registrando o CPF de todos os clientes, mesmo os que não queriam reembolso de impostos.

Ah, era muito para mim! Eu precisava saber mais!

“Porquê?”, eu perguntei. “Para contar quantos clientes passam na loja todo dia.”, foi a resposta. “Afinal”, ela continuou, “não dá para contar a quantidade de visitantes apenas pela quantidade de vendas, pois um cliente pode voltar várias vezes no mesmo dia.”

Eita preula! A mulher sabia mais de BI que muita gente da área!

Traduzindo: não apenas pediram a ela para fazer isso, e obviamente deram a fórmula – quais palavras usar, a frase exata – mas também explicaram a ela o por quê disso.

Venda por Cliente, por Dia, por Loja…

Te lembra alguma coisa?

Fa-Fe-Fi-Fo-Fum! Sinto Cheiro de Data Minum!

Tá, não rimou, mas vocês lembraram da música do gigante Willie, do Mickey e o Pé de Feijão. :-)

Fifi? Eu não conheço nenhuma Fifi…

Apenas se uma empresa ignorar o valor dessa informação é que ela vai deixar de coletar esses dados. Qualquer empresa que se preocupe em crescer e/ou faturar mais vai querer conhecer melhor sua clientela, como ela se comporta e o que pode ser feito para fidelizá-la, para fazer com que ela prefira ir comprar ali e não do outro lado da rua.


Esse é, talvez, o caso mais clássico de BI. Eu escrevi um post sobre ele, que você pode conhecer clicando aqui.


Conclusão obrigatória: tem que haver ali um trabalho de BI em andamento, já sendo implantando.

O que me leva a concluir isso é que eu não fiz uma pergunta fechada, do tipo que ela poderia ter respondido com sim ou não, e boas. Eu perguntei porquê e ela foi exata: para contar quantos clientes passam pela loja, por dia. Se fosse por algum outro motivo, fiscal por exemplo, dificilmente teriam dito algo a ela.


Eu escrevi o rascunho desse post em janeiro de 2017. Eu achei muita nóia minha, que eu estava vendo coisas, e resolvi botar o assunto para dormir enquanto tentava conseguir mais informações, algo que corroborasse minhas pirações.

Bom, eu decidi completar este post justamente por que eu consegui. Melhor dizendo, eu não consegui: conseguiram para mim. De uma hora para outra começaram a pulular situações iguais por todo canto: na hora de pagar não me perguntavam mais se eu queria, mas sim me pediam meu CPF. E não apenas em outras lojas da Droga Raia, mas em outras cadeias de farmácias e de outros tipos de loja!

O melhor de todos foi o que eu ouvi em uma Kalunga: “porque estamos pedindo o CPF? Ah, meu chefe falou que é porque senão não podemos efetuar trocas”. Não é, não.. Só que o chefe deve ter achado tão difícil explicar que deixou por isso mesmo. :-D

Conclusão

De repente, virou moda pedir o CPF. Aliás, pelo que este artigo de maio de 2016 fala, parece que virou um traço cultural. Talvez os lojistas nem estejam usando ou entendendo o que está acontecendo direito, mas sabem que é importante fazê-lo.

Eu vejo dois aspectos positivos nessa tendência:

  • O serviço que nos é prestado por todas essas empresas tende a ficar melhor. Ao longo do tempo, os esforços em sabermos quem somos e como nos atender melhor vai redundar em maior qualidade na nossa experiência de compra, em nossas interações comerciais. Isso é bom para nós, consumidores;
  • Até hoje ainda é difícil falar de BI em qualquer empresa e escapar da dobradinha base de dadosferramenta de visualização. Uma mudança cultural, que perpasse a nossa sociedade, vai abrir espaço para conversar sobre assuntos mais especializados, sobre temas mais sofisticados. Isso é excelente, porque atua para expandir o mercado de BI e as oportunidades. Uma coisa obrigatória que vem com a identificação do cliente é um Armazém de Dados. Se alguém estava em dúvida sobre sua necessidade, isso vai ajudar a reduzi-las, quiçá eliminá-las.
1: Pão de Açucar, 2: Drogaria São Paulo, 3: Droga Raia.

E cá entre nós, já não era sem tempo de isso começar a acontecer! Afinal, levou uns 15 anos para o conceito do Cartão Mais atravessar a rua e chegar na farmácia! Como é que ainda existe quem não se preocupe com sua clientela?!

;-) Até a próxima!

Agile BI?

Em agosto de 2005 eu lancei um mini-curso sobre como fazer levantamento de requisitos para projetos de Business Intelligence. O que diferenciava aquele curso da prática tradicional era ser voltado para projetos ágeis. Você pode ver aquele post clicando aqui, conhecer o curso aqui e assistir ao vídeo promocional seguindo este link.

O assunto é interessante por demais da conta. Nestes dois últimos anos eu tenho me dedicado a estudar como melhorar a implementação de projetos de BI e DW usando técnicas ágeis. Tenho visitado palestras, lido artigos pela web, conversado com inúmeros profissionais. O resultado desse envolvimento todo apareceu na minha palestra do Pentaho Day 2017, BI E.V.A., que teve uma boa recepção junto à comunidade Pentaho.

Hoje eu recebi um e-mail da TDWI, um respeitado instituto de Data Warehousing. O assunto? É óbvio, né?

Agile BI.

E-mail do TDWI convidando para um curso de Agile BI.

Claro que eu tinha que ver do que se tratava. Eis o conteúdo prometido:

  • Agile modeling values and principles
  • Techniques for determining the right level of up-front design
  • How to avoid overbuilding solutions by designing for what is needed
  • Domain modeling
  • Data model patterns
  • Data smells and the impact of technical debt
  • Continuous integration
  • Safe refactoring techniques for making incremental design changes
  • How to determine the right level of design documentation that is needed
  • Effective collaborative modeling practices for cross-functional teams
  • How to minimize the amount of unnecessary rework through reference and conceptual designs
  • How to establish iteration zero as an agile practice that gives teams the runway to start delivering

Hmm… Interessante. Uma das coisas que eu comento no BI E.V.A. é que há muito sendo discutido sobre como se transformar o processo de modelagem de dados, em especial Modelagem Dimensional, em um processo “ágil”. No fundo, o que muito da literatura tem pregado é como incorporar Scrum ao processo tradicional.

Eu já fiz isso, e não adianta.

Pense um pouco: o cerne de ser ágil é prover melhoria contínua. Mas o cerne de um processo de modelagem dimensional é entender a necessidade do cliente. Não é muito evidente, mas o fato é que essas motivações são incompatíveis. Ainda não tenho um argumento finalizado e por enquanto eu recomendo a leitura das notas da apresentação BI E.V.A. – é o melhor que eu consigo no estágio atual.

Ainda não é uma Conclusão

Voltando ao curso do TDWI, o que é que eles oferecem? Uma outra abordagem ao processo de modelagem de dados? Não.

Um outro modelo de dados? Não.

Uma outra forma de tratar os levantamentos de requisito? Não. (Meu curso faz isso.)

Eles propõe “modelar apenas o suficiente para galvanizar o cliente e desenvolvedores ao redor de uma compreensão compartilhada do domínio do problema, arquitetura e modelo de dados”.

Ou seja: adotemos ágil e, na hora de construir o modelo de dados, vamos fazer apenas o mínimo para começar. Do que se depreende que desenvolvimento incremental, aqui, deve ser “uma dimensão por história”, “uma estrela por épico” ou coisa do tipo!

Foi exatamente o que eu tentei. Deu resultado, mas ainda não me permitiu os fantásticos ganhos de produtividade que Scrum normalmente proporciona. Leia “Scrum: a arte de fazer o dobro do trabalho na metade do tempo” para saber do que é que eu estou falando. ;-)

Ganhos fantásticos!

O que eu acabei descobrindo é que o que atrapalha o desenvolvimento ágil – incremental – é a dificuldade de expressar a necessidade do cliente de modo que permita correções e ajustes, o que acabou me levando a rever o problema por outro ângulo.

Então este é o estado do BI Ágil, hoje?

Claro, existe mais sendo feito por aí. Quem leu o Building a Scalable Data Warehouse with Data Vault 2.0, por exemplo, viu uma outra abordagem. Mas ainda não nasceu algo que verdadeiramente habilite a construção de projetos de BI e DW calcados nos fundamentos ágeis – melhoria contínua, incremental, articulada.

A busca continua! :-)

A Capa

O lançamento da versão 7.1 da suite Pentaho me deu o impulso que faltava para “pegar firme” (ui!) no novo livro.

Capa provisória do primeiro livro da nova série.

O Pentaho na Prática tem uma capa de tema espacial, por puro acaso: era uma das imagens gratuitas na Amazon, das várias disponíveis para autores auto-publicados.

Lançado!!! Yahoooo!!!

Das páginas do PnP:


Capa

Texto sobre foto da decolagem do ônibus espacial Discovery, criada pelo Amazon Cover Creator a partir de foto de arquivo do Cover Creator. Todos os direitos sobre a capa reservados à Amazon.com conforme os termos do Cover Creator e do Kindle Direct Publishing.

Esse foi o 120o. vôo do programa de ônibus espaciais da Nasa e o 34a. vôo do ônibus espacial Discovery. Partiu em 23 de outubro de 2007, às 11H38min EDT, na base 39A do Kennedy Space Center para, entre outros objetivos, entregar módulos na ISS. A notícia completa pode ser lida neste link.

Essa é uma das várias fotos tiradas pela Nasa de suas missões. Todas as fotos da Nasa são protegidas por copyright. Se você quiser usar uma, a forma mais fácil é comprá-la de algum revendedor, como a Getty Images. Esta, aliá, é a imagem usada pela Amazon.com – podemos notar pela ausência de nuvens e a posição da nave. Nas fotos desta missão, feitas pela da Nasa, há sempre nuvens ao fundo.


Eu gostei muito por várias razões. Por exemplo, sendo cientista, espaço me pira o cabeção, e foguetes idem. A imagem da Challenger partindo também significava meu lançamento no mundo dos autores. O ônibus espacial é um veículo de entrega de carga, essencialmente, e o livro “entregava” uma carga de conhecimentos e por aí vai – o céu, hehe, é o limite para essas analogias baratas.

A capa da minha próxima edição vai seguir o tema. Como é sobre o servidor, decidi (por enquanto) que vai ser uma estação espacial. Essa figura é uma estação Torus, do jogo Oolite, uma versão open source do famigerado Elite. A minha intenção é usar uma foto da própria ISS, se houver com uso livre, ou então alguma das outras: o Skylab ou a MIR. (Pensando no destino de ambas, e o estado da ISS, não sei bem se dariam boas analogias… O Skylab e a MIR se desintegraram na reentrada, por exemplo.)

Daí o de ETL vai ser algum foguete e o de visualização de dados, não sei, que tal o Hubble? ;-)

É isso. Allons-y! :-)

Bola Redonda

Contrabalançando o post Bola Quadrada, neste aqui eu vou mostrar como bater um bolão, redondo, usando BI.

SAS Customer Intelligence Forum ’17.

Hoje, 17-5-17, aconteceu um evento do SAS, a maior empresa de BI do mundo, sobre aplicações de Marketing, o SAS Customer Intelligence Forum. O evento foi gravado: assista neste link. A primeira palestra é em inglês e não tem legendas, mas o restante é todo em português.

Vamos por partes.

Marketing Analítico

A primeira palestra foi feita pela Vice-Presidente Sênior de Marketing do SAS, Adele Sweetwood. Ela é autora de um livro, que aparentemente vende muito bem: The Analytical Marketer.

The Analytical Marketer.

O conceito, em si, é simples: há tantos dados disponíveis, e tanto poder de processamento, que novas formas de entender o cliente estão surgindo, e mais partes de uma empresa pode agir com base em dados. Ela mostra um monte de exemplos de novos usos dos dados para marketing, e fecha com um comentário digno de nota:


O uso dos dados para marketing está movendo a prática de marketing de “campanha” para “interação contínua”.


Não são exatamente essas as palavras, mas o sentido é esse. Central nesse admirável mundo novo é a evolução dos diversos canais, como e-mail, mídias sociais, rádio, revistas etc., para um único e grande canal: o [omnichannel][omnichannel_bitly], ou omnicanal. Assim, ao invés de termos uma campanha para e-mail, uma para WhatsApp, outra para chat, outra para telefone e assim por diante, devemos ter interação uniforme, orquestrada em todos esses canais. Caso contrário, se você mantiver esses canais separados e competindo entre si pela atenção do cliente, vai gerar desgaste e, no limite, espanar o cliente.


Coincidentemente, saindo do evento eu liguei o rádio no carro e, momentos depois, passou o anúncio de um evento sobre omnichannel aqui em São Paulo. Uau, isso foi rápido!


Ela destaca que é muito, muito importante, haver liderança na empresa para que essa evolução possa aparecer. É preciso existir um profissional com visão, energia e conhecimento capaz de conduzir a iniciativa de marketing e unir todas as formas de interação com o cliente em um continuum mercadológico.

Aliás, uma das máximas que ela, e outros repetiram, é “garantir que a experiência do meu cliente seja homogênea entre todos os canais”. Por exemplo, pode acontecer de eu olhar o preço de um produto na web usando o smartphone, depois conversar pelo chat com uma vendedora via laptop e sair, de carro, para ir até um shopping visitar a loja física e comprar o produto lá. Para que todas essas interações agreguem e fortaleçam a marca com o cliente, é preciso que sejam consistentes. Imagine, ver um preço na web, ir até a loja e encontrá-lo por outro valor lá?!

Outros

Em seguida veio o case de Marketing de canais da Natura. Interessante, mas meio livro-texto – nada realmente inédito ou impactante.

Teve uma palestra da startup Qedu, que me parece que vende análises de dados do sistema educacional público. A proposta é subsidiar o Estado com dados sobre seus alunos, para poder melhorar a educação. Hoje os dados são coletados a cada dois anos (o último conjunto é de 2015), e a meta é conseguir atualizar ao menos uma vez por mês, ou idealmente uma vez por semana, e alimentar as análises com isso. Interessante até, mas eu possuo uma opinião pessoal sobre essa idéia e preciso me abster de comentá-la.

Depois veio o primeiro painel, sobre a transformação digital do Marketing. Interessante pelo que expõe das engrenagens internas de cada empresa e como pensam, mas nada digno de destaque. Achei curioso as diferenças de perfil, nítidas entre consumidores de serviços de BI (a GE e o Sonda) e os fornecedores desse serviço (SAS e Mood/TDWA.) Assistam ao vídeo para entender.

Veio, então, a palestra do Pactual-BTG, sobre sua transformação de banco físico em digital, e logo depois uma fala do Aluizio Falcão Filho, do Círculo Millenium. Esse eu queria que tivesse falado mais – de novo, por motivos pessoais, não profissionais.

Ih! Olha eu aí! (4:01:37)

Ele contou uma ótima: já ouviram falar do Bebê Johnson & Johnson? Pois é, segundo o Aluizio, a primeira foto de um bebê J&J foi feita do filho recém-nascido de um dos envolvidos – não sei do marketeiro, ou do empresário da Johnson & Johnson à época. Adivinha quem era?

O JOÃO DORIA!!! :-D Sim, o prefeito!!! Ele foi o primeiro bebê! Devia ter se chamado era Aparecido, mesmo… kkkkkk (pode parecer teoria conspiratória, mas justamente este trecho, que começa em 3:42:30, não foi gravado. Eu procurei referências a isso na web, mas não achei confirmações. Se um dia eu tiver uma chance, confirmarei essa história.)


A Bola, Finalmente

E então chegou o último painel. O SAS, alimentado por idéias de marketing, criou uma linha de produtos de “Analytics” para os esportes. Primeiro eles falaram sobre o filme Moneyball, que veio do livro homônimo:

Moneyball, o livro.

Pelo trailer pareceu muito legal, e eu vou assistir: um time de baseball, que havia sido rebaixado no último campeonato, decide que vai se reerguer e acaba sendo salvo por um sujeito que tabulou estatísticas de inúmeros jogadores. De posse desses dados, esse analista conseguiu encontrar bons jogadores, que estavam subvalorizados, possibilitando montar um time barato, de qualidade, que finalmente alcança o sucesso.

Isso é que é Data Mining de raiz!

Outro livro mencionado no mesmo momento foi o Soccernomics, que vai na mesma linha de análise de dados, agora no futebol.

Soccernomics, Freakonimics de soccer. Duhn, óbvio.

O nome é uma referência a outro ótimo livro, que expõe contudentemente o valor que uma análise calcada em fatos pode ter, o Freakonomics. Esse eu li, e adorei.

O palestrante, então, monta o painel, chamando os outros três participantes, e começam a bater-papo sobre o assunto.

Acho que deixaram o mais legal para o final.

Sabia que existe uma empresa que registra todas as estatísticas de ações de jogadores em campo? Sabia que existem empresas de Data Mining que analisam esses dados e traçam perfis e estratégias? Meu, é um mundo de coisas que são feitas com BI nos esportes em geral – e no futebol, especificamente – que você nem imagina!

A conclusão desse painel, para mim, foi o ponto mais alto de um lance que já estava lambendo a estratosfera de coisas legais: a Paula Baeta, da Analysis, pegou os dados coletados pela Footstats, do Romanini, e montou um modelo explicativo (não preditivo) para identificar que variáveis explicam a classificação de cada time na última temporada. (Não me peçam detalhes – assistam ao vídeo!)

Daí ela pegou esse modelo e saiu trocando os valores de cada métrica (eram 6: uma positiva, e 5 negativos) entre os times. Por exemplo, ela pegava a quantidade de cartões amarelos do melhor time e colocou no pior, para ver se, de acordo com o modelo, algo teria sido diferente. Ela fez isso umas três vezes, com três times. Muito legal! Se você gosta de futebol, assista, vai se divertir!

Conclusão

O mercado de BI martela “ferramenta” nas nossas orelhas o tempo todo. Todo mundo quer ferramenta.

Quando uma empresa que está no mercado há quarenta anos, que cresce anualmente sempre na faixa dos dois dígitos, vem a público contar as suas histórias, pode ter certeza que vamos ter uma chance de aprender coisas novas. Descartada a parte comercial, que está ali para vender o produto, a parte de negócio, mesmo pequena ainda é extremamente valiosa.

Tocar uma bola redonda, com BI, é usar os dados para impactar a lucratividade de uma organização. Assista ao vídeo, ouça a mensagem e aprenda com essas idéias. Deixe a bola quadrada para a competição selvagem do mercado de software, e abra-se para o imenso mercado, de grandes valores, que existe para quem conseguir tocar uma bola redonda no gramado do BI.

É isso. Até a semana que vem. ;-)

 

Pentaho Day 2017 – BI E.V.A.

Neste exato momento estou assistindo a uma palestra do Pentaho Day 2017, ao qual eu tive a honra de ser convidado como palestrante. Minha palestra foi ontem, dia 11/5/17, e chamava-se BI E.V.A. – Enxuto, Valioso, Ágil. Ela teve uma recepção muito boa, acima do que eu esperava, e estou muito feliz de ter podido proporcionar aos participantes algo que eles tenham gostado.

Neste link você pode baixar um PDF das notas, que traz os slides e todos os comentários que eu “fiz”.

BI E.V.A.

O clipe do começo pode ser assistido neste link, para o Youtube. É o videoclipe Houdini, do Foster The People.

Foster The People – Houdini.

Eu estava salvando minhas (poucas) idéias para o Pentaho Day 2017. Agora que passou, voltarei a postar com mais frequência, focando justamente os temas de valor, agilidade e lean em BI.

É bom estar de volta. :-)