Novo Plugin Pentaho BA Server: Self Service BI

Semana passada, precisamente dia 21 de janeiro de 2016, meu grande amigo Gerson Tessler me ligou. “Cara”, ele veio falando, “você viu o plugin de self-service BI da SPEC INDIA?”

Eu tinha visto os dois até, para ser sincero, mas ainda não havia testado nenhum:

Os dois plugins da SPEC INDIA no Marketplace.
Os dois plugins da SPEC INDIA no Marketplace.

“Instala e me liga!” Ok, Gerson, fica frio, eu vou instalar. Que agitação, só um plugin…

Uau.

A primeira coisa que nós pensamos foi “deve ter uma licença limitada, que expira e depois precisa pagar para continuar usando”, ou então que tinha alguma pegadinha. Não era razoável supor que fosse gratuito, na boa, sem “letras miúdas” na licença.

O Self Service BI Plugin, da SPEC INDIA, é um editor de dashboards para o BA Server que imita o Dashboard Designer da versão enterprise do Pentaho. Sua qualidade mais notável é dispensar (quase) completamente qualquer tipo de conhecimento baixo nível para começar a usá-lo. Por exemplo, eu levei menos de 20 minutos entre instalar o plugin, fuçar um pouco e criar esse painel:

Meu primeiro painel com o plugin: facilidade análoga à versão enterprise.
Meu primeiro painel com o plugin: facilidade análoga à versão enterprise.

Em resumo:

  • Crie consultas OLAP com o Saiku, e salve-as;
  • Crie um novo pinboard acessando o novo menu Self Service BI. Pinboard é a gíria da SPEC INDIA para dashboards;
  • Usando a engrenagem no canto esquerdo superior do novo pinboard, defina o layout dos quadros do painel;
  • Em cada painel clique no ícone de lápis e selecione as consultas Saiku. Escolha o tipo de gráfico e salve;
  • Depois… mais nada, era só isso mesmo.

O resultado é um painel estático, mas mesmo assim, para quem, como eu, ainda não é fera em CSS e HTML, é um feito e tanto! E o plugin oferece muito mais recursos que só isso: prompts, gráficos independentes, parâmetros, consultas SQL etc. etc. Você também pode criar um pin individual e salvá-lo, para reaproveitar em outros pinboards. Na boa, é um avanço e tanto para a comunidade de usuários do Pentaho! É injusto comparar o trabalho deles com outros da comunidade, até porque o deles só foi possível graças aos esforços de muitos outros grandes personagens da comunidade, mas com certeza a SPEC INDIA estabeleceu um novo marco na história do Pentaho. É uma boa notícia saber que eles são parceiros da Pentaho!

Mas nem tudo são rosas – ou eram. O Gerson me procurara não só para mostrar como esse plugin era legal, mas também porque estava dando pau: os pinboards salvos não estavam abrindo. Conseguíamos criar um novo painel, configurá-lo bonitinho, mas ao gravá-lo algo acontecia e não dava mais para abrir o painel nem para editar, nem para rodar. Bug chaaato…

Bom, eu fiz o que qualquer cara sem noção faria: acessei o site deles, achei o botão “contact us” e mandei um e-mail, perguntando educadamente como eu poderia conseguir suporte. A resposta foi tri-bacana:

Ketul Sheth é um cara de ação.
Ketul Sheth é um cara de ação.

Sendo um sujeito dolorosamente franco, eu expliquei à ele que não daria para fazermos negócio:

A voz da verdade nunca fez caridade. Grande Barão Vermelho!
A voz da verdade nunca fez caridade. Grande Barão Vermelho!

E não é que o Ketul é mesmo um homem de ação?

Ele sugeriu um WebEx dia 25, que eu recusei porque era feriado em São Paulo, e sugeri o dia seguinte, 26/jan. Não deu: era feriado na Índia (Dia da República Indiana!) Acabou ficando para quarta-feira, 28 de janeiro, 8H30min em São Paulo, 16H30min na Índia.

Montamos o WebEx e a primeira pergunta que eu fiz, depois de agradecer profusamente, foi: porquê? Por quê criaram esse plugin? Uso interno? Vão vender?


“Nós vimos que, das opções livres atualmente à disposição, nenhuma era tão fácil de usar quanto o Dashboard Designer (enterprise), e resolvemos contribuir com a comunidade oferecendo esse plugin.”


:-O

Eles vão usar o plugin para entregar os próprios projetos e tal, o Ketul falou, mas a meta é mesmo entregar um novo plugin para a comunidade Pentaho.

Passado o choque, caímos no trabalho. Compartilhei minha tela com eles que – A MEIO MUNDO DE DISTÂNCIA, DA ÍNDIA – assumiram o controle e fizeram alguns testes. Ao final, salvaram um pinboard, que eu exportei do BA Server e mandei por e-mail para eles. Isso foi quarta-feira de manhã. Ontem, quinta-feira dia 28/01/2015, antes do meio-dia aqui no Brasil (quase 20H00min na Índia), veio este e-mail:

Hey, man! All done, man! Try it again!
Hey, man! All done, man! Try it again!

Arre égua! Duplo arre égua! Subimos o servidor novamente, atualizamos o plugin diretamente no Marketplace, rebootamos o BA Server e voi-là! Funcionou!

3.1 E Agora?

Eu sugeriria, a vocês que apreciaram o esforço deles, que instalem e testem esse plugin no seu BA Server. Se não pela curiosidade, então para não deixar de conhecer um excelente produto. Lembrem-se apenas que é uma das primeiras versões, e novos bugs ou problemas podem aparecer.

Se tudo der certo, por favor, visitem a página da SPEC INDIA e deixem-lhes uma notinha de incentivo, ou comentário de agradecimento ou pura e simplesmente um breve reconhecimento do trabalho deles. Se você não sabe inglês, não se grile: escreva em português mesmo e cole este link no começo da sua resposta https://bit.ly/1Trd9hM. É um post em inglês, aqui no blog, explicando que eles receberam uma nota de gratidão de alguém da comunidade brasileira de Pentaho.

Aqui tem dois vídeos para ajudá-los a testar o plugin:

Guys, keep the excelente job! We own you one! :-D

Thank You!

This is a special post for Mrs. Ketul Sheth and Brijesh Shah, Pentaho Comunity Heroes:


Dears Mr. Sheth and Mr. Shah, thank you very much for helping us, the Pentaho Comunity in general, and the Brazillian Pentaho Comunity in particular, with the fantastic Self-Service BI Plugin, published by SPEC INDIA.


You’ve been linked here because the person who posted this link to you does not speak English but wanted to let you know he/she is thankfull.

As for myself, Fábio, it was a pleasure talking to you too. Keep up the good job!

Best Regards,

Brazillian Pentaho Comunity
https://br.groups.yahoo.com/group/pentahobr

O Futuro do BI

O post da semana passada, Analítico ou Operacional?, nasceu de uma pergunta feita por um aluno meu, em uma de minhas turmas de BI com Pentaho pela 4Linux. Ele me perguntou “qual é sua opinião sobre o futuro do BI?”


A propósito: eu não me lembro quem perguntou isso. Se você, meu precioso pupilo, estiver lendo estas mal-traçadas, por favor identifique-se por meio de um comentário. Te devo no mínimo um grande obrigado e, no máximo, um café – lamento, é a crise. :-)


“Boa pergunta”, respondi eu, já que é a resposta-padrão de qualquer professor quando não sabe o que responder. ;-)

Eu nunca havia parado para ponderar sobre o caminho da indústria de BI, e para onde ele estava nos levando. Até aquele momento eu via o mercado de BI daqui há cinco anos exatamente como o vejo hoje, uma bruta confusão de produto, ferramenta, conceito, necessidade… Uma babel, praticamente, e sem mudanças à vista.

Aquela pergunta catalisou o entendimento dessa confusão. Aquele momento de revelação culminou, justamente, no post Analítico ou Operacional?.

E qual foi a resposta que eu dei ao meu aluno?

Quando uma empresa aborda “BI”, automaticamente ela se envolve com um espaço de produtos e serviços. Atualmente, esse espaço está dividido, grosseiramente, em ferramentas de DW (ETL, ferramentas de análises de dados (OLAP, relatórios e Data Mining) e ferramentas de apresentação de dados (Data Dicovery.)

Costumeiramente, projetos de BI são direcionados ou pela necessidade de visualização/análise de dados, que é o BI do dia-a-dia, ou para Data Mining, restrito a um time de especialistas.

Ocorre que, como colocado no post anterior, esse BI do dia-a-dia está cada vez mais voltado para análises ou visualizações de dados operacionais, e cada vez menos preocupado com o histórico dos dados. Isso não quer dizer que existe cada vez menos profissionais preocupados em analisar a empresa para direcionar suas estratégias, mas sim que há cada vez mais gente nas empresas querendo acesso aos dados, em geral correntes. Uma tendência perfeitamente compreensiva e saudável – boa, até. Ela mostra que a importância de entender e analisar dados em uma organização está crescendo, que está aumentando o reconhecimento do valor das iniciativas de BI.

Eu já vi esse momento de confusão em vários mercados e situações. Quer um exemplo recente? iPod. Tudo começou com o os tocadores portáteis de áudio, lançados por volta de 1998. Durante um tempo a indústria fonográfica e a tecnológica se estranharam, até que Steve Jobs resolveu o imbróglio do faturamento com música digital lançando o iPod/iTunes.

Meu aluno queria saber se BI era um bom mercado de trabalho, se estava crescendo ou o quê.

Minha conclusão, minha resposta ao meu aluno, foi a seguinte:


Inteligência de Negócios é um aliado indispensável de qualquer empresa ou organização que lide com um volume de dados acima de um certo tanto. Não é uma escolha, é uma necessidade imperiosa dispor de capacidade de BI na empresa. E é assim pela simples natureza do mundo corrente, nada mais. A década de 2000 abrigou a popularização de BI. A década atual, 2010, é a primeira em que BI é visto como uma coisa natural, não mais como uma novidade. Logo, minha primeira conclusão é que o mercado de Business Intelligence vai continuar firme, forte e em expansão por algum tempo ainda.

Não sei como a concorrência profissional está evoluindo, mas profissionais de BI sempre foram “moscas brancas”, e acredito que ainda será assim por um tempo. Se você deseja ingressar nesse mercado, ele ainda me parece promissor.


Foi neste ponto que eu entendi a separação estratégico-operacional evoluindo em BI. Eu segui adiante e complementei a resposta:


Em segundo lugar, o mercado atual de Inteligência de Negócios está passando por uma transformação. Há algum tempo vem crescendo um nicho de exploração de dados vivos, buscados diretamente das fontes, sem passar por um DW.

Essa necessidade é atendida, hoje, pelos mesmos profissionais que vieram de Business Intelligence. Provavelmente, a especialização cada vez maior desse conjunto “profissional + ferramenta” vai acabar forçando o reconhecimento de um novo paradigma, o paradigma da exploração e visualização de dados operacionais.

Na minha opinião, BI vai se abrir em dois outros ramos: um setor voltado para consumo de dados operacionais, vivos, por meio de ferramentas conhecidas hoje por Data Discovery, e outro, formado pelo que hoje percebe-se como “BI clássico”. Como o conjunto de habilidades para BI é diferente das de OI, imagino que um novo mercado profissional vá florescer.

Provavelmente teremos, em breve, dois tipos de especialistas de dados: o cara voltado para OI, dominando um pouco de muitas tecnologias, e o sujeito de BI que, como é hoje, terá um conhecimento mais profundo sobre uma gama mais estreita de tecnologias. Por exemplo, o DD-man precisa manjar de bancos de dados, ferramentas de exploração, tratamento de qualidade de dados, dashboards, atendimento a cliente etc. etc. etc. – e tudo junto. O BI-people, por outro lado, seguirá sendo como é hoje: um domina DW, outro é Analista de Data Mining, vai ter o sujeito do balcão, para entender a demanda do cliente e levá-la para o desenvolvimento, a equipe de ETL, um especialista em performance/altos volumes de dados, e assim por diante.


Acredito que existem dois mercados sobrepostos no mesmo nome. Um de ferramentas voltadas para aquela insaciável sede de “ver” os dados, e outro voltado à sede de conhecimento do negócio, não dos dados explicitamente. Eu sempre afirmo que BI é muito mais que ferramentas e dados. Inteligência de Negócios cria valor ao alimentar de conhecimento as mentes dos estrategistas da organização, na minha visão.

A turma em questão ocorreu em Agosto de 2015, mais de seis meses atrás. Quanto mais eu pensava sobre isso, mais sentido fazia e hoje eu vejo a evolução do DD como uma tendência irreversível. Nem imagino como essa “pressão” vai reformatar o mercado de análises de dados, mas estou convencido que existe um sub-mercado crescendo por aí, e que isso vai ter impacto não apenas na forma como acessamos os dados dentro de uma organização, mas também no perfil do profissional que atuará nesse segmento. E, a reboque, no mercado de treinamentos.

E aí, hein? Como será esse profissional? Quem vai treiná-lo? Em que tecnologias?

Quem viver verá. ;-)


Tudo que eu coloquei aqui nasceu em uma conversa informal e até hoje eu não parei para procurar pesquisa que confirme a minha opinião. É só a minha percepção, mais nada. Logo, por favor, não vá mostrar isso à alguém dizendo que é um fato escrito em pedra, beleza? ;-)


Analítico ou Operacional?

Quem acompanha o blog sabe que eu tenho uma divergência conceitual com partes do mercado de ferramentas de BI. Em geral eu questiono a idéia de analisar dados operacionais. Mais especificamente, eu venho cutucando o conceito de Data Discovery.

Acredito que finalmente entendi a confusão e vou dividir com vocês a minha opinião. Como sempre, vale o disclaimer: é a minha opinião, logo você não é obrigado a gostar dela ou concordar. Terei prazer em ouvir críticas ou outras opiniões, mas no final – como diz o Homer Simpson – a opinião é minha e faço com ela o que quiser, certo?

Fundamentação

Primeiro vamos estabelecer o terreno no qual eu colocarei meu argumento. Esse “terreno” é o uso que BI tem para uma empresa, uma organização. Como eu sempre digo, a definição de BI varia selvagemente e que o único consenso é que não há consenso sobre o que é BI. Porém, todas as técnicas e ferramentas da indústria de BI compartilham mais ou menos o mesmo discurso, a mesma promessa de valor: analisar os dados da organização para melhorar seu desempenho. Esse, então, é o chão do meu argumento:


BI trata de gerar valor a partir dos dados de uma organização.


Se concordarmos com isso – e você não é obrigado a concordar, lembre-se – então a próxima questão é “como isso acontece?” Olhemos para o mundo real: em que situações ter conhecimento dos dados gera valor para a empresa?

Empresas como uma Net ou uma Americanas.com vendem algo. A Net vende serviços e a Americanas.com é uma loja de comércio eletrônico. Algo em comum a ambas é o processo de reclamações: sempre que um dos clientes dessas empresas tem um problema, esse cliente aciona a empresa e registra uma demanda. Essa demanda é tratada, indo e voltando dentro da empresa, até que ser resolvida.

Uma forma de os dados nestas organizações serem usados para gerar valor é responder perguntas da gerência desse departamento. Por exemplo:

  • Quantas demandas temos em aberto, agora?
  • Que porcentagem dessas são urgentes?
  • Qual é o tempo médio de resolução de demandas?
  • Quais são as dez (ou vinte ou quantas você quiser) demandas mais antigas?

E assim por diante.

Outra maneira gerar valor para a empresa com esses dados é responder a estas perguntas:

  • O número de demandas em aberto está aumentando ao longo do tempo?
  • Como está variando a porcentagem de demandas urgentes em relação ao total, ao longo do tempo?
  • A “idade” das nossas demandas tem aumentado ou diminuído?

Uma Coisa é Uma Coisa, Outra Coisa é Outra Coisa!

O primeiro grupo de perguntas gera valor para a empresa porque está dando pistas sobre que ações tomar a seguir:

  • Quantas demandas temos em aberto, agora? Se sabemos qual é nossa capacidade de atendimento, sabemos imediatamente se estamos enrascados;
  • Que porcentagem dessas são urgentes? Caso haja um número excessivo de demandas urgentes, as urgentes delongam o atendimento das normais, que viram atrasadas e depois urgentes, gerando um círculo vicioso até o caos total;
  • Qual é o tempo médio de resolução de demandas? Se estiver fora da meta, precisamos nos mexer para voltar a ela;
  • Quais são as dez (ou vinte ou quantas você quiser) demandas mais antigas? Traduzindo: quem precisamos resolver antes?

As perguntas deste tipo estão voltadas para o aqui e agora. Elas são instrumentos para ações operacionais, ações que cuidam do dia-a-dia da empresa. Mesmo assim, essas perguntas dependem de um conjunto maior de conhecimentos para poder ajudar de verdade. Quer um exemplo?

  • Quantas demandas temos em aberto, agora? Inútil saber isso se não sabemos qual é nossa capacidade;
  • Que porcentagem dessas são urgentes? Em que ponto temos demandas urgentes em excesso?
  • Qual é o tempo médio de resolução de demandas? Qual é a meta?
  • Quais são as dez (ou vinte ou quantas você quiser) demandas mais antigas? Precisamos resolver antes quem está aberto há mais tempo ou quem tem um valor maior envolvido? Ou combinação desses dois parâmetros e mais alguns outros?

Enfim, tomar decisões operacionais a partir dos dados do momento dependem de conhecimento sobre o negócio. Os dados, por si só, não trazem esse conhecimento.

Já o segundo grupo está olhando o negócio ao longo do tempo, para ajudar a decidir que rumo tomar. São perguntas que refletem um anseio de melhorar a gestão, de evitar riscos e ter mais segurança nas ações. Cada pergunta daquelas nasceu de uma vontade de evitar problemas e melhorar o rendimento (fazer mais gastando menos) da empresa. Veja:

  • O número de demandas em aberto está aumentando ao longo do tempo? Traduzindo: se tudo está bem e estamos atendendo bem ao nosso cliente, então o número de demandas abertas deve estar caindo de um período (semana, mês etc.) para outro. Está? Se a quantidade de demandas está aumentando ao longo do tempo, o que está causando esse aumento?
  • Como está variando a porcentagem de demandas urgentes em relação ao total, ao longo do tempo? Tradução: nossa equipe, processos e ferramentas estão adequados para nossa realidade? Em que ponto perderemos o controle?
  • O gerente perguntou “A ‘idade’ das nossas demandas tem aumentado ou diminuído?” mas ele queria ter perguntado “Nossos clientes nos vêem como eficazes?”, ou talvez “Vamos perder algum cliente por atrito com o atendimento”?

Acredito que, a esta altura, meu argumento se auto-evidenciou:


Existem duas demandas distintas por análises de dados dentro uma organização: operacional e estratégico.


E Daí?

O berro que eu acredito ter ouvido de vocês é “descobriu a América, tontão! Todo mundo sabe disso!”

É mesmo?

Se todo mundo sabe que existem duas demandas distintas por dados, então porque é que ambas são chamadas pelo mesmo nome?

Toda e qualquer análise de dados, de qualquer tipo, em qualquer situação, tem respondindo por apenas um nome nestes últimos 20, 30 anos: Inteligência de Negócios.

Bom, se João é Pedro, então tanto faz chamá-lo de Pedro ou João. Agora, se João é diferente de Pedro, então João não é Pedro e por isso não podemos chamar João e Pedro pelo mesmo nome.

Deixe-me traduzir: eu não posso usar o mesmo nome para duas coisas distintas, ou não seriam distintas!

Admito que isso acontece em muitas situações na nossa vida, mas vocês hão de convir que, quando isso acontece, em geral sabemos que temos mais de um significado em jogo, e também sabemos a qual destes significados estamos nos referindo. Tem um exemplo no seu bolso, ou em cima da sua mesa: olhe ali, seu celular.

Não sacou?

Oras, celular é o que o seu avô usava. O nome correto destes novos aparelhos de telefonia móvel é smartphone! Chamamos tudo de celular porque é mais fácil, todo mundo entende e, bom, quem ainda usa um celular das antigas? E que diferença faria usar o nome certo? Os antigos aparelhos estão sumindo…


Eu estudei piano por um tempo e, apesar de ter um em casa, meu acabou me presenteando com um teclado da Casio. Chamei meus amigos (músicos, boa parte deles) para mostrar a novidade e tasquei: “olha só, o orgão que meu pai me trouxe!” Meu amigos caíram na gargalhada e eu, goiaba que só, não entendi nada. “Cara”, um deles falou, “orgão é seu *****, isso aí é um teclado eletrônico!!!”


Voltando à vaca fria, ao considerar que duas coisas distintas são a mesma, quando não são, estamos abrindo a porta para uma confusão danada. Essa confusão tem causado consequências problemáticas, que nem sempre são claras.

E, olha só!, produtos que se auto-categorizam como “de Data Discovery” são voltados precisamente para o exame de dados operacionais. Se não, vejamos:

  • Prometem acessar o dado diretamente nos sistemas de origem;
  • Prometem dispensar um DW, descartando com isso o exame de dados ao longo do tempo;
  • Oferecem uma vasta gama de opções de visualização de dados;
  • Focam em “velocidade de análise”.

Conclusão

Toda empresa depende de uma série de projetos de TI (e Negócios) para se manter viva. Projetos como ERP, BPMS e BI são o feijão-com-arroz para qualquer organização no século XXI, e o sucesso da execução destes e de vários outros projetos tem um impacto direto na saúde da organização.

Basta olharmos para a propaganda de empresas do espaço de Data Discovery para notar que seus produtos são voltados a atender necessidades de acesso e manuseio de dados operacionais. Percebemos que são projetos de TI distintos ao compararmos alguns aspectos entre produtos de Data Discovery e de BI:

Aspecto Estratégico Operacional
Ciclo de vida dos dados Histórico Vivos, quase tempo-real
Origem dos dados Armazém de Dados Sistema de origem
Velocidade de manuseio dos dados Não é crítica Crítica
Funcionalidade mais importante Data Mining Formas de visualizar os dados

É perigoso, se não cabalmente daninho para uma empresa, adotar como solução de um problema o produto adequado a outro. Você teria coragem de assinar a compra de um ERP para montar uma solução de workflow? Não, né? E olhe que há uma semelhança razoável entre ERP e BPMS para nos tentar a usar só o ERP para as duas coisas!

Solucionar as necessidades de dados operacionais com um projeto de BI é contraproducente:

  • Sai mais caro, já que embute pelo menos um projeto extra, o de DW
  • Frustra os usuários:
    • Se vêem forçados a usar ferramentas inadequadas à sua necessidade;
    • São obrigado a viver em um ciclo de projeto mais longo do que o necessário, pois embute a revisão do DW quando uma simples mudança na camada de apresentação já teria sido suficiente.

Da mesma fora é danoso à empresa adotar ferramentas de DD para necessidades de BI: descartar o histórico dos dados compromete as análises de causa e efeito, anulando a capacidade de compreensão e planejamento.


É uma sutileza, mas o usuário de BI também se frustra com ferramentas para manuseio de dados operacionais, pois as ferramentas voltadas para análises operacionais não são o mesmo que ferramentas OLAP.


Se temos duas necessidades claramente distintas, com público-alvo, premissas e técnicas diferentes uma da outra, e uma delas chama-se BI, a outra não pode ser BI. Por falta de um nome melhor, chamerei o não-BI de Inteligência Operacional, OI.

Não gostei muito de OI, mas a alternativa me soa ainda pior: Não é BI!
Não gostei muito de OI, mas a alternativa me soa ainda pior: Não é BI!

Ter claro em mente que existem demandas distintas é fundamental para atender ambas corretamente. Mesmo que compartilhem algo, como máquinas e alguns tipos de software, a simples diferença de público-alvo já justifica um atendimento em separado – no mínimo com relação aos dados que cada projeto usa. O preço de atender cada projeto com a solução errada vai de um mero desconforto entre os usuários a consequências severas para a organização.

Até a próxima! ;-)