Novo Livro: Pentaho na Prática

Nas listas de discussão sempre aparecem novatos perdidos, sem saber por onde começar e invariavelmente nos primeiros posts diz:

Alguém aí tem um livro, ou um tutorial, em português, para indicar?

Bom, finalmente a resposta vai ser sim! Agora existe um livro em português que ensina o Pentaho passo-a-passo!

Foi lançado hoje, dia 20/04/13, no evento Pentaho Day em Fortaleza, o livro Pentaho na Prática, o primeiro livro sobre Pentaho em português na Amazon.com.br (e em todas as outras, aliás:)

http://www.amazon.com.br/Pentaho-na-Prática-ebook/dp/B00CEQFDU0

O Livro

É uma edição Kindle, sem previsão de lançamento em papel, com 12 capítulos e vários apêndices, dedicados a ajudar o leitor a executar um projeto de BI com Pentaho de ponta-a-ponta. Ele inclui da configuração dos programas a dashboards, passando por ETL, relatórios, OLAP, metamodelos etc.

Os três autores ministraram cursos de Pentaho muitas e muitas vezes, e dão plantão no fórum nacional e internacional de Pentaho há anos. Por isso decidimos por uma abordagem que ajudasse o profissional autodidata, que tem disposição para investir no estudo da plataforma. Por isso, ao invés de documentar as principais funcionalidades da plataforma com exemplos, como é feito no grande e pioneiro Pentaho Solutions, decidimos seguir uma trilha de raciocínio, que mostra como atender as necessidades de BI de uma empresa típica, de ponta-a-ponta.

No livro você será apresentado a uma empresa fictícia que precisa ter acesso aos dados de seu sistema transacional para poder alavancar todo seu processo de decisões. A partir dessa premissa vamos mostrar como:

  • Montar rapidamente um protótipo para validação da necessidade;
  • Desenhar um Data Warehouse simples, com…
  • …o passo-a-passo para implementar um processo de ETL;
  • Entregar relatórios pré-fabricados, adhoc e cubos OLAP;
  • E montar um dashboard com CDE.

Isso tudo com instruções detalhadas e testadas, em etapas ricamente ilustradas (eu sempre quis dizer isso :-) .)

O que é isso, Companheiro?

O livro mostra como fazer muita coisa, mas para isso precisa de muita coisa também. Precisa de scripts, bases de dados de exemplos, instalação e configuração de programas acessórios como Java e Postgres etc. Daria para encher outro livro só com os assuntos paralelos.

Para melhorar a experiência de nosso leitor, criamos um site companheiro (do inglês companion site) que já vai trazer o máximo possível de coisas prontas.

No Prelo

Este é um trabalho em finalização, que foi lançado sem todos os capítulos para aproveitar o Pentaho Day que rolou hoje. Quem comprar um exemplar do PnP de hoje até a data de disponibilização da edição completa, 01/07/13, vai receber a atualização sem nenhum custo extra.

Até lá, quem tiver curiosidade de saber como o livro é, pode baixar esta versão de degustação do capítulo 3. A versão final deste capítulo terá ainda o passo-a-passo para traduzir o BI Server, configurar logs e mais algumas coisas.

Dream Team

Esse livro é filho de Fábio de Salles, este que vos fala, de Caio Moreno de Souza, nosso querido Prof. Coruja, e Cesar Domingos, um grande amigo, que eu conheci quando ele ainda trabalhava na IBM do Software Livre, a 4Linux. São dois caras bacanas, gente finíssima e que já quebraram muita pedra com o Pentaho.

Depois de algum tempo ministrando o curso de BI com Pentaho que eu havia criado para a 4Linux, eu pensei em escrever um livro – afinal, já tinha plantado uma árvore e estava no segundo filho. Na verdade, eu já não me lembro mais, mas eu acredito que a idéia do livro veio mesmo foi do Cesar.

O fato é que eu discuti a idéia com ele, que me deu o incentivo fundamental para eu criar coragem de começar o livro. Imagine, justo eu que sabia tão pouco, escrever um livro com coisas óbvias… No final das contas ele me apresentou a uma editora, que já havia publicado livros seus. Eu não conhecia nada desse mercado, e ainda me sentia inseguro. Eu não queria estar sozinho e decidi convidar o Cesar, que sempre foi um cara inteligente e legal, para ser co-autor. Não apenas ele já tinha livros publicados, mas ele sabia coisas de Pentaho que eu não entendia muito bem, como a configuração do Tomcat e do Apache, além de uma renca de outras coisas que no final das contas fazia com que ele visse o Pentaho com olhos bem diferentes dos meus.

Fomos quicando com a editora, tentando negociar algum contrato, até que um dia eu percebi que o Caio precisava fazer parte do projeto. Eu estava coletando material e organizando os capítulos e vi que uma parcela importante do que eu pretendia colocar no papel tinha sido criada, organizada e publicada pelo Caio. Tradução, dashboards, configurações, dicas, macetes etc. etc. etc. O Caio já era parte do livro, de um jeito ou de outro. E trabalhar com ele, quem já trabalhou, sabe, é empolgante. Eu não tive dúvidas: conversei como Cesar e topamos convidar o Caio para se juntar a nós.

Mais do que uma marca na minha vida profissional, mais que uma realização pessoal, trabalhar no livro precisava ser, acima de tudo, uma coisa divertida, motivadora, empolgante, e o Caio e o Cesar eram a parte que faltava. Não esperamos ganhar dinheiro com o livro – afinal, vivemos no Brasil – mas uma coisa nós buscamos e já conseguimos: estamos nos divertindo horrores!! :-)

Espero que vocês gostem. ;-)

Adendo

Estamos desativando o plugin que bloqueava o site companheiro antes do lançamento. Até vocês podem acessar os scripts nestes links:

BI em Tempo Real

Eu li um post sobre o perigo de se usar informações de sistemas transacionais para estabelecer a estratégia da organização, e achei muito legal. Inspirado por ele, e por sua coragem em chamar essa atitude de BD – Business Dumbness, hehe – eu resolvi compartilhar aqui minha opinião sobre outra dessas variações, na minha opinião, perigosas.

O que é Inteligência de Negócio? (De novo, não!!)

Definir BI é o mesmo que definir Deus: cada um tem a sua definição particular, pessoal e intransferível. Ocasionalmente, algumas pessoas concordam sobre entre si, mas é apenas uma coincidência – a quantidade de conceitos e definições é vasta, se não infinita. Um desses conceitos do mundo de BI é “Tempo Real,” que é “o BI feito em tempo real”, enquanto tudo está acontecendo. De cara: na minha cartilha, isso não existe.

Primeiro: a expressão “o BI feito em tempo real” carece de significado.

Como assim “BI feito”?? Inteligência de Negócio é uma disciplina de administração, não um tipo de BIscoito! Vamos postular que quem diz isso pretendia dizer algo como “são os relatórios e análises feitas sobre dados que estão entrando no DW em tempo real.” Já soa mais inteligível e possui algum significado.

Segundo: o que é que você conclui do lançamento de uma moeda?

Vou colocar de outra forma: você quer descobrir qual é a chance de, quando se joga uma moeda para cima e a deixamos cair no chão, a face da cara estar para cima. Beleza? Esse é o seu problema de negócio: estimar quando vai sair cara no lançamento de uma moeda. Volte à pergunta: que conclusão você chega se analisar o último lançamento, apenas? E os dois últimos? A partir de quantos lançamentos você pode ter segurança para afirmar que cara e coroa saem com a mesma proporção em lançamentos de moedas normais?

Não sei se ficou clara a questão: não se obtém nenhum ou quase nenhum conhecimento sobre o negócio analisando-se os dados que estão entrando agora, neste momento, enquanto as coisas estão acontecendo. Para entender o negócio você precisa de histórico, precisa ter passado pelos acontecimentos que afetam seu negócio. Não há praticamente nenhuma informação a ser tirada das vendas do último segundo, do último minuto, hora, dia. Eu não tenho uma prova matemática, mas você deve concordar comigo que essa é uma possibilidade razoável.

Case: Venda de Jogos de Celular

Em uma das turmas de Pentaho que eu ministrei na 4Linux eu tive um aluno de uma empresa que desenvolve jogos para celular. Seus jogos são vendidos online, num modelo comercial comum o bastante hoje em dia para dispensar uma explicação aqui.

Esse aluno colocou exatamente essa questão: ele disse que sua empresa precisava de BI Real Time (coincidência: BI RT) porque eles precisavam saber o que estava acontecendo para poder aproveitar as oportunidades. Oportunidades como oferecer um desconto-relâmpago em um jogo que está começando a gerar um volume de vendas razoável, e precipitar mais vendas ao baixar o preço.

Minha resposta foi: e como é que você sabe quando agir? Ele, o meu aluno, só conseguiria descobrir que uma oportunidade apareceu se ele conhecer o padrão de uma oportunidade. Sem entender o que os dados significam, ele continua sem saber nada! Para que ele possa montar uma monitoração em tempo real (o que não é só fazer um relatório) e com ela buscar sinais de oportunidades surgentes, ele precisa primeiro entender o que é uma oportunidade e como ela se manifesta. Ou seja, ele precisa rodar um projeto de Data Mining sobre uma base histórica e descobrir o padrão a ser buscado.

Conclusão

Como diria o padre Quevedo, “BI em tempo real non ecsiste!” Claro, essa é a minha opinião. Pode ser que amanhã eu perceba que estava errado sobre BI RT e tenha que rever esse post, mas até onde eu consigo ver, não há muita informação a ser extraída da análise em tempo real (ainda mais porque depois de um dia a informação ficou mais precisa e já não é mais tempo real.)

Até esse dia chegar, eu continuo acreditando que informação sobre o negócio depende de possuir dados analisáveis, e isso só se obtém acumulando histórico em um DW.

Monitorar o sistema transacional em tempo real, buscando micro-eventos que denotem oportunidades instantâneas é uma grande e poderosa idéia. Saber o que buscar, porém, não há como ser feito em tempo real, por definição.

É isso.

Treinamento SpagoBI 4Linux

O treinamento acabou semana passada, mas eu só tive tempo de retomar esse post (que começou com o treinamento) agora.

Muitas coisas novas e principalmente uma nova visão do SpagoBI.

What is in a name?

Antes de mais nada, o nome: spago é italiano para cordão, barbante, e é a metáfora usada pela Engineering para o conceito de integração de software livre para criação de soluções complexas. Mais ou menos a mesma coisa que eu prego neste post do meu outro blog, Solução em Aberto. Vem daí, eu acredito, a palavra que descreve o macarrão fino e comprido – spagetti.

Logo, SpagoBI não tenta evocar a Itália com a estilização de uma palavra famosa mundialmente (era o que eu pensava), mas sim especificar a parte da visão de integração da Engineering para BI!

Acredite se quiser, isso simplificou muito a compreensão do SpagoBI.

O que é o SpagoBI?

SpagoBI é uma plataforma de integração de componentes, que reúne componentes externos mas também traz componentes criados pela equipe da SpagoBI, como GIS e Real Time BI.

Do começo: ele não é uma suite de BI nos mesmos moldes do Pentaho. Ele é uma ferramenta de construção de soluções de visualização de dados, voltada para facilidade de integração. Ele não inclui, por exemplo, uma ferramenta de ETL. Para quaisquer necessidades de ETL, a Engineering recomenda o uso do Talend. Entre outras coisas (como um relacionamento comercial significativo na Itália), o SpagoBI Server possui a capacidade de rodar jobs Talend. Como disse o Andreas, SpagoBI é ETL-agnostic.

Todas as suas funcionalidades são pensadas para ajudar o provedor de serviços e soluções (que pode ser um integrador ou um departamento da sua empresa) a criar a funcionalidade de visualização de dados que você precisa.

Como funciona?

Grosso modo, o SpagoBI amarra um metamodelo – criado com o SpagoStudio – a um recurso chamado Analytical Driver e disponibiliza relatórios e ferramentas de relatórios ad-hoc via web, com controle de acesso por usuário e papel.

O metamodelo é um mapeamento da camada física de um banco de dados em uma camada lógica, de apresentação, e é feito no SpagoStudio, um Eclipse especialista. O metamodelo absorve toda complexidade do relacionamento entre os dados, simplificando a criação de relatório e integrando-se completamente ao Analytical Drivers.

Analytical Drive é a combinação de papéis com filtros de exibição. O desenvolvedor deve criar os ADs que atendem a comunidade de usuários da empresa e associá-los a cada recurso disponibilizado (relatório, gráfico etc.) Boa parte do curso foi dedicado a explorar a flexibilidade e o poder desse recurso.

A maioria dos relatórios pode ser criada com a ferramenta de relatórios ad-hoc via web do SpagoBI, que é muito boa e tem capacidade de criar relatório sofisticados, com uso de gráficos, subrelatórios etc. Se relatórios mais complexos forem necessários, o SpagoStudio traz embutido o BIRT. BIRT é uma ferramenta de relatórios open source muito flexível e poderosa, que foi pensada para o mundo web. Como reflexo desse direcionamento, por exemplo, é possível embutir códigos JavaScript no relatório, e fazê-lo muito mais versátil – uma coisa mais difícil com outros geradores de relatório, como o Jasper Reports e o Pentaho Report Designer.

Diferenças

Uma pergunta que foi feita logo de saída, e não foi por mim (hehe), é “qual é a principal diferença entre Spago e Pentaho.” Segundo Andrea, é o business model: o SpagoBI tem apenas uma versão, a comunitária, e usa-a para tudo, já que a Engineering foca em vender serviço com a ferramenta, e não a ferramenta. A suite Pentaho, por outro lado vêm em duas versões: comunitária, gratuita, e corporativa, paga – justamente porque a Pentaho Corp. vive de vender suporte e licença. Apesar de versão comunitária Pentaho ser completa e fazer tudo que a corporativa faz, essa faz as mesmas coisas com um acabamento bem melhor.

Na verdade, os outros fornecedores de ferramentas de BI – Pentaho, Jasper, Talend etc. – vendem ferramenta, e nesse ponto são todos diferente do SpagoBI.

Conclusão

O SpagoBI é uma grande ferramenta, com muitos recursos, pensado para criação e integração de soluções de BI. Ele tem uma curva de aprendizado mais inclinada, e demanda um certo acúmulo inicial de conhecimento, mas depois dessa etapa – que ainda assim é acessível ao autodidata – ela se torna muito produtiva.

A principal vantagem do SpagoBI, na minha opinião, é que ele está sendo trazido ao Brasil pelo maior nome do mercado de software livre: a 4Linux.

Eu sou suspeito para falar deles (sou um grande fã da empresa), mas é notória a qualidade de seus cursos e impressionante sua lista de clientes – EMBRAER, Ministério da Educação, Casa da Moeda, EDS, Caixa Econômica Federal e Banco Votorantim para citar os que aparecem no site.

4Linux Representa SpagoBI no Brasil

Semana passada estive no FISL’13 e soube que a 4Linux passou a representar o SpagoBI no Brasil. Legal! Ainda que eu seja fã do Pentaho, BI é um jogo de idéias, conceitos e ações – não de ferramentas.

Durante o evento eu fui convidado a participar desse treinamento, o que eu aceitei prontamente (e alegremente, diga-se de passagem ;-) .)

O curso está comecando: Andrea Gioia, instrutor da SpagoBI, já preparou os slides, a turma chegou…

Eu tentei instalar o SpagoBI pela primeira vez em 2007, e não consegui – eu mal havia acertado iniciar a PCI (e precisei de ajuda), que dizer de outro software do mesmo tipo! Enfim, apanhei como cachorro magro. Espero que eu não esteja além de qualquer esperança e, agora com professor, eu consegui aprender! ;-)

Vamos nessa!