Em 20/10/2016 eu tive a honra e o privilégio de falar como keynote speaker no TechnoTalk de BI, BigData e Data Science da PUC do Rio Grande do Sul. Esse é um evento que ocorre com frequência, organizado pelo insuperável Jorge Audy, Agile Jedi. Já foram mais de 40 eventos, e contando!

TechnoTalk BI, BigData & DataMining.
TechnoTalk BI, BigData & DataMining.

Desta feita o Jorge havia convidado luminares de Data Mining, de BigData e eu, vosso modesto (ha-ha) escriba. Antes de mim falaram Sérgio Blum e João Gutheil, e depois falou o Irio Musskopf. Vou apresentá-los a vocês e contextualizar a discussão que vinha sendo feita e logo depois eu coloco o ponto que eu levantei no debate.

Casa cheia!
Casa cheia!

Sérgio Adriano Blum

Instrutor, gestor de projetos e consultor em Tecnologia da Informação pela White Cube, ele apresentou um painel com opções tecnológicas, ferramentas, cases e cenários do mundo BigData/Data Mining. Sigam este link para o post do Jorge, onde vocês podem baixar o material que ele disponibilizou em PPT. Você também pode entrar em contato com o Sérgio por meio de sua página LinkedIn

Um apanhado geral das tecnologias associadas a BigData.
Um apanhado geral das tecnologias associadas a BigData.

João Gutheil

O João é um conhecido meu de longa data – já batemos papo desde o começo de 2015. A apresentação do Gutheil ligou BigData com Data Mining, detalhando abordagens, valor entregue em diferentes áreas e segmentos de mercado, ferramentas e plataformas, fechando com cenários para futuro próximo.

Vale destacar que ele é um dos vice-coordenadores do Grupo de Usuários de BI (GUBI) da SUCESU-RS. Ou seja, o cara não é fraco, não.

Minha fala foi logo depois da dele, e eu usei o que ele explicou como ponto de partida. Mas segure aí – vamos terminar os convidades e eu já volto.

Irio Musskopf

O Irio é uma daquelas pessoas que tem a rara oportunidade de fazer algo de concreto e impactante para seu país. Ele falou sobre o desafio do uso de Machine Learning na Operação Serenata de Amor, que usa mineração de dados para mapear e destacar anomalias nas prestações de contas de políticos. Para custear esse projeto foi aberto uma conta na Catarse – não deixe de conhecer, é impressionante.

Usando Data Mining e Robôs para pegar malfeitos!
Usando Data Mining e Robôs para pegar malfeitos!

A CodeLand é uma empresa de desenvolvimento web ágil, especializada na liberação de novos negócios digitais.

Explodindo o BigData e Mostrando o Creeper!

Bom, quando eu entrei o Irio seria o próximo, e o João Gutheil tinha acabado de mostrar como BigData e Data Mining poderiam ser usados para resolver problemas reais, concretos, de empresas.

Eu falei sobre minha apresentação do dia anterior, na FATEC, quando eu fiz justamente uma introdução ao assunto. Comentei, então, que na minha opinião BigData é a mesma coisa que Hadoop e que é uma tecnologia útil para resolver problemas com um volume burral de dados – um volume que não cabe dentro de uma só máquina.

Eu coloquei minha primeira pergunta: onde está a maior parte dos dados que giram pelas empresas no Brasil?

Sabemos que a maior parte dos empregos, no Brasil, estão em empresas de médio e pequeno porte, e até menores. Será que o volume de dados tratado por essas empresas também se distribui segundo essa regra? Intuitivamente eu suspeito que não. Eu desconfio que a maior parte das empresas no Brasil recolhem apenas uma pequena parcela dos dados transacionados no país.

Daí eu comecei a levantar outros pontos, que há coisa de um ano começaram a despertar minha curiosidade:

  • Certos usos dos dados não se dão bem com o modelo de operação em lote (batch) do Hadoop. Cubos OLAP são um caso, relatórios são outro. Até porque uma coisa é coletar um volume monstruoso de dados, e outra é usar parte desse volume como fonte para um cubo;
  • Um volume muito grande de dados pode ser tratado usando-se algumas outras tecnologias, como por exemplo clusters de bancos de dados relacionais, e até mesmo clusters de bancos de dados colunares. Esse tipo de tecnologia cabe na descrição de “BigData” mas ainda não é Hadoop, e se presta a coisas como, de novo, cubos OLAP, que são um ponto fraco do Hadoop ainda;
  • Por fim, o volume de dados que justifica a adoção de Hadoop é realmente uma coisa fora-do-comum. Quantas empresas existem que lidam, que captam um volume de dados deste porte?
  • Mais ainda: das empresas que coletam um volume gargantuesco de dados crús, quantas possuem problemas que requerem uma parcela tão grande desses dados que esse subconjunto seja, por si sói, um problema de BigData?

Vocês hão de concordar comigo – como de fato concordaram na hora – que não é a maioria das empresas que possuem um volume de dados que sirvam para alguma coisa e que estejam na casa do Hadoop.

Minha intenção, eu expliquei, era conseguir deles a concordância para o seguinte ponto: “não é toda empresa que precisa usar Hadoop”. Eles concordaram, já que eu havia colocado uma dúvida razoável quanto à tecnologia necessária para o tratamento de dados na maior parte das empresas – se a maior parte de empresas de um país são pequenas e médias, e elas lidam com volumes de dados que dispensam Hadoop, então não é a maior parte de empresas que precisa de Hadoop. Simples e razoável, não?

Neste momento pedi ao Jorge que colocasse esse e-mail para a platéia:

Como resolver o problema de Hadoop dos seus usuários...
Como resolver o problema de Hadoop dos seus usuários…

Notaram como ele 1) presume que você tinha um problema de BigData que foi resolvido e 2) assume que ele não deu totalmente certo, porque ainda existe gente reclamando que não está vendo o que queria? Esse “now what?” é bem chatinho! Como assim, e agora o quê? Oras, de onde ele tirou a associação entre usuários finais e Hadoop? Quem disse que Hadoop resolveria 100% dos problemas de BI de uma empresa?

É muito chute em tão pouco espaço.

Outro ponto: contei-lhes que na apresentação da FATEC eu tive muitos espectadores de cursos hardcore de TI, como Análise de Sistemas, e Hardware. Mas eu tive a presença de vários alunos de Secretariado!

Me digam, pedi a eles, não é estranho que um curso tão “humanas” coloque no espírito do aluno inquietude o bastante para ele se arriscar em uma palestra técnica sobre Hadoop/BigData?

Mais: a lotação foi muito maior que a sala comportava, e era uma sala quase do tamanho da do TechnoTaks. Já não tinha mais espaço nem para sentar-se no chão… do corredor!! Era muita gente querendo ouvir sobre um treco que, ao cabo e ao fim, tem um uso muito restrito.

Tem uso mais restrito que Data Mining, aliás. Quase toda empresa pode se beneficiar de Data Mining. Mas poucas têm uso real para Hadoop, BigData e outros quejandos deste porte!

Vestido para detonar! Kkkkk...
Vestido para detonar! Kkkkk…

Eu participei do TT remotamente. No plano original eu estaria em um Hangout com a turma em Porto Alegre, e poderia ser visto. Por isso, considerando-se o que eu estava tramando soltar, vesti-me a caráter: com uma camiseta de Minecraft. Claro, pois se eu pretendia detonar boa parte do nosso senso-comum, nada tinha mais significado que me vestir de Creeper.

“Ora”, falei, me encaminhando para o fechamento:


“Se existe tanta propaganda sobre BigData/Hadoop, a ponto de mobilizar muita gente, e de áreas pouco relacionadas; se o assunto sempre vai estar restrito a um conjunto pequeno de empresas, com um subconjunto ainda menor de problemas aplacáveis com BigData/Hadoop, então essa exposição toda não passa de hype, de propaganda, de vapor. E se for isso mesmo, não há como sustentar o atual ritmo de destaque na mídia.”


Logo, na minha opinião,


O BigData vai sumir. Não vai demorar muito e tudo isso sobre o qual falamos não será mais um assunto tão quente, e essas tecnologias estarão de volta ao nicho de Data Mining ao qual pertencem.


Conclusão

Acabou, era só isso. Frustante? Pouco?

Eu queria ter estado lá, porque pelo pouco que eu percebi, remotamente, tinha gente louca de vontade para falar. Soube que algumas cabeças balançavam afirmativamente, outras meneavam e algumas sacudiam-se.

Só para dar um grau, eis um comentário que eu recebi no dia seguinte:


Quando começaste a falar, pensei: “o que esse maluco está dizendo?”, mas conforme foste expondo teus argumentos, vi que concordo contigo. Atualmente eu trabalho na Procergs, onde está se tentando utilizar sistemas de Big Data para análise e esse, sim, é um caso atipico, de governo, onde se processa notas fiscais de vários estados. Para se ter ideia, todas as notas fiscais são armazenadas e processadas em banco relacional SQL Server e possuem um volume de Terabytes de dados, mas que ainda assim a tecnologia que está no mercado há anos, dá conta. Parabéns pela iniciativa, conseguiste passar a mensagem! E obrigado, vou aproveitar o material. Abraço, Rodrigo Batista


E você, o que acha? Pirei de vez na batatinha? Concorda comigo? ;-)

Até a próxima! :-)

Anúncios

4 comentários sobre “O Fim do BigData

  1. Fábio, muito boa a sua colocação. Atualmente as mídias querem vender notícia e o mercado vender cursos de BI/Big Data. Mas como você mesmo mencionou, o Brasil é formado de pequenas/médias empresas, A maioria dessas empresas sequer existe um sistema de BI, as vezes mal usam um ERP. Portanto o BI tradicional ainda será o foco no Brasil durante a próxima década, visto que essas empresas tendem a investir em tecnologia , e algumas um pouco maiores investirão em Data Mining.

    Nos ultimos tempos eu deixei de lado esse buzzword chamado “Big Data” e passei a focar em técnicas de data mining/machine learning, visto que não há necessidade grandes de dados para tirar insights poderosos dessas tecnologias.

    Finalizando, agradeço por compartilhar sua visão.
    Abraços.

    1. Muito obrigado, Jairo, pela visita e pelos comentários. Já faz algum tempo que esse assunto coçava minha mão, mas eu não queria partir para a crítica infundada. Pode parecer óbvio, mas eu demorei um tempo entre conectar a “composição do mercado” com o atual marketing de BI. Acho que esse ponto, especificamente esse ponto, mostra que há uma pressão para oferecer Hadoop desproporcional à demanda e daí decorrem minhas opiniões. Fico feliz, aliviado até, em saber que outros pensam de maneira semelhante. ;-)

    1. Obrigado pela visita, Marcelo, e pelas simpáticas palavras. Acho que cedo ou tarde alguém acabaria fazendo a mesma observação. Obrigado pelo link, vou escutar sim! Enquanto isso, estou ansioso pelo seu próximo post de Data Mining! :-)

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s