Big Data

Big Data é o termo usado para descrever o imenso volume de informação que se gera e armazena todos os dias.

Big Data é também a junção de todos os conjuntos de dados extremamente amplos que necessitam de ferramentas especiais para grandes volumes de informação, de forma a que possam ser encontrados, analisados e aproveitados em tempo útil. O impacto que estes dados têm nos negócios é indiscutível: é a grande quantidade de dados armazenados que faz com que os gestores tomem as melhores decisões quanto ao rumo das suas organizações.

Historial do Big Data

Não obstante o ato de recolher e armazenar grandes quantidades de informações para eventual análise ser antigo, o termo Big Data é relativamente recente. Data do início dos anos 2000 quando o Google e a Yahoo começaram a usar este recurso para melhorar as suas plataformas e aumentar o seu alcance. Foi também nessa altura que o analista Doug Laney apresentou e definiu o Big Data, articulando-o com os chamados três Vs (volume, velocidade e variedade). A partir daí o conceito começou a ter visibilidade nas grandes empresas e organizações.

A grande diferença entre os dados antes e depois da criação da expressão Big Data é que o último possibilita o cruzamento da informação por meio de diversas fontes de forma a se obter insights rápidos e preciosos. Por outras palavras, hoje consegue-se obter informações de mercado através dos consumidores, extraindo o que eles dizem/escrevem sobre o que fazem, sentem, adquirem. Insatisfações, reclamações, satisfações, elogios, desejos, necessidades… Está tudo lá! Daí que a essência do conceito Big Data esteja na geração de valor para os negócios.

V’s do Big Data

Inicialmente o conceito de Big Data foi assente em 3 V’s: volume, velocidade e variedade.

• Volume

O primeiro V refere-se à quantidade de dados com que o Big Data lida. Este volume de informação é enorme, particularmente agora que os dados são gerados por máquinas, redes e interações humanas dentro de sistemas como social medias. Estima-se que sejam criados 2.5 quintilhões de bytes de dados por dia o que significa que algumas empresas tenham terabytes e até petabytes de dados nos seus servidores! Ora, o aumento do volume de dados começou a exigir novas e melhores técnicas para armazenar e processar informação. Felizmente hoje o armazenamento de dados é cada vez mais barato e confiável, graças à cloud (nuvem), sendo o Hadoop o principal sistema para armazenar e processar Big Data.

• Velocidade

A velocidade refere-se ao ritmo com que os dados fluem das fontes. No Big Data esse fluxo é maciço e contínuo. Se as empresas forem capazes de lidar com a velocidade a que estes dados são gerados, conseguem tomar decisões que se transformarão em vantagens competitivas e estratégicas. Ora, como a velocidade pode ser um problema (e impossível de se processar apenas manualmente) no Big Data usam-se sistemas automáticos inteligentes que executam os dados 24 horas por dia de forma ágil, pois é necessário gerar informação com a maior agilidade possível para que as tomadas de decisão sejam efetivas.

• Variedade

A variedade refere-se às múltiplas fontes e tipos de dados, estruturados e não estruturados, como emails, fotos, vídeos, áudios, transações financeiras… Quanto mais dados e fontes tivermos, maior é a complexidade para trabalhar os dados, mas maior é também a possibilidade de gerar informação útil. Não obstante, estes dados exigem maiores habilidades analíticas para os decifrar, gerir e analisar. Ora, no Big Data existem bancos de dados não-relacionais, como o MongoDB, que se apresentam como uma das principais formas de armazenar eficazmente diferentes tipos de dados.

Com o tempo, porém, foram-se acrescentando ao conceito de Big Data mais dois V’s: veracidade e valor.

• Veracidade

A veracidade refere-se à verificação dos dados, no sentido de perceber se são verdadeiros.

• Valor

O valor refere-se à verificação dos dados, no sentido de perceber se têm valor, se interessam e são úteis.

Estrutura dos dados de Big Data

Dados estruturados

Os dados estruturados são aqueles que possuem uma estrutura determinada, seja pela categoria, definição, localização, perfil de clientes, volume de vendas, etc. Estes dados podem ser encontrados nos bancos de dados que, de forma a melhor armazenar a informação, requerem definições precisas sobre onde cada informação estará. Isso é facilmente conseguido com software adequado como ERP (Entreprise Resource Training) e CRM (Customer Relationship Management).

Dados não estruturados

Os dados não estruturados são aqueles que não possuem uma estrutura determinada e por isso são mais complexos e exigem um trabalho mais moroso: dados em vídeos, áudios, imagens e textos de redes sociais, como Facebook, YouTube, portais de notícias, etc.. Para trabalhar estes dados é necessária a intervenção humana de forma a monitorizar os social media, por exemplo para extrair comentários e referências a determinada palavra-chave. Ou seja, é possível trabalhar dados não estruturados de forma a catalogar o que as pessoas dizem sobre uma empresa, mas esse trabalho não deve ser feito por um robot para não haver mal-entendidos, interpretações positivas, por exemplo, de comentários negativos baseados em textos com palavras irónicas.

Análise de dados no Big Data

Os Vs são os pilares do conceito de Big Data, mas a inteligência do conceito está na análise dos dados. Sem uma análise correta e criteriosa, é impossível gerar insights e direcionar as empresas para o caminho certo.

O processo da análise de dados passa pela inspeção dos dados e criação de testes com o objetivo de melhorar ou entender determinados padrões. Tal qual o trabalho em marketing e vendas exige a análise de um padrão de comportamento dos consumidores. Através da monitorização dos padrões de comportamento, também o Big Data é capaz de perceber alterações ou mudanças e assim alertar as organizações para tomarem as suas decisões estratégicas baseando-se em conhecimentos adquiridos através dos resultados das análises.

Potencial do Big Data

A quantidade de dados, criados e armazenados a nível global, está em aumento constante. Isso significa que há cada vez mais potencial para extrair insights de negócios provenientes destas informações (mesmo que apenas uma pequena percentagem destes dados seja efetivamente analisada). Porém, a importância do Big Data não está na quantidade de dados que existem, mas naquilo que as organizações conseguem fazer com eles: aproveitar as informações dos dados para diminuir custos, reduzir o tempo, desenvolver novos produtos/serviços, detetar comportamentos fraudulentos, entre outros.