Considere que há duzentos anos toda a quantidade de dados existentes se resumia ao que saía em jornais, revistas e comunicados oficiais. As pessoas se comunicavam por cartas e, graças a essa logística, a quantidade de informações trocadas era muito pequena, se comparada aos dias de hoje.
Agora pense que qualquer coisa que fazemos hoje em dia gera dados: quando fazemos pesquisas, visitamos um site, trocamos mensagens por WhatsApp e até quando andamos na rua geramos dados. Nosso celular monitora por onde caminhamos e envia informações para os aplicativos interessados — como o Google Maps, por exemplo.
Essa explosão de dados é chamada de Big Data. Quer saber por que esse conceito se popularizou tanto e por que as grandes corporações estão cada vez mais preocupadas em lidar com esse fenômeno? Porque o big data tem potencial de transformar todo um negócio e, por isso, desempenhará um papel fundamental em um futuro próximo.
Devido ao seu potencial estratégico e operacional elevado, principalmente na geração de valor, o big data virou foco de pesquisas acadêmicas e corporativas. Ele é constantemente associado à próxima fronteira de inovação, competitividade e produtividade.
Algumas pessoas dizem, inclusive, que o big data é uma revolução de gerenciamento, inovação e tecnologia.
Este é um guia simplificado sobre big data e trará explicações sobre seu conceito, sua importância, seu funcionamento e suas aplicações:
O que é Big Data?
Os conceitos de big data variam sutilmente de autor para autor, mas, geralmente, ele se refere a uma grande massa de dados. Esses dados podem ser capturados por sensores, satélites, redes sociais, sites, fotos e vídeos. Eles podem ter como fonte qualquer coisa: desde cliques na internet até informação genética em pesquisas médicas.
Normalmente, são conjuntos extremamente grande de dados. São tão massivos que não podem ser gerenciados por ferramentas tradicionais de bancos de dados, nem carregados na memória do computador — seja para análise, armazenamento ou simples consulta. Eles não podem ser manipulados ou processados de maneira convencional.
Esses dados podem apresentar-se de forma desestruturadas ou semiestruturadas. São geralmente criados por companhias que desejam analisá-los, mas levaria um tempo muito grande e custaria muito dinheiro para transportá-los a um sistema de banco de dados.
O big data tem três características principais:
- o próprio dado,
- o conteúdo analítico do dado
- apresentação dos resultados de análise.
Essas características permitem que produtos e serviços sejam desenvolvidos em torno desses dados.
Ele também é considerado um fenômeno baseado em três conceitos: tecnologia, análise e mitologia. Tecnologia porque faz uso de algoritmos e técnicas computacionais para coletar e manipular dados. Análise porque esses dados são passíveis de comparação para identificar padrões econômicos, sociais, técnicos e legais.
Por fim, é mitológico porque criou-se a crença de que grandes conjuntos de dados possuem inteligência e conhecimentos escondidos que nunca foram alcançados antes. O big data também pode ser visto como um fenômeno de cinco dimensões descritos como os 5 Vs:
- volume;
- velocidade;
- variedade;
- veracidade;
- valor.
Volume se refere à quantidade de dados. Velocidade diz respeito à maneira como os dados são criados e propagados. A variedade equivale à diversidade desses dados. Veracidade tem a ver com a confiabilidade deles e valor está ligado à utilidade que esses dados têm dentro de um ramo de pesquisa.
O termo big data deve ser pensado, sobretudo, sob o ponto de vista do desenvolvimento de novas habilidades: são técnicas de alto nível utilizadas para a geração de novas ferramentas tecnológicas. São criadas arquiteturas para coletar, armazenar, organizar, extrair e analisar dados de diferentes fontes.
Esses dados geram insights importantes para a construção de valor de negócio. Eles permitem uma vantagem competitiva frente a outras empresas do ramo que não têm acesso a essas informações.
Por fim, o big data pode ser definido como uma série de processos de obtenção e análise de dados com o objetivo de criar visões de negócio e entregar valor, medir performances e estabelecer vantagens competitivas.
Por que o Big Data é importante?
Em 2013 a IBM fez um estudo que constatou que a população mundial gera, por dia, 2,5 quintilhões de dados. Dos dados disponíveis, 90% deles foram gerados nos últimos dois anos. A lógica é que o volume de dados seja muito maior atualmente.
Para se ter uma ideia da quantidade de dados gerados, reflita por sobre o que está sendo produzido neste momento. Um infográfico feito pelo Bluesyemre exemplifica o que foi produzido de dados por minuto em 2017: as pessoas assistiram a mais de 70 mil horas de Netflix, ouviram mais de 40 mil horas de músicas no Spotify e enviaram mais de 156 milhões de e-mails.
Essa quantidade massiva de dados possui um valor muito alto quando reunida e analisada. É possível, por exemplo, identificar padrões comportamentais de empresas analisando dados sobre os negócios gerados por elas.
Leia também: A tomada de decisão na época das organizações Data Driven
Uma extensa pesquisa feita sobre big data revelou que varejistas e indústrias conseguem alcançar entre 15 e 20% de retorno sobre o investimento, também chamado de ROI, somente utilizando análises de big data.
Um estudo feito pela McKinsey revelou que colectar, armazenar e minerar dados para a criação de insights pode criar um valor significativo na economia mundial, otimizando a produtividade e a competitividade de companhias e do setor público — e aumentando o excedente econômico dos consumidores.
Além disso, o big data tem a capacidade de transformar o processo de tomada de decisão, permitindo uma visão aprimorada das operações de mercado aumentada pelos mecanismos de aumento de performance.
Como funciona o Big Data?
O big data trabalha com um princípio: quanto mais se sabe sobre alguma coisa ou uma situação, mais confiantes serão os insights fornecidos pelas técnicas e mais assertivas serão as previsões.
Assim, comparando e analisando uma grande quantidade de dados aparecerão informações escondidas que permitirão que decisões sejam tomadas. Esse processo é comumente feito por meio da construção de modelos baseados nos dados coletados.
Esses dados são simulados e os valores deles são ajustados a cada vez que a análise é feita. Então, é feito um monitoramento dos dados e do quanto eles podem impactar os resultados de análise.
Geralmente, esse é um processo automatizado. Atualmente, é possível ter softwares de análise avançada de dados que executam milhões de simulações sobre um mesmo conjunto. São ajustadas todas as variáveis possíveis até achar um padrão que ajude a resolver o “problema” da empresa que está processando a análise.
Como o volume cresce constantemente, os dados que chegam aos analistas vêm de forma desestruturada e isso significa que eles não podem ser colocados em banco de dados com linhas e colunas.
Muitos desses dados estão em formatos de vídeos, fotos, e-mails, mensagens de aplicativos e gravações de áudio. Para que tudo isso faça sentido e forme um conjunto de dados homogêneo para servir ao mesmo propósito, o big data se apoia em técnicas de ponta como inteligência artificial e machine learning para fazer a análise dos dados.
A análise de dados funciona ensinando computadores a identificar a representação de dados por meio de reconhecimento de imagem ou processamento de linguagem natural. Essas técnicas podem ajudar os computadores a identificar padrões de dados de maneira muito mais rápida e confiável que humanos.
Uma tendência desenvolvida no big data ultimamente é o uso de ferramentas específicas para análise de dados como uma plataforma de serviços. Organizações interessadas alugam espaço do servidor, sistemas de softwares e poder de processamento fornecidos por serviços de nuvem.
Os dados e suas análises são transportados para esses sistemas e o cliente só paga pelo que foi usado. Esses negócios envolvendo big data são chamados de “modelo dirigido a descobertas”. Eles estão tornando o big data acessível a qualquer empresa que precise usá-lo mas não dispõe de um orçamento muito grande.
O que o big data pode fazer?
Esse crescimento exponencial de dados em formato de textos, imagens, vídeos e áudios são os fundamentos do big data. Eles agora podem ser usados de uma maneira impensável há alguns anos. O big data está ajudando empresas de diferentes setores a estabelecer vantagens competitivas e, portanto, também afeta o nosso dia a dia.
A seguir serão dados alguns exemplos de aplicações utilizando o big data. Acompanhe!
Alavancar pequenos negócios
A análise de dados ajudam as microempresas a entender melhor seus clientes. A banda Iron Maiden, por exemplo, usa os dados de músicas baixadas pela internet para definir os locais de turnê dos próximos shows.
O big data também pode ser usado para otimizar o processo de criação de novos produtos. O desenvolvimento é baseado em contato direto com os clientes e eles chegam ao mercado por meio de técnicas de business intelligence (BI).
No entanto, a questão que fica é se o pequeno empreendedor pode arcar com os custos da análise de dados. A resposta é sim. Muita informação pode ser obtida de forma gratuita — ou com baixo custo de investimento — usando ferramentas comuns.
Em apenas alguns minutos no smartphone é possível criar um website simples usando o WordPress ou contas para o negócio em redes sociais, por exemplo. Uma pesquisa levantada pela Deloitte descobriu que negócios com maior engajamento digital se beneficiam mais que as que não contam com esse tipo de iniciativa.
Essas empresas fazem uso de ferramentas digitais que usam informações para criar empregos, diversificar a experiência de usuário e aumentar a margem de lucro de seus negócios.
Pequenas e médias empresas que utilizam tecnologias nos negócios conseguem focar mais nas suas qualidades e estão constantemente atualizadas em relação às mudanças do mercado. No entanto, segundo a Deloitte, 90% dos pequenos negócios ainda não fazem uso total da tecnologia em seus ramos.
Falta de conhecimento em tecnologias e acerca de como aplicar a transformação digital se apresentam como as principais barreiras do pequeno empreendedor.
Leia também: Um olhar sobre as principais ferramentas para Transformação Digital acontecer
Cura e prevenção de doenças
A manipulação de dados na medicina envolve a análise de um vasto número de registros como exames de imagem, prontuários e sequenciamento genético. Essa análise pode ajudar a identificar doenças em estágios iniciais e a desenvolver remédios.
O big data em si nunca será responsável pela cura de uma doença terminal — sequer pela cura de uma gripe. No entanto, se usado para comparar o DNA humano com o DNA das principais doenças, certamente produzirá resultados positivos para os pacientes.
Ao consultar os dados analisados, os médicos pesquisadores podem ajudar pacientes a adotar o melhor tipo de tratamento baseado nas doenças identificadas pelo big data. Isso reduz o impacto negativo nos tratamentos de doenças, aumentando as chances de recuperação.
Assim, o big data aumenta substancialmente a probabilidade de sobrevivência de um paciente em estado grave. Na área médica, o big data é também usado para estudar surtos epidêmicos — como a gripe aviária e o ebola — e para o desenvolvimento acelerado de testes de novos medicamentos.
A meta para o big data no campo da medicina é conseguir combinar as informações analisadas nos dados e combater uma epidemia nos primeiros contágios. No entanto, embora médicos pesquisadores já tenham percebido a importância do big data na área, o tamanho e a complexidade dos dados analisados freiam os progressos reais.
Alimentação global
A agricultura também vem sendo revolucionada pelo uso de big data, que pode ser usado para maximizar a colheita, minimizar a quantidade de poluentes liberados no solo e otimizar o uso de máquinas e equipamentos.
A análise de dados pode ajudar a fazer previsões da colheita. Ao usar algoritmos sofisticados de análise de dados, é possível analisar décadas e, talvez, séculos de dados sobre o clima e a produção de uma região. Assim, agricultores conseguem fazer predições chocantes sobre uma colheita antes mesmo de plantar uma única semente.
Os insights fornecidos pelo big data permite que fazendeiros façam tudo em um tempo otimizado, que maximiza os ganhos de uma safra e reduz estresses gerados por adversidades.
Além disso, o big data permite que engenheiros e químicos desenvolvam novas sementes com base nos dados de colheitas anteriores. Essas sementes serão mais fortes e poderão ser plantadas em qualquer ambiente. Elas crescerão mais rapidamente, serão mais altas e mais resistentes do que antes.
Usando a análise de dados os cientistas já desenvolveram, por exemplo, uma batata capaz de crescer em Marte. As sementes geneticamente modificadas são vistas de forma cautelosa pela sociedade em geral. No entanto, essas sementes, se utilizadas corretamente, são capazes de controlar a fome mundial.
Outra forma de usar o big data em prol da alimentação global é o uso de dados para a agricultura automatizada. Agricultores estão utilizando drones com sensores para fazer um relatório sobre as plantações. Os dados são atualizados e notificações de áreas que precisam de melhorias são emitidas.
O big data também está evoluindo a agricultura para plantações autossustentáveis. A análise de dados permite que falhas sejam prevenidas e corrigidas. A evolução de drones permitirá que as sementes sejam plantadas e cultivadas de forma automatizada.
Os drones também serão capazes de fazer a irrigação de produtos químicos de forma uniforme, gastando menos e, consequentemente, poluindo menos. Os drones utilizam da análise de dados para detectar os lugares das plantações que precisam ser melhorados.
Como podemos ver, as iniciativas em big data reduzem custos, aumentam a qualidade da produção e, consequentemente, causam menos impacto no meio ambiente.
Pesquisa espacial
A NASA analisa milhões de dados e os utiliza para modelar cada eventualidade que possa acontecer em missões expedicionárias — como, por exemplo, a missão de pouso do Mars Rover em Marte.
O sol é geralmente simulado por supercomputadores que produzem quantidades massivas de dados. No entanto, o ponto de interesse é em um lugar específico de tempo e espaço, tornando essa tarefa ideal para gerar insights relevantes.
Ferramentas de análise combinadas com poder computacional e estatística entregam informação relevante do espaço, reduzindo o tempo de busca. Além disso, essa tecnologia tem o potencial de ajudar a NASA com pesquisas solares — criando, por exemplo, um modelo de loop magnético do sol.
O uso extensivo de dados fez a NASA conduzir o motor analítico do projeto Curiosity, que levou um carro de exploração até Marte. A tecnologia utilizada no projeto é chamada de Elasticsearch, a mesma utilizada para análise de dados de grandes companhias como a Netflix.
O Elasticsearch ajuda cientistas da NASA a processar todos os dados obtidos pelo Curiosity durante sua exploração. Esses dados giram em torno de vários pontos, incluindo sensor de temperatura e composição atmosférica.
Controle de desastres
O big data pode ser usado, ainda, para o controle de desastres — sejam eles naturais, sejam causados por ação humana. Além disso, a análise de dados pode ajudar na tomada de decisões eficazes em casos de acidentes: dados coletados de sensores podem ser analisados para prever onde terremotos podem acontecer, por exemplo.
Essa tecnologia também pode ser usada para analisar padrões do comportamento humano e dar pistas que podem ajudar organizações a ter mais chances de sucesso em buscas por sobreviventes de desastres. Com o big data é possível, por exemplo, obter registros importantes sobre grupos de pessoas que vivem em determinada área.
É possível identificar onde estão as maiores concentrações de crianças e idosos. Dessa forma, será possível obter estratégias mais eficientes de resgate, além de planejar reações futuras de residentes de áreas de risco.
Um exemplo prático: durante um desastre natural, como uma enchente, cientistas conseguem ver como os afetados se movem por meio da análise de seus celulares e, assim, planejar táticas de resgate eficientes.
Enquanto mapas são o ponto de partida mais efetivo para o gerenciamento de desastres, para colocá-los em uso é preciso combinar dados geográficos com imagens geradas em tempo real. Isso fornece informações acerca do desastre a partir do momento em que ele acontece.
Durante os atentados de 11 de setembro, por exemplo, as pessoas conseguiam avaliar melhor a situação do desastre por meio de respostas dadas pelos afetados que estavam em meio aos escombros, mas tinham acesso à internet.
A tecnologia do big data também pode ser usada para monitorar o fluxo de imigrantes que fogem da guerra ao redor do mundo.
Prevenção de crimes
As forças policiais têm contado cada vez mais com estratégias baseadas em análises de dados. Com base na inteligência coletada pelas agências e também em dados públicos, ações de prevenção e apreensão são realizadas com eficiência.
O big data também é usado para alocação eficiente de força tarefa, economizando gastos com segurança pública. As polícias de Los Angeles, nos Estados Unidos, e de Manchester, no Reino Unido, são exemplos de uso de big data para prevenção de crimes.
Elas criaram softwares de análise de dados para tentar prever onde aconteceria um crime. A meta era achar padrões de comportamentos criminosos analisando uma quantidade grande de dados locais. O método foi chamado de polícia preditiva.
De maneira similar, a polícia chinesa utiliza técnicas de inteligência artificial e machine learning para fazer detecção de faces em tempo real. A ideia é fazer monitoramento automático com câmeras de vigilância e emitir alerta aos policiais em caso de detecção de um indivíduo procurado pela justiça.
O uso de big data na prevenção de crimes está transformando em realidade o que antes só aparecia em filmes de ficção científica. Segundo Christopher Beam, os roubos de residências são bastante predizíveis. Quando uma casa é roubada, por exemplo, a probabilidade de acontecerem roubos na vizinhança nos próximos dias é alta.
Além da prevenção de crimes físicos, o big data também é utilizado para combater crimes cibernéticos. Para isso, são armazenados milhares de dados de redes sociais diferentes. Usuários são monitorados e alertas são gerados para comportamentos estranhos e postagens ofensivas ou que violem a lei.
Antigamente, a coisa valiosa do mundo era o ouro. Mais tarde, ele foi substituído pelo petróleo, chamado de “ouro negro”. Agora, o grande valor do futuro reside nos dados. Quem tem dados tem informação e quem tem informação tem poder.
Por isso, conhecer sobre o big data e o que ele é capaz de fazer é muito importante. A análise de dados está sendo utilizada em diversas aplicações, gerando lucro e qualidade de vida ao redor do mundo.
