A era da informação trouxe consigo uma explosão inimaginável de dados. O fenômeno do Big Data é tema de discussão entre os CEOs de grandes e pequenas empresas. Aprender a lidar com essa mina de ouro, que são os dados, é o único caminho para a sobrevivência em um mercado cada vez mais competitivo. No entanto, os problemas do Big Data ameaçam o uso correto desse fenômeno.
Pensando nisso, iremos explorar uma visão da Science Soft sobre a questão, exaltando quais são os principais problemas a que estamos sujeitos. Vamos trazer uma reflexão sobre o impacto social, cultural e mercadológico que os erros de Big Data podem trazer. Quer aprender mais sobre o assunto? Então boa leitura!
Análise de dados
No meio de um oceano de dados, há muito ruído e pouca informação. Saber diferenciar isso é um dos grandes desafios do Big Data e da análise de dados.
A diferença entre volume e qualidade de dados
Alguns cientistas de dados podem achar que o constante crescimento do volume significa insights mais precisos sobre os dados. Mas isso não é necessariamente verdade. Às vezes a quantidade de dados que você possui não tem uma amostra representativa para ser analisada. Ou seja, a qualidade dos dados está baixa em relação ao volume.
Por exemplo, fazer uma análise da opinião da população com base em tuítes de pessoas. A população do Twitter contempla apenas pessoas que gostam de expor suas opiniões publicamente. Pessoas que não usam Twitter, que são introvertidas ou que não têm acesso à tecnologia são excluídas desse modelo. Isso faz com que ele não represente a população real do problema e gere resultados errados para análise.
Correlações de dados bizarras
Análise de Big Data é uma ótima ferramenta para achar correlações entre os dados encontrados. No entanto, é preciso ficar atento com as correlações encontradas na análise. Nem todas elas são verídicas. Algumas correlações bizarras podem fazer com que o analista perca muito tempo tentando achar uma explicação plausível para aquilo que o modelo mostra.
Por exemplo, um modelo encontra que o número de produtos de uma empresa caiu no último ano. No mesmo período, encontrou também que uma chuva de meteoros passou pela sede da empresa. Uma coisa está correlacionada com a outra? Certamente não, mas o modelo de Big Data ainda fará essa associação.
Análise de assuntos raros e subjetivos
Nem todo assunto pode ser analisado por meio de números e estatística. Quanto mais incomum é um assunto, mais propenso ele está a conter erro em sua análise. Esses são, geralmente, problemas relacionados com análise de textos, como traduções e interpretações. Detectar o uso correto de palavras ou eliminar ambiguidade de sentidos ainda são problemas que resistem na inteligência artificial e processamento de linguagem natural.
Algumas análises de Big Data podem ser mais subjetivas do que outras e dependem também da experiência do usuário, além dos números. Nesses casos, as chances dos resultados serem imprecisos são altas.
Avanço rápido da tecnologia
A tecnologia anda em passos rápidos e longos. Soluções nascem e morrem na mesma medida que problemas desaparecem e outros, mais complexos, surgem.
Tecnologia incerta
As tecnologias usadas no Big Data ainda não estão sólidas o bastante para que sejam estabelecidas no mercado. Grande parte desse problema tem a ver com a própria natureza do fenômeno. A informação cresce estrondosamente.
Velocidade e escalabilidade do processamento da informação continuam sendo os principais entraves das tecnologias. Nos passos atuais, não é possível prever se as tecnologias do Big Data serão capazes de resolver os desafios do futuro.
Mercado (ainda) desqualificado
Um problema antigo que continua sem solução. O mercado de trabalho, desde 2014, está com déficit de profissionais qualificados para trabalhar com Big Data. Boa parte do problema pode ser endereçada pela falta de cursos para cientistas da informação. Os relacionados a computação, que já andam com a grade curricular bastante enxugada, sofrem para se adaptar às demandas do mercado.
A solução que as empresas vêm procurando é o treinamento interno de funcionários para exercer essas funções. Nanocursos especializados em Big Data também estão tentando suprir essa demanda do mercado. Porém, a evolução muito rápida da tecnologia acaba datando esses cursos mais rápidos do que o número de usuários que conseguem se qualificar.
Impacto social negativo
O Big Data, geralmente, implica na coleta invasiva de informação sobre os usuários. O resultado disso, muitas vezes, gera um impacto negativo.
Modelos podem ser discriminatórios
As informações coletadas na internet podem ser enviesadas por quem as colocou lá. Isso pode afetar os resultados da análise de dados. Em alguns softwares, o “ruído” causado por dados enviesados podem ser perturbadores. Outro problema pode estar na análise parcial feita por analistas mal intencionados.
Peguemos como exemplo uma análise de Big Data de um perfil de um candidato a uma vaga de emprego. O modelo criado analisa, então, atributos que não estão relacionados com a sua capacidade profissional, mas sim com sua vida pessoal. Coisas como posicionamento político, religiosidade e gosto musical podem interferir negativamente na análise daquele candidato, gerando discriminação social.
O fim da privacidade
Com certeza um dos problemas do Big Data mais sentidos pelo usuário final. Os mecanismos dessa tecnologia são usados para capturar os interesses dos indivíduos em um produto ou serviço particular. Como resultado, estes últimos recebem enxurradas de ofertas para alavancarem as vendas das empresas.
Por exemplo, um usuário está planejando uma viagem de fim de ano com a família para a Argentina. Certa vez, ele faz uma pesquisa para ter uma ideia de quanto custam as passagens. Pronto. Isso já é suficiente para que vários algoritmos saibam para onde a pessoa quer viajar e quando.
O cenário ilustrado é razoável quando os usuários obtêm ofertas relevantes sem que seu espaço na web seja invadido. Mas pensar que várias pessoas e companhias estranhas sabem muito sobre você parece assustador.
No entanto, não desanime. Embora a maioria desses problemas ainda não tenham soluções prontas, as buscas constantes por melhorias e prosperidades na área estão fazendo com que esses assuntos sejam, cada vez mais, discutidos. O Big Data é importante e é preciso estar antenado para as mudanças de mercado e as exigências do público, para que as vantagens do Big Data não se tornem desvantagens.
Entendeu mais sobre os problemas do Big Data? Então não deixe de conferir nossas dicas de como usar a inteligência competitiva na era do Big Data. Até a próxima.
