2018 foi mais um ano transformador para a área de big data. Das novas legislações com alto impacto na área – a entrada em vigor da GDPR na União Europeia, a aprovação da LGPD no Brasil, e a nova legislação de privacidade no estado da Califórnia – aos avanços técnicos desenvolvidos para o tratamento de dados, analytics e construção de modelos, muita coisa aconteceu, e a área continua evoluindo e se desenvolvendo rapidamente.
De uma forma geral, a grande transformação pela qual passamos no último ano pode ser resumida de uma forma simples: as pessoas finalmente entenderam que “big data” não é um substantivo, mas sim um adjetivo. Big data não é uma tecnologia, ou algo que você faz dentro da sua empresa. Big data é um adjetivo, uma característica que pode ser associada a conjuntos de dados, aplicada a produtos e serviços, ou mesmo a forma como as empresas trabalham, mas não é algo que existe sozinho.
Tendo em vista essa transformação, algumas tendências, inter-relacionadas, se desenham de forma clara para o próximo ano.
Conhecimento Generalizado da Área
A primeira grande tendência que identificamos é a expansão, cada vez mais rápida, do conhecimento sobre a área. Há alguns anos atrás, poucas pessoas entendiam o que você estava falando ou comentando quando você falava em “big data”. Menos pessoas ainda entendiam a importância e relevância dos dados em seu dia-a-dia, ou o valor que seus dados têm para as mais diferentes empresas.
Esse quadro veio se revertendo, e a tendência para 2019 é de que ele desapareça de vez. As novas legislações e regulamentações que surgiram ao longo de 2018 colocaram em evidência a importância dos dados na economia global, e, em conjunto com a mídia, vem educando a população em geral não só sobre o que são os seus dados, mas também sobre o que é feito com eles, sobre como são utilizados pelo mercado, e sobre como os dados podem impactar, de maneira positiva ou negativa, a sua vida.
O conhecimento generalizado sobre a área de big data tem outro desdobramento importante. As áreas de dados (ou de ciência de dados, ou qualquer outro nome) vão deixar de ser considerada pelas empresas como áreas estratégicas para o negócio, e passar a configurar mais uma área de apoio, da mesma forma como ocorre com uma área de tecnologia ou infraestrutura. Simplesmente anunciar para o mercado que a sua empresa está estruturando uma área de big data não vai ser mais sexy, vai ser apenas um sinal de que você não entende muito bem do que está falando.
Privacidade, Segurança e Regulamentação
A segunda grande tendência para a área de big data no mundo é o impacto cada vez maior das questões de segurança e privacidade sobre o trabalho do dia-a-dia com dados. No Brasil especificamente, embora a entrada em vigor da Lei Geral de Proteção de Dados (LGPD) tenha sido adiada para o meio de 2020, vamos sentir de maneira intensa o impacto dos preparativos que serão adotados pelas empresas para se adequar aos termos. Na verdade, em todo o mundo as legislações e regulamentações relacionadas com a privacidade e utilização de dados ganharão destaque, e afetarão diretamente o trabalho de quem atua com big data, de algumas formas diferentes.
O primeiro impacto é, obviamente, a questão da segurança da informação. Quem trabalha com dados será obrigado a tomar muito mais cuidado com as informações sendo manipuladas e com como essas informações são compartilhadas, devido a responsabilização direta das empresas por qualquer vazamento de informações, e as multas pesadas. Um outro impacto relevante é a necessidade de se entender cada vez mais a origem da informação com a qual estamos trabalhando, para garantir que não estamos utilizando dados indevidos em nossos modelos ou análises. Isso é essencial porque, novamente, podemos ser responsabilizados e multados pelo uso desse tipo de informação sem uma garantia de origem.
Apesar das transformações e do impacto no dia-a-dia, diferente do que muita gente fala, as leis de privacidade não vão matar a área de big data e as empresas que trabalham nela. A LGPD (e outras peças de legislação similares) vão servir para estruturar esse mercado, e para garantir que práticas indevidas com dados, que sempre aconteceram de forma “velada”, deixem de existir.
Concentração de Dados
Já falamos há algum tempo aqui sobre o “Inverno do Big Data”. Há dois ou três anos atrás, saímos de um período de hype do termo big data, aonde ele dominava as notícias e veículos de comunicação, para um período de mais maturidade do mercado. Aonde antes era possível simplesmente falar “vou fazer big data” e conseguir investimento (seja interno, dentro da empresa aonde você trabalhava, ou com investidores, para montar um novo negócio), as empresas deixaram de investir diretamente na área, porque entenderam que esse investimento sozinho não traria resultados.
Essa situação continua, por tudo que já mencionamos anteriormente. Um outro fator, no entanto, impacta ainda mais as empresas, e age para estender – e, de certa forma, até ampliar – esse “inverno” da área: a concentração dos dados nas mãos de poucos players do mercado. Os dados são o elemento fundamental a partir do qual todo o trabalho de um cientista de dados, analista, ou qualquer outra pessoa que atua na área de big data acontece. Sem dados, não temos muito o que fazer.
Estamos vivendo no mercado um momento de concentração. Algumas poucas empresas coletam cada vez mais informações, e, muitas vezes usando a legislação de privacidade como uma desculpa (não-justificada), bloqueiam o acesso de terceiros a esses dados, impedindo a realização de qualquer trabalho em cima deles. Vamos olhar, por exemplo, no surgimento e crescimento dos marketplaces dentro do mercado de e-commerce.
Quando você faz uma compra em um marketplace, ao invés de ir na loja de quem está anunciando, apenas o marketplace fica com os seus dados. As lojas passam a ter menos informações sobre os clientes, e não conseguem mais traçar perfis de clientes, o que dificulta a construção de campanhas, o que as torna mais dependentes dos marketplaces, criando um círculo de dependência que elimina a possibilidade de trabalhar com dados dentro dessas empresas. E esse é apenas um dos mais diferentes exemplos que estão ocorrendo nesse sentido. Essa concentração naturalmente reduz a quantidade de trabalho disponível dentro da área de big data, e torna a vida dos profissionais mais complicada.
Big Data em Função da Inteligência Artificial
Não podemos falar de tendências de tecnologia sem falar de inteligência artificial (I.A.). A evolução da área de inteligência artificial continua (e vai continuar) a todo vapor, com novas técnicas e, principalmente, novos modelos sendo desenvolvidos para realizar as mais diferentes tarefas, que alguns anos atrás todos pensavam que eram impossíveis. O grande diferencial desses modelos não serão as técnicas ou a tecnologia utilizada para desenvolvê-los, mas sim os dados utilizados no processo de treinamento do mesmo, e é nesse ponto que a forte intersecção entre I.A. e big data irá continuar a evoluir.
Não existe inteligência artificial sem as montanhas de dados necessárias para treinar os modelos de inteligência artificial, e sem as tecnologias e técnicas desenvolvidas para tratar essas montanhas de dados, que por sua vez caem sob o guarda-chuva da área de big data. Em 2019, vamos ver cada vez mais o trabalho dos profissionais da área de big data voltado para dois grandes segmentos: a construção e manutenção dos modelos de inteligência artificial para apoiar os negócios das empresas; e a coleta, estruturação e preparação dos dados necessários para desenvolver esses modelos.
O trabalho mais convencional, de análise e visualização dos dados (que se convencionou chamar de analytics) vem sendo automatizado, como havíamos previsto. É cada vez menos necessária a intervenção de alguém com perfil técnico para construir análises, e em 2019 vamos chegar cada vez mais próximos da “excelização” (do MS Excel) do big data analytics. Já estão aparecendo no mercado ferramentas que, de forma automática, analisam os dados e exibem, por meio de gráficos e tabelas, os elementos principais que uma pessoa de negócios precisa avaliar. Em um contexto como esse, o trabalho de simplesmente rodar análises perde espaço, e o conhecimento de tecnologias e técnicas é melhor aplicado quando voltado para a construção de modelos.
Conclusão
Uma velha “maldição” chinesa diz: “Que você viva em tempos interessantes”. Com certeza, estamos passando por tempos interessantes na área de Big Data. Da transformação da percepção popular sobre o campo aos ataques regulatórios e a falta de entendimento da área jurídica, o ano de 2019 promete ser muito “interessante” e animado para todos que atuam na área, trazendo muitas mudanças e grandes desafios.
No entanto, mudanças e transformações sempre geram novas oportunidades. Embora o momento ainda seja de transição, a tendência é que os profissionais e empresas capazes de atuar com Big Data de forma segura, ética e profissional tenham seus serviços cada vez mais demandados. Apesar de todos os problemas, a revolução dos dados não vai parar, e a demanda vai se transformar, mas não se reduzir, e quem estiver pronto tem a chance de ocupar um espaço importante no mercado.