IA vai gerar dados para treinar outras IAs

De forma surpreendente, veremos uma IA treinar IAs e isso pode transformar o universo das ferramentas de inteligência.

Os algoritmos atuais, sejam modelos de linguagem como o ChatGPT e o Gemini, geradores de imagens como o Dall-E, Stable Diffusion e Midjourney, ou de vídeos como o Sora e Runway, têm uma característica comum: foram “treinados” com material coletado da internet.

Existe uma relação direta, embora não exclusiva, entre a sofisticação de um algoritmo de IA e a quantidade de dados que ele analisou.

Isso representa um desafio para o avanço do setor: como criar IAs mais avançadas sem disponibilizar mais dados?

Nos últimos anos, grandes empresas de tecnologia têm copiado, geralmente sem permissão, todo o conteúdo online ao qual conseguem ter acesso.

Solução

O próximo passo pode estar em um tipo diferente de conteúdo: dados sintéticos, para uma IA treinar IAs para desenvolver suas ferramentas. É isso que pretende o algoritmo Nemotron-4 340B, da Nvidia.

Ele é capaz de analisar um conjunto de informações e gerar uma nova massa de dados, que pode ser utilizada para treinar uma segunda IA.

Os dados sintéticos costumam trazer um risco: o “colapso do modelo”, uma degeneração progressiva que afeta modelos de linguagem alimentados com informações geradas por outras IAs.

Nesse fenômeno, demonstrado pela primeira vez em 2023, o algoritmo começa a gerar respostas cada vez mais distorcidas, até se tornar irrecuperável.

Via Freepik

A Nvidia não aborda esse risco no artigo de apresentação do Nemotron, mas destaca outro modelo de uso que talvez não esteja sujeito a esse problema: a utilização de dados sintéticos para o chamado alinhamento (ajuste de uma IA para garantir que ela gere respostas conforme os objetivos de seus criadores). O alinhamento é crucial para a adoção segura da IA no futuro.

Em um teste realizado pela Nvidia, o Nemotron gerou dados sintéticos que foram usados para alinhar outro algoritmo de IA: o Llama 3 70B, criado pela Meta.

Além disso, segundo a Nvidia, o resultado foi excelente: o Llama alcançou um alto grau de alinhamento, igualando ou superando o Llama 3 70B Instruct (um terceiro algoritmo, alinhado com dados gerados por humanos).

Nvidia

A Nvidia Corporation é uma empresa multinacional americana de tecnologia, com sede em Santa Clara, Califórnia. Fundada em 1993 por Jensen Huang, Chris Malachowsky e Curtis Priem, a Nvidia é conhecida principalmente por projetar unidades de processamento gráfico (GPUs) para os mercados de jogos, profissionais, de criptomoedas e automotivo.

A empresa atualmente é uma líder de mercado na fabricação de GPUs, especialmente conhecida por sua linha de produtos GeForce, usada amplamente em jogos de computador e gráficos profissionais.

Ainda, desenvolve GPUs e outras tecnologias para data centers, que são usados para aplicações de inteligência artificial (IA), aprendizado de máquina (ML) e computação de alto desempenho (HPC).

Agora, está começando a se aventurar no campo da IA e deep learning, fornecendo hardware e software que permitem o desenvolvimento e a implementação de algoritmos de aprendizado profundo.

Também tem uma forte presença na indústria automotiva, desenvolvendo tecnologias para veículos autônomos e assistentes de direção, através de sua plataforma Nvidia Drive.

Além dos jogos, as GPUs da Nvidia estão nas indústrias de animação, efeitos visuais, design de produto e simulações científicas.

Polêmica

Nos últimos meses, uma controvérsia significativa tem surgido em torno do uso de conteúdo gerado por usuários para treinar algoritmos de inteligência artificial.

Muitas empresas de tecnologia, na busca por dados para alimentar e melhorar seus modelos de IA, usam grandes quantidades de informações disponíveis na internet. Contudo, muitas vezes é sem a permissão explícita dos criadores originais desse conteúdo.

Isso levanta preocupações éticas e legais, uma vez que a propriedade intelectual e os direitos de privacidade dos usuários podem estar sendo comprometidos.

Uma das principais críticas a essa prática é a falta de transparência. Muitos usuários não estão cientes de que suas postagens, fotos, vídeos e outras contribuições online estão sendo utilizadas para treinar algoritmos de IA.

Além disso, a ausência de consentimento explícito é uma questão central. A coleta de dados sem autorização pode violar regulamentos de privacidade.

Via Freepik

IA treinar IAs

Tentar ter uma IA para treinar IAs seria uma forma de superar esse desafio, mas existem outros caminhos para manter as plataformas em constante atualização.

Por exemplo, as empresas podem implementar sistemas que solicitam consentimento explícito dos usuários antes de coletar e usar seus dados.

Isso pode incluir avisos claros e opções de opt-in, garantindo que os usuários estejam plenamente cientes sobre onde vão as suas informações.

Outra solução é garantir que todos os dados sejam anônimos, de forma que as informações pessoais dos usuários não possam ter rastreamento de volta a eles.

Além disso, a criação de dados sintéticos para IA treinar IAs, como o Nemotron-4 340B da Nvidia, pode reduzir a dependência de dados reais. Dados sintéticos conseguem imitar padrões reais sem violar direitos de propriedade intelectual ou privacidade.

Mesmo assim, existem outras formas, como oferecer recompensas ou incentivos para os usuários que optarem por compartilhar seus dados. Isso pode incluir acesso a serviços premium, descontos ou outras formas de compensação que tornem o compartilhamento de dados uma escolha voluntária e mutuamente benéfica.

Em qualquer caminho, é fundamental desenvolver políticas claras e transparentes sobre como os dados passam por coleta, armazenamento e uso nessas ferramentas.

Vale pensar na criação de comitês de ética e a implementação de auditorias regulares podem assegurar que as práticas de coleta de dados sejam responsáveis e alinhadas com os valores dos usuários.

Dessa forma, será mais tranquilizador para os usuários, enquanto a tecnologia sai ganhando.

Fonte: SuperInteressante, Wikipedia

Imagens: Freepik, Freepik