DeepSeek propõe novo método de treinamento de IA e reacende debate sobre eficiência e custos

A startup chinesa DeepSeek publicou recentemente um paper técnico que apresenta um novo método de treinamento para grandes modelos de inteligência artificial, chamado Manifold-Constrained Hyper-Connections (mHC). À primeira vista, trata-se de uma contribuição acadêmica sobre arquitetura de redes neurais. Na prática, porém, o trabalho vai além: ele toca diretamente em um dos maiores gargalos da IA moderna — o custo econômico e computacional de treinar modelos cada vez maiores.

O estudo ganhou atenção internacional após ser destacado em uma reportagem da Bloomberg, que contextualiza a pesquisa dentro do esforço mais amplo da China para aumentar a eficiência no desenvolvimento de IA, especialmente em um cenário de restrições de acesso a chips avançados e competição direta com empresas do Vale do Silício.

O problema por trás dos modelos gigantes

Nos últimos anos, o avanço dos modelos de linguagem tem seguido uma lógica clara: mais parâmetros, mais dados e mais poder computacional. Essa abordagem trouxe ganhos impressionantes, mas também criou um efeito colateral importante: treinar modelos de ponta tornou-se extremamente caro, tanto em termos financeiros quanto energéticos.

Do ponto de vista técnico, arquiteturas modernas como os Transformers dependem fortemente de conexões residuais, que ajudam a manter a estabilidade do treinamento em redes profundas. No entanto, tentativas de ampliar essas conexões — como as chamadas Hyper-Connections — tendem a introduzir instabilidades numéricas, dificultando o treinamento conforme o modelo cresce.

É nesse ponto que entra a proposta da DeepSeek.

O que é o mHC e por que ele importa

O método Manifold-Constrained Hyper-Connections propõe uma reformulação matemática dessas conexões ampliadas. Em vez de permitir que as conexões cresçam de forma livre e potencialmente instável, o mHC restringe essas conexões a um manifold matemático específico, preservando propriedades importantes como o identity mapping — essencial para a estabilidade do treinamento.

Na prática, o paper mostra que essa restrição permite escalar modelos maiores com maior previsibilidade, reduzindo problemas de explosão ou degradação de gradientes. Os experimentos apresentados indicam que o método adiciona um custo computacional relativamente pequeno ao treinamento, enquanto melhora significativamente a estabilidade em modelos de bilhões de parâmetros.

Embora o artigo seja técnico, a mensagem central é clara: é possível melhorar a escalabilidade dos modelos sem simplesmente dobrar o custo computacional.

Impacto econômico e estratégico

É justamente aqui que o trabalho ganha peso fora do meio acadêmico. Treinar grandes modelos de IA pode custar dezenas ou até centenas de milhões de dólares, além de exigir acesso a hardware de ponta, como GPUs de última geração.

Para empresas chinesas, esse desafio é ainda maior devido às restrições de exportação de chips impostas pelos Estados Unidos. Nesse contexto, a busca por eficiência não é apenas uma vantagem técnica — é uma necessidade estratégica.

A DeepSeek já havia chamado atenção anteriormente com seu modelo R1, desenvolvido a custos significativamente menores do que os praticados por grandes laboratórios ocidentais. O mHC reforça essa narrativa: em vez de competir apenas na escala bruta, a empresa aposta em inovação arquitetural e eficiência matemática como diferencial competitivo.

Um sinal para a indústria de IA

Embora o paper não anuncie diretamente um novo modelo comercial, ele sugere os bastidores de uma estratégia maior. Métodos como o mHC podem influenciar futuras gerações de modelos, não apenas na China, mas em todo o ecossistema de IA, à medida que o setor passa a questionar a sustentabilidade do modelo “quanto maior, melhor”.

Mais do que uma técnica isolada, o trabalho da DeepSeek aponta para uma mudança de foco: otimizar arquitetura, estabilidade e custo, em vez de depender exclusivamente de mais hardware. Em um cenário global marcado por limitações energéticas, pressões regulatórias e custos crescentes, essa abordagem tende a ganhar cada vez mais relevância.

Conclusão

O novo método apresentado pela DeepSeek mostra que avanços significativos em inteligência artificial não dependem apenas de mais dados ou mais GPUs. Ao atacar problemas fundamentais de arquitetura e estabilidade, o mHC reforça a ideia de que eficiência pode ser tão estratégica quanto escala.

Se essa linha de pesquisa se consolidar, ela pode redefinir não apenas como treinamos grandes modelos, mas também quem consegue competir nesse mercado — um ponto crucial na atual corrida global pela liderança em IA.