DeepSeek mHC: Hyper-Connections com restrições na variedade

Viacheslav Dubrov

2026-01-21 · Atualizado 2026-07-15 · 11 min · Engenharia de modelos

Tradução automática Este artigo foi traduzido automaticamente a partir da versão original em inglês.

A aprendizagem profunda moderna assenta na ligação residual. As Hyper-Connections (HC) exploram outra dimensão arquitetural: alargar o estado residual para vários streams que interagem entre si. O artigo da DeepSeek sobre Manifold-Constrained Hyper-Connections (mHC) estuda como manter esse routing estável a escalas de treino maiores.

Este artigo começa pelas ligações residuais padrão, introduz depois as Hyper-Connections e a instabilidade que estas podem criar. A restrição mHC e o custo da sua implementação são abordados no final.

Em resumo: a HC substitui um estado residual por vários streams e por mapas aprendidos de leitura, escrita e mistura. Quando compostos ao longo das layers, esses mapas não restringidos podem amplificar ou atenuar os sinais. A mHC projeta aproximadamente o mapa de mistura residual no politopo de Birkhoff com 20 iterações de Sinkhorn-Knopp. O artigo apresenta experiências de scaling com 3B, 9B e 27B (Secções 5.1 e 5.3), além de 6,7% de tempo de treino adicional para quatro streams, após trabalho de otimização em kernels e scheduling (Secção 4.3).

Porque funcionam as ligações residuais

O problema da profundidade

Adicionar layers pode aumentar a capacidade, mas também torna a otimização e a propagação dos sinais mais difíceis. Dependendo da inicialização, da normalização e da arquitetura, as ativações no forward ou os gradientes no backward podem diminuir, crescer ou ficar mal condicionados ao longo da profundidade.

A solução residual

O artigo sobre ResNet introduziu uma solução simples. Em vez de aprender um mapeamento direto, aprende-se o residual, isto é, a diferença relativamente à identidade:

A propriedade essencial é o atalho de identidade. Quando a função residual $F(x)$ produz zero, a layer torna-se uma passagem direta. Daqui resultam duas consequências:

1. Um termo direto para o gradiente: a backpropagation inclui um caminho através da componente de identidade.
2. Um mapeamento de fallback simples: o ramo residual pode permanecer próximo de zero quando uma layer não precisa de alterar significativamente o estado.

Isto não elimina todos os problemas de otimização, mas tornou práticas redes substancialmente mais profundas.

Como a normalização por layers altera o caminho residual

Os Transformers introduziram uma nova variável: onde colocar a Layer Normalization (LN). A decisão parece pequena, mas não é.

A arquitetura ResiDual combina caminhos residuais Pre-LN e Post-LN. As HC alargam o estado residual em vez de aumentarem a profundidade.

As Hyper-Connections adicionam streams residuais paralelos

As Hyper-Connections (HC) aumentam a largura do residual stream em vez de acrescentarem profundidade.

O que significa um stream

Num Transformer padrão, cada token tem um estado de dimensão $d$ que atravessa os blocos. No início da rede, a HC replica $n$ vezes esse embedding de entrada, onde $n$ é a «taxa de expansão», normalmente 4. O estado oculto de dimensão $d$ torna-se uma «matriz oculta hyper» $n \times d$-dimensional.

Nas Hyper-Connections, um stream é uma dessas $n$ instanciações paralelas do estado.

As cópias começam por ser idênticas, mas divergem à medida que mapas aprendidos leem, escrevem e misturam os streams. O artigo interpreta-as como vários padrões de ligação ao longo da profundidade; não exige que cada stream adquira uma função fixa e legível por humanos.

Mecanismos principais

Em vez de um único caminho residual, a HC mantém $n$ streams paralelos ao longo de toda a rede. Em cada bloco Transformer são executadas três operações, cada uma controlada por pequenos pesos aprendidos:

1. Leitura ($\mathcal{H}^{pre}$): agrega os $n$ streams no input de dimensão $d$ consumido pelo bloco de attention ou feed-forward.
2. Escrita ($\mathcal{H}^{post}$): mapeia a saída desse bloco para updates dos $n$ streams.
3. Mistura ($\mathcal{H}^{res}$): aplica um mapa residual $n \times n$ antes de adicionar o update do bloco.

Estes mapas podem combinar parâmetros estáticos com termos dependentes do input. O mapa residual é a componente crítica para a estabilidade, porque é multiplicado repetidamente ao longo da profundidade.

O que reporta o artigo sobre HC

O artigo sobre HC reporta uma convergência 1,8× mais rápida para a configuração OLMoE-1B-7B DHC×4, relativamente ao seu baseline, além de ganhos downstream aos 500B tokens (Secção 1). Trata-se de uma configuração avaliada, não de um multiplicador geral de velocidade para quatro streams.

O problema do scaling

O artigo sobre mHC reporta instabilidade quando escala a HC não restringida para a sua configuração de 27B.

Porque a HC não restringida pode tornar-se instável

Os mesmos mapas não restringidos que tornam a HC flexível também eliminam o caminho de identidade garantido que facilita o treino das arquiteturas residuais.

O problema do mapa composto

Nos resíduos padrão:

$x_{l+1} = x_l + F(x_l)$

Quando $F(x) \rightarrow 0$, isto é a identidade: $x_{l+1} = x_l$. O sinal passa sem alterações.

Nas Hyper-Connections, o caminho residual inclui uma multiplicação matricial:

$x_{l+1} = \mathbf{H}^{res}_l \cdot x_l + \dots$

Ao longo de L layers, o sinal torna-se:

$x_L = \mathbf{H}^{res}_L \times \mathbf{H}^{res}_{L-1} \times \dots \times \mathbf{H}^{res}_1 \times x_0$

O comportamento depende da matriz composta, não de os elementos individuais estarem acima ou abaixo de 1. Se mapas sucessivos tiverem ganhos de operador superiores a um numa direção alinhada, os sinais podem crescer; ganhos inferiores a um podem atenuá-los. Entradas negativas também podem introduzir cancelamento.

O artigo sobre mHC mede esse ganho através da Amax Gain Magnitude: a soma máxima, em valor absoluto, das linhas para a propagação forward e das colunas para a propagação backward num mapa residual composto. Na experiência com HC a 27B, o pico aproxima-se de 3.000 e coincide com comportamento instável durante o treino (Secção 5.4).

O objetivo de design é, portanto, mais específico do que obrigar todos os mapas a serem a identidade: permitir a mistura entre streams, limitando simultaneamente a amplificação ao longo das composições.

A restrição mHC

A mHC mantém o routing entre streams, mas restringe cada matriz de mistura residual ao politopo de Birkhoff, o conjunto das matrizes duplamente estocásticas. Uma matriz deste tipo tem entradas não negativas e cada uma das suas linhas e colunas soma um. A restrição faz com que cada stream de saída seja uma combinação convexa dos streams de entrada e limita a norma espectral do mapa residual a um.

O que garante a dupla estocasticidade

A dupla estocasticidade proporciona simultaneamente três propriedades:

Isto não corresponde a uma conservação literal da energia Euclidiana. Um mapa duplamente estocástico pode suavizar as diferenças entre streams. Proporciona conservação da média e um routing não expansivo sob o limite de norma indicado.

A restrição tem ainda três consequências:

1. Norma espectral ≤ 1: o mapa de routing residual não pode amplificar a norma Euclidiana.
2. Fecho relativamente à multiplicação: o produto de matrizes duplamente estocásticas continua a ser duplamente estocástico, pelo que a restrição sobrevive à composição ao longo da profundidade.
3. Mistura convexa: pelo teorema de Birkhoff-von Neumann, o mapa pertence ao invólucro convexo de matrizes de permutação.

Projeção de Sinkhorn-Knopp

Os logits residuais aprendíveis não têm restrições. Primeiro, a mHC aplica-lhes a exponencial para obter uma matriz positiva e, em seguida, alterna entre a normalização das colunas e das linhas. Com iterações suficientes, este processo de Sinkhorn-Knopp aproxima-se de uma matriz duplamente estocástica; o artigo usa 20 iterações como uma projeção diferenciável aproximada e prática, em vez de uma restrição exata.

Para logits brutos $A$, o procedimento é:

S = exp(A)
repeat 20 times:
    S = S / column_sum(S)
    S = S / row_sum(S)
return S

As operações são diferenciáveis, mas não são gratuitas. A mHC depende de um kernel forward fundido e de um kernel backward personalizado que recalcula no chip os estados intermédios de normalização.

Detalhes da parametrização

• Mapa residual: a exponenciação seguida da normalização de Sinkhorn produz o $\mathcal{H}^{res}$ aproximadamente duplamente estocástico.
• Mapas de leitura e escrita: $\mathcal{H}^{pre}=\sigma(\tilde{\mathcal{H}}^{pre})$ e $\mathcal{H}^{post}=2\sigma(\tilde{\mathcal{H}}^{post})$. Ambos os mapas permanecem não negativos, reduzindo o cancelamento provocado por coeficientes com sinais mistos (Secção 4.2).

Arquitetura mHC completa

O fluxo em cada bloco é o seguinte:

1. Input: $n$ streams residuais paralelos entram na layer.
2. Leitura ($\mathcal{H}^{pre}$): os $n$ streams combinam-se no input consumido pela função da layer. O artigo usa $\sigma(\tilde{\mathcal{H}}^{pre})$, o que torna os coeficientes não negativos.
3. Computação: o bloco Transformer padrão (Attention ou MLP) processa o vetor agregado único.
4. Escrita ($\mathcal{H}^{post}$): a saída do bloco é mapeada para updates dos $n$ streams com $2\sigma(\tilde{\mathcal{H}}^{post})$. Os coeficientes permanecem não negativos.
5. Mistura ($\mathcal{H}^{res}$): o mapa residual aproximadamente duplamente estocástico mistura os streams recebidos antes de adicionar o update.
6. Output: a matriz de streams atualizada avança para a layer seguinte.

Apenas o mapa de mistura residual usa a projeção de Sinkhorn. Os mapas de leitura e escrita usam parametrizações não negativas. Esta distinção é importante porque a garantia de composição apresentada no artigo se aplica a $\mathcal{H}^{res}$.

Infraestrutura necessária para o overhead reportado

Quatro streams aumentam o acesso à memória do estado residual, o armazenamento de ativações e a comunicação no pipeline. O resultado de 6,7% de tempo depende da implementação co-desenhada que se segue.

Fusão de kernels

A implementação funde operações que partilham acessos à memória, usa mixed precision quando apropriado e implementa a maioria dos kernels personalizados com TileLang. O loop de Sinkhorn e o seu backward personalizado são executados em kernels dedicados, reduzindo o tráfego de memória e o overhead de launch.

Recomputação seletiva

Armazenar todos os estados intermédios de Sinkhorn para a backpropagation faria a memória explodir. Em vez disso, a mHC:

• Liberta as ativações intermédias depois do forward.
• Recalcula-as on-the-fly durante o backward.

Uma schedule DualPipe alargada sobrepõe partes da comunicação, da recomputação e do trabalho das layers nos limites do pipeline. O overlap obtido é específico deste sistema de treino.

Resultado reportado ao nível do sistema

Na configuração de grande escala do artigo, a taxa de expansão $n=4$ acrescenta 6,7% ao tempo de treino relativamente ao seu baseline (Secção 4.3). Trata-se de um resultado do sistema, não do overhead de uma implementação simples num framework.

O que as experiências demonstram

Na comparação a 27B, a HC não restringida atinge um pico de Amax Gain composto próximo de 3.000. Com a projeção Sinkhorn aproximada em 20 passos, o ganho backward composto da mHC desvia-se de um, mas permanece limitado a aproximadamente 1,6 na análise reportada (Secção 5.4).

Os autores treinam também variantes MoE de 3B, 9B e 27B inspiradas no DeepSeek-V3 (Secção 5.3). A 27B, a mHC supera o baseline residual padrão nos oito benchmarks downstream reportados e supera a HC em seis dos oito (Tabela 4). A HC obtém resultados ligeiramente superiores no GSM8K e no MATH. Tratam-se de experiências de pretraining internas da equipa que propôs o método, pelo que a replicação independente e as comparações com outras arquiteturas continuam em aberto.

Compromissos e questões em aberto

A mHC não é uma melhoria automática para todos os modelos. Permanecem quatro questões:

1. Overhead do sistema: 6,7% é o resultado otimizado do artigo; outro runtime, topologia de dispositivos ou formato de modelo pode ter um custo diferente.
2. Complexidade da implementação: uma implementação de referência consegue expressar o método, mas para igualar o throughput reportado são necessários kernels personalizados, recomputação e alterações à schedule.
3. Viés da mistura: a dupla estocasticidade preserva a média entre streams e impede a expansão através de $\mathcal{H}^{res}$, mas pode suavizar as diferenças entre streams. O update do bloco continua a alterar a representação global.
4. Âmbito da evidência: a evidência mais forte diz respeito ao pretraining de modelos de linguagem em arquiteturas MoE inspiradas no DeepSeek-V3. A generalização a outras famílias de modelos ainda não foi estabelecida por este artigo.

Principais conclusões

1. As ligações residuais funcionam devido ao mapeamento de identidade: a capacidade de passar os sinais sem alterações.
2. As Hyper-Connections aumentam a largura em vez da profundidade, e o artigo sobre HC reporta uma convergência mais rápida numa configuração com quatro streams.
3. A HC não restringida pode perder a propriedade de conservação residual quando os mapas residuais são compostos ao longo da profundidade.
4. A mHC restringe a mistura residual ao politopo de Birkhoff, conservando a média entre streams e limitando a amplificação.
5. Sinkhorn-Knopp torna a restrição diferenciável, permitindo treino end-to-end.
6. Os 6,7% de overhead reportados são uma conquista de engenharia de sistemas, não uma propriedade exclusiva da arquitetura.

A mHC é uma abordagem promissora para estudar topologias residuais mais largas, mantendo o mapa residual repetido bem condicionado. A sua utilidade para outro modelo depende dos ganhos de qualidade obtidos de forma independente e do custo de reproduzir a sua stack de sistemas.

Referências

• mHC: Manifold-Constrained Hyper-Connections - Xie et al. (DeepSeek)
• Deep Residual Learning for Image Recognition - He et al. (ResNet)
• Hyper-Connections - Artigo original sobre HC
• TileLang - framework de otimização de kernels CUDA
• DualPipe - scheduler de pipeline parallelism para o DeepSeek-V3
• ResiDual - arquitetura com caminho residual duplo