- KHTST — modelo multimodal PT-BR (v16 KHMAMBAJEPA: QUANTIZAÇÃO TORCHAO REAL auto CPU/GPU · MC-JEPA VICReg em CYTHON com gradiente analítico · GUARDA ANTI-COLAPSO Brain-JEPA · AUTORREGULAÇÃO TOTAL treino+inferência (Robbins–Monro) · ROBÔ LeRobot ×4 + MATEMÁTICA verificável ×5 · 14 tarefas)
- O que há de novo no v19 — ACOPLAMENTO JEPA↔ENCODERS DE PRODUÇÃO (A/B pareado) · SONICMOE NO TRONCO (opt-in) · DATASETS REAIS (provas em
docs/matematica/31, memória emPLANO_KHMAMBAJEPA.md) - O que há de novo no v18 — ROBUSTEZ · IPC MODELO→MODELO · FAMÍLIA JEPA + SONICMOE + REPLAYSSM (provas em
docs/matematica/30, memória emPLANO_KHMAMBAJEPA.md) - O que há de novo no v17 — PACOTE DE APRIMORAMENTO + AUTORREGULAÇÃO HÍBRIDA (provas em
docs/matematica/29, memória emPLANO_KHMAMBAJEPA.md) - O que há de novo no v16 — KHMAMBAJEPA (provas em
docs/matematica/28, memória emPLANO_KHMAMBAJEPA.md) - O que houve no v14 (provas em
docs/matematica/27) - O que houve no v13 (provas em
docs/matematica/26) - O que houve no v12 (provas em
docs/matematica/24e25) - Reprodução (corrida v12)
- Arquitetura v12 (12 tarefas, ~18,0M parâmetros)
- Verificações (verdes)
- Histórico
- Licença
- O que há de novo no v19 — ACOPLAMENTO JEPA↔ENCODERS DE PRODUÇÃO (A/B pareado) · SONICMOE NO TRONCO (opt-in) · DATASETS REAIS (provas em
KHTST — modelo multimodal PT-BR (v16 KHMAMBAJEPA: QUANTIZAÇÃO TORCHAO REAL auto CPU/GPU · MC-JEPA VICReg em CYTHON com gradiente analítico · GUARDA ANTI-COLAPSO Brain-JEPA · AUTORREGULAÇÃO TOTAL treino+inferência (Robbins–Monro) · ROBÔ LeRobot ×4 + MATEMÁTICA verificável ×5 · 14 tarefas)
KHTST é um modelo multimodal compacto para PT-BR com roteamento por S-SOM,
janela PARALELA de contexto (N_MAX_TOKENS 393.216), classificadores Jev
auto-calibrados, o tronco causal híbrido MAMBA-3 5:1 (v12), otimização
MuonClip + AdamW, a quantização GSQ (Gumbel-Softmax) com decaimento
analítico de τ e restrição RCO no Stiefel com gradiente riemanniano no
backward (v13) e — novidade v14 — a EXTENSÃO DO GSQ+RCO A TODOS OS
MECANISMOS: Random Forest com buffer compacto (256×) e codebook Stiefel
com DECORRELAÇÃO DAS ÁRVORES provada, RCO nas NoPE com cota estrutural do
logit (ℓ_max ≤ d/√dh — QK-Clip estruturalmente INATIVO), GateGSQ nos
mecanismos de atenção, ajuste analítico K/τ_min (trade-off compressão×
erro do codebook), percepção conjunta imagem ⊕ profundidade ⊕ vit_lra com
DETECÇÃO PARALELA DE ESCALA DE CINZA e lote efetivo por acumulação de
gradiente. Provas em docs/matematica/27.
✅ TREINO CURTO REAL v14: APROVADO (6/6) — pareado A/B (corpus real de 620 registros, dois pontos de operação, honestos): • mesmos 60 UPDATES do otimizador: baseline 9,712 → 8,035 (1,209×) vs v14 total 9,752 → 5,707 (1,709× — 41% de ganho por update) com o lote efetivo 2 (2× dados por update, Var do gradiente ↓ √2); • mesmo orçamento de dados (60 lotes): v14 1,123× (lote dobrado faz metade dos updates — trade-off clássico, publicado). Métricas ESTRUTURAIS EXATAS: δ ortogonal das NoPE-Stiefel = 0,0, RF-GSQ buffer 256× menor (347.136 → 1.356 B reais), δ_ort do codebook 1,6e-06, erro VQ honesto 1,05 (cobertura), RF retreinado 7× (224 árvores), entropia do seletor 0,87 (afiamento), cinza_score 0,69 nos dados reais, gates da percepção conjunta vivos (α 0,0047 · γ₁ −0,024). Relatório:
telemetria_out/metricas_v14.json.✅ v13: ablação A/B (40 passos): GSQ+RCO 1,112× vs baseline 1,081×; δ_ort 7,9e-06; v12: sonda de fidelidade 0,021 (recarga ~100× mais fiel), 12 suítes verdes, RAM pico 3.066 MB ≤ 3.580. A corrida longa (8 h + 1 h) fica para o ambiente do usuário (
scripts/04_treinar.py --teto_horas 9.0 --continuar_ate_horas 8.0 --estados_hf).
O que há de novo no v19 — ACOPLAMENTO JEPA↔ENCODERS DE PRODUÇÃO (A/B pareado) · SONICMOE NO TRONCO (opt-in) · DATASETS REAIS (provas em docs/matematica/31, memória em PLANO_KHMAMBAJEPA.md)
- JEPA acoplada aos encoders REAIS (
jepa_familia/acoplamento.py): vistas de tokens que COMPARTILHAM os pesos deCodificadorImagem/Audio/ Video— o gradiente da auto-supervisão treina o encoder que o modelo realmente usa (Teo 31.2 — regra da cadeia exata; sem gêmeo paralelo). Alvo EMA pós-step com guarda de ordem por variante (Teo 31.6) e conselho renormalizado com nascimento neutro (Teo 31.3). Opt-in:treino.jepa_acoplado.lambda(default 0 — v18 exato, Teo 31.1). - SonicMoE no TRONCO (opt-in
modelo.sonicmoe.ativo): execução com dispatch agrupado por expert + GEMM em tiles + telemetria IO; gate é fonte única (_computar_gate) — equivalência provada e medida (Teo 31.4: Δy ≤ 7.1e-8 em produção, Δgrad ≤ 2.1e-7, gate bit-idêntico); roofline HONESTO (Teo 31.5): ganho de IO de pesos (pilha evitada 2.21 MB/forward, 2.0× modelado) — wallclock CPU nesta escala 0.83–0.875× (reportado como está). - A/B/C PAREADO em dados reais (Teo 31.7): 3 braços × 96 passos, corpus REAL de 1015 registros (395 frescos de LeRobot/GSM8K/MATH-500/ hendrycks/OpenR1/IFM), pareamento EXATO por re-seed pós-construção + gerador dedicado nas máscaras + conselho em eval. Resultados: baseline 1.606× · v19 λ=0.3 1.545× (ΔCE +0.090) · v19 λ=0.1 1.573× (ΔCE +0.046) — monótono em λ (Cor. 31.7); JEPA acoplada APRENDE (perda −74%); encoders recebem o gradiente extra (drift 8.3e-4 vs 7.0e-4).
- Verificação: suíte v19 34/34 verdes · verificar_tudo 49✓/0✗ ·
regressão v1–v18 TODA VERDE · evidências em
graficos/v19/v19_evidencias.pngetelemetria_out/v19_relatorio_ab.json.
O que há de novo no v18 — ROBUSTEZ · IPC MODELO→MODELO · FAMÍLIA JEPA + SONICMOE + REPLAYSSM (provas em docs/matematica/30, memória em PLANO_KHMAMBAJEPA.md)
- Robustez provada (doc 30, Teos 30.1–30.6): clamps de sanidade no
kernel Mamba-3 (contração SEMPRE, gradiente intacto); weight decay
espectral desacoplado do Muon (1e-4); Newton-Schulz com precisão
adaptativa (fp32 p/ ‖G‖<1e-3); PCGrad com normalização de magnitudes
por EMA (anti-dominação); agenda τ conservadora do GSQ (τ_min=0.5,
t_alvo=400); guarda de ordem EMA do JEPA com
RuntimeError. - Lógica (Teos 30.7–30.8):
validar_configaborta treino inviável ANTES do primeiro passo; telemetria com níveis + rotação de logs + histórico limitado (vazamento de memória eliminado); treinador refatorado em 4 mixins + facade (API pública intacta, regressão v1–v17 toda verde). - IPC Modelo→Modelo (Teos 30.9–30.10): memfd selável + ring SPSC
lock-free (atomics C11/GCC, layout binário idêntico ao crate Rust em
src/khtst/ipc/rust/) + passagem de FD via SCM_RIGHTS + frames com CRC32; demo real em 2 processos (64 frames ecoados, 0 descartes). - Família JEPA (Teos 30.11–30.15): 10 variantes (Image, V-JEPA 2, MC, Audio, Point, 3D, Brain, T, Le, BJEPA) + ConselhoJepas multimodal (texto+imagem+vídeo+som+pontos+3D+cérebro) com gating renormalizado; SonicMoE (dispatch agrupado + tiles + int8, telemetria IO 64×); ReplaySSM (reservoir de estados com re-injeção e drift medido); hardware chinês (NPU Ascend/MLU Cambricon) com detecção automática e CPU auto-vetorizada.
O que há de novo no v17 — PACOTE DE APRIMORAMENTO + AUTORREGULAÇÃO HÍBRIDA (provas em docs/matematica/29, memória em PLANO_KHMAMBAJEPA.md)
Auditoria completa (lógica + integração + matemática) dos 6 módulos
submetidos na rodada — difusao_gradiente, metricas_qe_ct,
lambda_c_unificado, tradeoff_k, jepa, config — com 14 defeitos
D1–D14 catalogados, corrigidos e PROVADOS (doc 29, Teos 29.1–29.16).
Pacote novo src/khtst/aprimoramento/ — nenhum módulo de produção foi
modificado (zero regressões; 17 suítes verdes).
| correção/aprimoramento | defeito corrigido | prova |
|---|---|---|
| λ_diff VIVO na difusão: a "autoajuste por gradiente" do rascunho era triplo código morto (λ sem grad, controlador nunca chamado, perda sem λ). Agora: L(λ)=λ·L_diff+ρ(λ−λ₀)² com hipergradiente EXATO (∂L/∂λ = L_diff+2ρ(λ−λ₀), erro ZERO — L é afim+quadrática) e âncora que dá ÓTIMO INTERIOR provado λ*=λ₀−L_diff/2ρ; regret do EG ≤ G√(2T·ln(λmax/λmin)) | D1 | Teo 29.2 |
| EMA Polyak no denoiser (avaliar/amostrar com θ̄ — Jensen: L(θ̄) ≤ média L(θ_t)) | D2 | Teo 29.3 |
QE+CT comparáveis: CT por COORDENADA (÷B·D — a soma bruta crescia com a dimensão); QE relativo a ‖x‖² (invariante a reescala); campo normalizar do config VIVO |
D3, D14 | Teo 29.4 |
| "ganho real" com NÍVEL α controlado: Student-t unilateral por delta + Bonferroni (α/2 cada) — P(falso ganho) ≤ α; medido: 0/60 falsos-positivos; Hoeffding finito opcional com raio DECLARADO (o range observado INVALIDA a cota — correção honesta da 1ª versão da prova) | D4 | Teo 29.5 |
| te_antigo via cKDTree: O(N·log G) vs O(N·G); ≡ força bruta bit-a-bit em 100 grades | D5 | Teo 29.6 |
| λ_c com sinal SUAVIZADO VIVO: o rascunho computava a média da janela e JOGAVA FORA (usava ε² instantâneo); agora Δ = ε̄²−alvo (Var reduzida ×W, sem viés) + modo reversão + agenda RM opcional (η_t=η₀/(1+t/τ): Ση=∞, Ση²<∞ ⟹ q.c.) | D6, D7 | Teo 29.7 |
| Ĉ de Zador ESTIMADO por OLS log-log (C=1 fixo era irreal): consistência por LLN, TESTE DO MODELO pela inclinação (p̂≈−2/d; se falha, cai para a grade honestamente), shrinkage ao prior; UNIMODALIDADE de J1 provada (G(K) estritamente crescente ⟹ raiz única ⟹ minimize_scalar acha o GLOBAL) + forma fechada K*=[(1−λ)2C·ln d/(λd)]^{d/2} + elasticidade honesta ∂lnK*/∂lnC = d/2; λ_c adaptativo integrado | D8, D9 | Teos 29.8/29.9 |
| JEPA anti-colapso POR DIMENSÃO: a variância POOLADA do rascunho não vê colapso parcial (contraexemplo σ=(2,0): poolado 0, per-dim 0,5); Jensen + lei da variância total ⟹ per-dim ≥ poolado SEMPRE; condicional morto removido; pooling adaptativo substitui truncamento (contração ‖Pz‖≤‖z‖/√r vs energia descartada); EMA cosseno BYOL opt-in; colapso não é mínimo local (é MÁXIMO do hinge — com honestidade sobre o kink) | D10–D13 | Teos 29.10–29.13 |
| CONTROLADOR HÍBRIDO RM+PI+bisseção — a recursão única u_{t+1}=Π[u_t+a_t·s_t+b·e_t+c·Δe_t], θ=θ₀e^u: telescoping do D (Σc·Δe = c(e_T−e₀) — nunca desestabiliza), duas escalas de Borkar, anti-windup direcional; τ_qk por banda [80,120] com semântica PÓS-CLIP (ℓ=min(ℓ_nat,τ) — direção do colchete corrigida; escala exata por Teo 24.7); setpoint convergiu com e∞=0.0000 (θ=0.6000 exato) — a 1ª implementação tinha DUPLA integração do I; a suíte prendeu e corrigiu | lacuna estrutural da v16 | Teos 29.14–29.15 |
| TABELA DE SINAIS de 18 parâmetros (a autorregulação agora cobre o que a v16 não cobria): AdamW β₁/β₂/ε/wd, Muon momentum/escala/τ_qk, PRS η_up/η_down/T_ciclo/decay_piso/percentil, PESO_MOE, PESO_SOM, ABMO margem, CIAR κ, crescimento expand/prune — centros = constantes v16 (nascimento NEUTRO), limites seguros (permanência EXATA provada), sinais adimensionais ±1, TelemetryHub registra 100% (35 chaves), adaptadores para MuonClipAdamW real (β/ε/wd/momentum/escala/τ escritos e passo bem definido) e PRS | lacuna estrutural da v16 | Teo 29.16 |
✅ v17: suíte nova 56 verificações verdes; verificar_tudo 49✓; regressão v1–v16 TODAS verdes (25/36/45/37/33/49/45/✓/22/49/68/29/28/ 40/—/53) + smoke18 — ZERO regressões. Cython prioritário: o VICReg completo delega ao kernel compilado (
motor=cythonmedido) com fallback honesto. Próximo passo: v18 (SonicMoE + ReplaySSM) e v20 (integração da tabela no treinador com produtores de sinal reais).
O que há de novo no v16 — KHMAMBAJEPA (provas em docs/matematica/28, memória em PLANO_KHMAMBAJEPA.md)
| inovação | onde | prova |
|---|---|---|
QUANTIZAÇÃO TORCHAO REAL (inferência) com detecção automática CPU/GPU: subclass Int8Tensor (kernel nativo int8pack no CPU; int4 tinygemm em CUDA sm≥8.0) — 237 camadas, compressão 3,92×, erro relativo 0,39% ≤ cota h/√12 (Teo 28.1), Δperda FP32→int8 = 0,000; exclusões provadas (lm_head — sensibilidade exponencial; especialistas MoE — aten.stack ausente no subclass; camadas finas); rollback atômico (Teo 28.4) |
quanta/torchao_quant.py (novo), config.py |
Teos 28.1–28.4 |
MC-JEPA/Brain-JEPA em CYTHON (mc_jepa.pyx — OpenMP/BLAS): perda VICReg + GRADIENTE ANALÍTICO (o rascunho tinha perda sem gradiente): cancelamento EXATO do centro na variância (Σ centrado=0, eq. 28.12), covariância em forma fechada (eq. 28.14); validação: diferença central 4,2e-11 (regime sem kink), ≡ autograd torch 9,6e-9; ponte autograd MCJepaFn — treino ponta a ponta; o fator ½ mascarado por verificações inconsistentes foi EXPOSTO pelo FD e corrigido |
acelerado/mc_jepa.pyx (novo), treino/jepa_cython.py (novo) |
Teo 28.9 |
| GUARDA ANTI-COLAPSO do passo Brain-JEPA: φ = fração de features com σ < 0,1γ; passo REJEITADO quando φ > 0,5 (o rascunho treinava colapsado — ponto fixo ruim de L_inv) | treino/jepa_cython.py |
Teo 28.10 |
AUTORREGULAÇÃO TOTAL (treino + inferência): recursões de Robbins–Monro MULTIPLICATIVAS em log-escala (Σa=∞, Σa²<∞ ⟹ convergência q.c.; separação de duas escalas de Borkar): lr (progresso padronizado), λ's auxiliares (razão aux ≤ ½ — mantém a CE primária), MoE (entropia das frações de roteamento), TODOS com limites seguros e nascimento neutro; INFERÊNCIA: temperatura calibrada por ENTROPIA-ALVO (bisseção contrátil, erro ≤ 2^-k) em gerar(temperatura_auto=) |
nucleo/autorregulador.py (novo), treino/treinador.py, nucleo/modelo.py |
Teos 28.5–28.8 |
ROBÔ LeRobot ×4 + MATEMÁTICA ×5 (14 tarefas): allenai/fetchman-data (902 instruções REAIS de meta/tasks.parquet), endoard/grab_ball_3cam_skin, SoSolaris/Astra_test_*, mulligan/sim-square-narrow-c00-teleop-mixed (frames de câmera com orçamento honesto — ≤4 mp4/fonte, meta documenta); pltops/evosynth-gsm8k, HuggingFaceH4/MATH-500, EleutherAI/hendrycks_math ×2, open-r1/OpenR1-Math-220k, IFM/Math-Reasoning@socratic — resposta canônica VERIFICÁVEL (sinal de rótulo ZERO); degradados documentados: heatherwhite/math-collection (só schema sample) e 3DTopia/4DNeX-10M (tar.gz ~680 MB não amostrável) |
tarefas.py, dados/streaming.py, config.py, scripts/19_teste_v16.py |
Teos 28.8-b/c |
✅ TESTE REAL v16 (corpus 903 = 620 v13/v14 + 283 novos): baseline v15 9,769→5,395 (1,811×); v16 com JEPA+VICReg(λ=0.1)+autorreg 9,724→7,501 (1,296×) — leitura honesta: o termo auxiliar de representação troca velocidade de CE por representação sem colapso (var_latente 0,70, guarda ativa); a própria teoria (Teo 28.7-ii) prescreve λ≤0,1 — a razão auxiliar 0,8 com λ=0,3 VIOLAVA a cota e foi corrigida. torchao: 3,92× com Δperda 0,000 (int8 real). Autorregulação viva (demo a0 acelerado: λ_moe_lb 1,00→1,74, lr 1,00→1,04; temperatura por entropia-alvo na inferência). Suíte v16: 45 verificações verdes; regressão v1–v15 completa. Relatório:
telemetria_out/metricas_v16_*.json.
O que houve no v14 (provas em docs/matematica/27)
| inovação | onde | prova |
|---|---|---|
| GSQ+RCO no RANDOM FOREST (eficiente): buffer compacto (id uint8 + norma fp16 = 3 B/amostra vs 4d B — 256×; matriz densa só no retreino, just-in-time); CODEBOOK STIEFEL aprendido pelo path suave da DNN (gradiente riemanniano — RGD); DECORRELAÇÃO DAS ÁRVORES: Cov(⟨u,c_a⟩,⟨u,c_b⟩) = ⟨c_a,c_b⟩/d = 0 para átomos ⊥ — derruba a parcela ρσ² de Breiman que o bagging NÃO remove; pesos de árvore ∝ 1/Var (Teo 23.7 fechado) | ensemble/cabecas.py (CabecaRF_GSQ), quanta/gsq_rco.py (QuantizadorGSQRF) |
Teos 27.1, 27.3 |
| RCO nas NoPE (W_q, W_k ∈ St(d,d)): cota ESTRUTURAL do logit ℓ_max ≤ ‖W_q‖₂‖W_k‖₂·max‖x‖²/√dh = d/√dh = 27,7 < τ_qk = 100 — QK-Clip ESTRUTURALMENTE INATIVO (a restrição riemanniana SUBSTITUI o clip corretivo; contraprova sem RCO: 3.269); proporção 5:1 preservada | mamba3/hybrid.py, mamba3/tronco.py |
Teo 27.2 |
| GATE GSQ nos MECANISMOS DE ATENÇÃO: seleção global/janela/linear dos encoders quantizada (GateGSQ — Concrete→Categorical com τ compartilhado; nascimento neutro uniforme; exploração Gumbel-max) + gate cooperativo com softmax_gsq sobre logits x-dependentes | percepcao/atencao.py, percepcao/ortogonais.py, nucleo/modelo.py |
Teo 27.4 |
| AJUSTE ANALÍTICO K/τ_min (compressão × erro): J(K) = (1−λ_c)·ε²(K) + λ_c·log₂K/log₂d; K* = argmin por varredura EXATA sobre o espectro REAL do buffer (verificação independente idêntica — K*=68); τ_min* = min(barreira, Δ₂/4) com Δ₂ o gap real dos logits (afiamento ≥ 98,2%); ECKART–YOUNG no modo subespaço: ε² = 1 − E(K) (Ky Fan) — ε² 0,75 → 0,55 por RGD | quanta/gsq_rco.py (ajustar_k_tau_min), ensemble/cabecas.py (calibrar_k_tau_min) |
Teos 27.5, 27.6 |
PERCEPÇÃO CONJUNTA + CINZA PARALELO: PercepcaoConjunta (imagem ⊕ LRA-iluminação; DETECÇÃO PARALELA DE ESCALA DE CINZA sobre a imagem CRUA — χ = (max−min)/(max+ε), s = 1−χ̄: identidade R=G=B ⟹ s=1 EXATO, Lipschitz 2δ/m̄ honesta, gate γ_c nascido 0); nascimento neutro α=0 (‖Δ‖ = 0,0 exato); canal 3D intacto (não-expansão T25.4 preservada) |
percepcao/percepcao_conjunta.py (novo), percepcao/vit_lra.py |
Teos 27.7, 27.8 |
| LOTE EFETIVO por ACUMULAÇÃO DE GRADIENTE (requisito "aumentar lote" sob RAM 4 GiB): E[ĝ_acc] = ∇L(lote cheio) EXATO (linearidade); Var ↓ √n_acc; lote FÍSICO 4 (RAM) · EFETIVO 2–16; τ avança por OTIMIZADOR (não por micro); PCGrad compatível; exato em modelo linear medido (3e-8) | treino/treinador.py |
Teo 27.9 |
Alcance configurável (opt-in): gsq_rco.alcance = [alinhamento, nope, gate_atencao, gate_cooperativo] + ensemble.quant_gsq + modelo.percepcao_conjunta + treino.lote_efetivo — cfg v13 reproduz o v13 BIT-A-BIT (regressão T27.10) |
config.py |
Teo 27.11 |
O que houve no v13 (provas em docs/matematica/26)
| inovação | onde | prova |
|---|---|---|
| GSQ (Gumbel-Softmax Quantization): logits (n×K) + codebook de centros; y_soft = softmax((l+g)/τ) com g ~ Gumbel(0,1); τ→0 ⟹ one-hot a.s. (Concrete→Categorical); barreira do gradiente 1/(2τ) ⟹ piso τ_min = 0,25 | quanta/gsq_rco.py |
Teos 26.4-i/ii |
| DECAYMENTO ANALÍTICO de τ: τ(t) = τ_min + (τ_0−τ_min)·e^(−t/T_τ); inversão exata t*(δ) = T_τ·ln((τ_0−τ_min)/δ) ⟹ T_τ = t_alvo/ln((τ_0−τ_min)/δ) (defaults: τ_0=2,0, τ_min=0,25, δ=0,05, t_alvo=600 ⟹ T_τ=308,1); Σ 1/τ(t) finita (Robbins–Monro preservado) | quanta/gsq_rco.py (AgendadorTau), treino/treinador.py (hook pós-step) |
Teos 26.5-i/ii/iii |
| RCO — STIEFEL (matriz ortogonal COMPLETA): W_ort = R(y_soft·C) com retração QR de sinal positivo — W_ortᵀW_ort = I EXATO a cada forward (2,9e-14 float64; 7,9e-06 float32) — restrição INVARIANTE do fluxo (sem renormalização periódica); retração alternativa polar/SVD (Procrustes — Eckart–Young) | quanta/gsq_rco.py (RetracaoStiefel/MatrizStiefel), acelerado/rco_gsq.pyx |
Teos 26.1, 26.1-b, 26.9-i |
| GRADIENTE RIEMANNIANO no backward (Projeção da Tangente): g = P_Y(Ĝ) = Ĝ − Y·sym(YᵀĜ) — adjunto EXATO no tangente (err ≤ 5,7e-10), gradiente tangente (resíduo 3,8e-14), LEMA DA DESCIDA no manifold (4,39 → 0,68); treino PONTA A PONTA (RGD de Absil/Boumal no autograd) | quanta/gsq_rco.py |
Teos 26.2, 26.3-a/b/c/d |
| KERNEL CYTHON OpenMP/BLAS/LAPACK: rascunho do usuário analisado — 5 bugs corrigidos (B1 alocação em nogil; B2 LAPACK column-major; B3 work-query + info; B4 GEMM + layout col-major; B5 aliasing in-place no sinal) e 4 melhorias (dgemm AVX-512, −ffast-math REMOVIDA com justificativa IEEE-754, prange static, métricas/seed expostos) | acelerado/rco_gsq.pyx (novo), acelerado/setup.py |
Teo 26.6, doc 26 §5 |
| PIPELINE HÍBRIDO CPU/GPU com detecção automática: CUDA → CuPy → CPU OpenMP; mesma semente Gumbel nas engines; equivalência provada — PROJETOR colunar único Q·Qᵀ = P_span(M) (QR×polar: 1,9e-15, vale rank-deficiente) e MESMA retração QR-sign em engines distintas (2,4e-13, rank cheio); QR-sign ≠ polar (rotação W = HR⁻¹ — nota honesta) | scripts/12_gsq_rco_hibrido.py (novo), quanta/gsq_rco.detectar_hardware |
Teos 26.7, 26.8-a/b/c/d/e |
Integração treino: modo de alinhamento opt-in ("qr" default — nascimento neutro; "rco"; "gsq_rco"), agendador de τ COMPARTILHADO no treinador, telemetria gsq_rco/tau·entropia·erro_ort, gate GSQ no AdamW (Newton-Schulz proibido em parâmetros de seleção — Teo 26.10) |
nucleo/modelo.py, treino/treinador.py, treino/otimizadores.py, config.py |
Teos 26.9, 26.10, 26.11 |
| Métricas verificadas (A/B com dados reais): GSQ+RCO aprende 1,112× vs 1,081× do baseline em 40 passos (τ ainda alto — o ganho cresce com o afiamento); gradientes vivos nos 3 grupos (logits 6,9e-3 · centros 9,9e-3 · escala 3,3e-2) | scripts/13_treino_curto_v13.py (novo), telemetria_out/metricas_v13.json |
doc 26 §8 |
O que houve no v12 (provas em docs/matematica/24 e 25)
| inovação | onde | prova |
|---|---|---|
TRONCO MAMBA-3 substitui o transformer: a pilha causal principal (6 camadas) agora é CamadaTroncoM3 — 5 Mamba-3 seletivas + 1 NoPE (proporção EXATA do requisito), microunidades/MoE/roteador preservados nos canais; MixtureOfAttention REMOVIDA do tronco |
mamba3/tronco.py (novo), nucleo/modelo.py |
Teos 24.12, 24.14 |
| Decode INCREMENTAL equivalente à varredura: prefill semeia (h_L, janela) e o decode T=1 aplica a recorrência de UM passo — memória O(1)/camada Mamba-3, KV-cache só na NoPE (÷6); Δ = 1,8e-06 medido | mamba3/hybrid.py, kernel.py |
Teo 24.13 |
| MuonClip + AdamW: Muon (momentum Nesterov + Newton-Schulz quintico — descida MAIS ÍNGREME sob ‖·‖₂, progresso ∝ ‖G‖_*) nas matrizes do tronco; AdamW nas tabelas lexicais/vetores (ortogonalização proibida — Teo 24.6); UM otimizador, compatível com ABMO/CIAR/RPP (η único — Teo 24.9) | treino/otimizadores.py (novo) |
Teos 24.1–24.11 |
| QK-Clip: ℓ_max medido por forward; W_q escalado por γ = τ/ℓ_max pós-step — invariante ℓ_max ≤ τ, softmax JAMAIS satura (p_max limitado), W_k/W_v intocados | treino/otimizadores.py |
Teos 24.7–24.8 |
| Percepção 3D PROVADA: profundidade por bins ORDINAIS (isotonia — 0 inversões), distância radial LIPSCHITZ (3π/R_max), camadas topológicas com separação mínima, fusão NÃO-EXPANSIVA (α+β+γ=1) | percepcao/profundidade.py (novo), mamba3/mamba3vl.py |
Teos 25.1–25.4 |
| ACELERAÇÃO da percepção 3D: O(P) vs O(P²) em 6 camadas — P*=320 pontos de equilíbrio; 1,65× @P=500, 3,61× @P=2000, →6× com P (contagem no teste) | percepcao/profundidade.py |
Teos 25.5–25.6 |
| Produtor 3D com dados REAIS: nuvens do lote visual pelo proxy calibrado z = 1 − L^γ (monotônico, Lipschitz, DECLARADO); Mamba-3VL TREINA (codificar_multimodal sem no_grad, gradiente na nuvem + profundidade) | treino/treinador.py |
Teo 25.7 |
ACESSO LÓGICO AOS DIFUSORES: RoteadorDifusao — partição bayesiana DISJUNTA e COMPLETA das rotas (txt2img/img2img/inpaint), prior de intenção limitado (entropia ≤ ln 13), Teo 17.1 com embeddings REAIS, seed determinística, PNG no retorno, import LAZY de diffusers |
geracao/difusao.py, nucleo/modelo.gerar_imagem |
Teos 25.8–25.10 |
Órfãos corrigidos (13): bug LISTA_TAREFAS sem import (NameError latente na fase SOM), bug _ultimo_oculto_mamba3 (features do ensemble nunca vinham do Mamba-3), perda_total morta REMOVIDA, INTENCOES 13 = fonte única, janela 1M na sessão adhoc, CacheRAM no cache RLHF, HubFerramentas+CicloPDCA no canal/serviço, documentos locais na coleta, classificador de protótipos no teste real |
múltiplos módulos | doc 25 §9 (tabela) |
| Fidelidade de recarga (análise de métricas): sonda δ 2,0 → 0,021 (pós-treino) e 0,0 exato em eval limpo; janela/classificador cobertos pelos extras mx/ (sem duplicação de memória no safetensors — detectado e corrigido no treino real) | treino/estado_integral.py |
doc 25 §10 |
Reprodução (corrida v12)
python3 scripts/01_verificar_ambiente.py
python3 scripts/10_teste_dados_reais.py # GATE: dados reais ANTES do treino longo
python3 scripts/11_coleta_curta_v12.py # coleta curta (validação) — opcional
python3 scripts/02_coletar_corpus.py # coleta completa (inclui fonte local v12)
python3 scripts/03_treinar_tokenizador.py
python3 scripts/04_treinar.py --orcamento 1500 \
--teto_horas 9.0 --continuar_ate_horas 8.0 \
--estados_hf # estados ao Hub antes de 900 MB
python3 scripts/05_avaliar.py
python3 scripts/08_graficos_card.py
python3 scripts/06_publicar_hf.py # commit único (sem uploads parciais)
Núcleos acelerados (Cython+C — OBRIGATÓRIOS, Teo 21.13):
cd src/khtst/acelerado && python3 setup.py build_ext --inplace
python3 -c "from khtst.acelerado import status; print(status())"
Arquitetura v12 (12 tarefas, ~18,0M parâmetros)
src/khtst/ — núcleo (LM head empatada + janela 393K), mamba3/ (kernel
trapezoidal + tronco híbrido 5:1 + decode incremental + 3D-VL
bidirecional + checkpointing), percepcao/profundidade.py (canais provados
de profundidade/distância/camadas), geracao/difusao.py (roteador lógico
dos difusores), treino/otimizadores.py (MuonClip+AdamW), ensemble/ (RF +
DNN + destilação bidirecional + engram), memória (S-SOM + 8 variantes),
treino (4 fases + PCGrad + CIAR + gates + DPO RLHF real), servico (adhoc com
ferramentas + janela 1M), quanta (W8A8), telemetria, qualidade (Agente
Engenheiro), acelerado (Cython+C).
Tarefas: lm · noticia · pontuacao · instrucao · tts · vqa · ocr · imagem_caption · asr · traducao · raciocinio · classificacao
| componente | detalhe |
|---|---|
| tronco principal (v12) | MAMBA-3 híbrido 5:1 — 6 camadas [M,M,M,M,M,A], d=192, N=16, rank MIMO 4, d_ff 512; microunidades+MoE enc-dec nas camadas compostas; checkpointing ON |
| decode | prefill varredura → estados (h, janela) → recorrência de 1 passo; KV-cache SÓ na NoPE (1/6 das camadas) |
| otimizador | MuonClip + AdamW: Newton-Schulz 5 it. nas matrizes (momentum 0,95 nesterov, escala 0,2·max(1,√(m/n))), AdamW (0,9; 0,95; wd 0,01) nas tabelas; QK-Clip τ=100 |
| Mamba-3VL | 3D-VL bidirecional (6 camadas) + percepção de profundidade (16 bins), distância radial, 4 camadas topológicas; nuvem (B,P,3) ⊕ texto |
| difusores | roteador lógico txt2img/img2img/inpaint + força semântica real + seed determinística + ciclo fechado SOM |
| ensemble | RF 32 árvores (warm_start) × DNN 96-48 × engram 256×8; KD simétrica τ=2; features DO TRONCO Mamba-3; v14: buffer COMPACTO GSQ (3 B/amostra) + codebook Stiefel + pesos ∝ 1/Var |
| percepção conjunta (v14) | imagem ⊕ LRA-iluminação com detecção PARALELA de cinza (s = 1−χ̄) e fusão neutra α=0; canal 3D da profundidade fundido no Mamba-3VL (não-expansivo) |
| janela de contexto | entrada 256K + saída 128K (N_MAX_TOKENS = 393.216), janelas paralelas W=192K/E=64K |
| classificadores | Jev escolha/escore/noul + critérios DINÂMICOS + classificador de protótipos reais |
Verificações (verdes)
- Suíte v14 (nova): 39 ✓ — decorrelação das árvores (Cov 3e-4 vs 6,3e-3), cota do logit NoPE-RCO (4,3 ≤ 27,7; contraprova 3.269), buffer VQ 256×, Eckart–Young no subespaço (0,55 < 0,75), K* argmin exato (68/68), barreira dupla τ_min, cinza (identidade s=1,0; Lipschitz 0,034 ≤ 0,040), percepção conjunta neutra (‖Δ‖ = 0,0), acumulação exata (3e-8), integração total + regressão v13.
- 13 suítes verdes: 465 ✓ / 0 ✗ (v1 25 · v2 36 · v3 ✓ · v4 37 · v5 32 · v6 48 · v7 44 · v9 21 · v10 ✓ · v11 ✓ · v12 28 · v13 27 · v14 39).
Histórico
- v19 — acoplamento JEPA↔encoders de produção com A/B/C pareado (Teos 31.1–31.7), SonicMoE no tronco opt-in com equivalência provada, dados reais 1015 registros; suíte v19 34/34, regressão zero.
- v18 — robustez provada (Teos 30.1–30.8), IPC Modelo→Modelo Rust/Cython (Teos 30.9–30.10), família JEPA 10 variantes + SonicMoE + ReplaySSM + hardware chinês (Teos 30.11–30.15); suíte v18 46/46, regressão v1–v17 zero.
- v11 — Mamba-3 híbrido auxiliar, Mamba-3VL, checkpointing, ensemble RF×DNN×KD×Engram, 12 tarefas, 9 datasets + RLHF real, estados < 900 MB.
- v10 — janela paralela 256K→128K, classificadores Jev (ppl_lm 2,58 vs AURORA 17,09). v9 — estado integral + gates + CIAR. Docs 00–25 com as provas completas.
Licença
MIT (herdada do projeto).