Mundaú
Batizado em homenagem à lagoa Mundaú, em Maceió — onde a Alfa Boson nasceu.
Um encoder Transformer treinado do zero para o português brasileiro: tokenizer próprio (Aurélio v2, 32 mil peças), corpus curado de 3,5 bilhões de tokens com ênfase em linguagem jurídico-administrativa e pré-treino ELECTRA/RTD. Nenhum peso importado, nenhuma camada herdada — arquitetura PyTorch pura, da primeira linha ao deploy.
mundau125M-st — a variante de sentença
Fine-tune contrastivo para busca semântica por cosseno puro, sem sonda: Spearman 0.7354 no ASSIN2, empatado com o SBERT multilíngue de referência (0.7437) no mesmo protocolo, e separação de domínio de +0.598 nos pares-teste do domínio de licitações — o dobro do critério de aceite. Foi o único modelo testado a passar nesse critério: mpnet +0.271, serafim-335m +0.216, e o e5-large, mesmo com Spearman mais alto (0.7769), colapsa em +0.028.
Benchmarks — mediana de 3 seeds, sonda fine-tunada (protocolo interno)
- ASSIN2 · STS
- similaridade semântica (Pearson)
- ASSIN2 · RTE
- inferência textual (acurácia)
- LeNER-BR
- entidades nomeadas em textos jurídicos (F1)
No ASSIN2 (STS e RTE), supera os números publicados do BERTimbau Large (335M) e fica ao lado da Albertina (900M) — modelos de 2,7 a 7 vezes o seu tamanho; no LeNER-BR, fica a 2,5 pontos da Albertina. Referências conforme reportadas pelos autores, em protocolos próprios.
Na prática — cosseno nos pares-teste do domínio de licitações:
- “limpeza predial” × “asseio e conservação”0.817
- “merenda escolar” × “gêneros alimentícios p/ escolas”0.908
- “vigilância armada” × “segurança patrimonial”0.748
- “limpeza predial” × “tratores agrícolas”0.276