Lançado em fevereiro de 2025, o modelo conta com um limite de até 128.000 tokens sendo muito útil para tarefas medianas.
Sobre o Modelo
O Microsoft Phi-4-Mini, possui cerca de 3.8 bilhões de parâmetros, é um modelo denso do tipo decodificador composto, é dos modelos de linguagem pequenos (Small Language Models - SLMs).
• Rodando o modelo localmente:
Este modelo pode ser testado facilmente utilizando o ollama:
Execute um prompt:
ollama run phi4-mini "Faça um programa em assembly para x86-64 que salve um valor na memória, some 2 e mostre o resultado"
• Foco em desempenho
Foi desenvolvido especificamente para mitigar latência e o consumo de memória, gargalos muito comuns em modelos maiores.
Possui uma topologia densa que oferece previsibilidade estrita de latência e consumo de memória de acesso aleatório de vídeo(VRAM).
• Estrutura
A topologia do Phi-4-Mini usa como base 32 camadas Transformer com um tamanho de estado oculto (hidden size) de 3.072.
Pensando em economia de espaço, o Phi-4-Mini adota o conceito de tied input/output embeddings, onde as matrizes de entrada e saída compartilham os mesmos pesos. Na prática, isso reduz o tamanho final do modelo em disco e exige menos VRAM para rodar.
Para o tratamento de fluxos de sequências longas e otimização do cache de chaves/valores (KV cache), foi implementado o mecanismo de atenção de consulta agrupada (Grouped-Query Attention - GQA) utilizando 24 cabeças de consulta (query) e 8 cabeças de chave/valor (key/value).
Outro refinamento inclui o algoritmo LongRoPE, estendendo a janela de contexto de forma nativa para até 128.000 tokens.
No phi4-mini a Microsoft substituiu o tokenizador anterior da série Phi-3.5 pelo tokenizador o200k_base do tiktoken, passando a ter um vocabulário expandido de 200.064 tokens.
Essa mudança permite ter uma taxa de compressão e representação de strings multilíngues muito superior, suportando 24 idiomas nativos sem perda de desempenho.
• Pré-treinamento
O modelo foi treinado com uma base de 5 trilhões de tokens de alta qualidade.
Contém:
- Dados públicos filtrados da internet
- Códigos-fonte consolidados.
- Conjuntos de dados educacionais licenciados.
- Dados sintéticos modelados no formato de livros didáticos, projetados para o ensino de lógica formal.
- Conceitos gerais e matemática elementar.
Para filtrar esses dados, foi usado um classificador de qualidade aprimorado e treinado em bases maiores, o que permitiu remover com alta precisão ruídos, dados tóxicos, páginas obscuras ou com viés de duplicação em múltiplos idiomas.
A computação necessária para o pré-treinamento do modelo base exigiu a alocação de 512 GPUs NVIDIA A100-80G rodando continuamente por 21 dias, consumindo aproximadamente 258.000 horas de GPU.
• Pós-treinamento
O pós-treinamento do Phi-4-Mini incluiu:
- Ajuste Fino Supervisionado (SFT),
- Otimização de Preferência Direta (DPO)
- Aprendizado por Reforço com Feedback Humano (RLHF).
Durante essa etapa, foram fornecidos dados focados em instruções gerais, chamadas de funções aplicadas a ambientes de múltiplos agentes e análise sintetizada de textos longos.
Essa etapa também inclui o fill-in-the-middle: que divide um bloco de código em três partes:
- Prefixo (código anterior),
- Sufixo (código posterior)
- Alvo (o meio a ser completado), forçando o modelo a compreender a estrutura lógica circundante de um bloco de programação.
• Comparativo de Desempenho
Os gráficos abaixo comparam o desempenho do Phi-4-Mini usando os benchmarks GSM8K para raciocínio matemático e HumanEval para geração de código.
O modelo apresenta uma evolução clara em relação ao Phi-3.5-Mini e ainda consegue empatar com o Qwen2.5 de 7B, um modelo com quase o dobro de parâmetros, tanto em raciocínio quanto em qualidade de código gerado.
Nenhum comentário ainda. Seja o primeiro!