Como rodar IA local com Ollama — testes reais em i7 com 16GB RAM

Neste artigo, verá como instalar e também testes utilizando o modelo phi4-mini da Microsoft - um modelo leve e eficiente. 

Por que rodar IA local

A maior vantagem em rodar modelos locais é automatizar tarefas repetitivas, economizar tokens, melhor privacidade, e até rodar offline.

Facilidade: Rodar localmente é muito fácil porque o ollama, um gerenciador de modelos locais de IA, permite baixar/configurar/rodar/atualizar  facilmente. 

Instalação do Ollama:

Este exemplo abrange apenas instalações derivados do debian, como ubuntu, linux mint, mas pode usar também WSL no windows.
Do proprio site oficial do ollama abra o terminal e execute este comandos:

 1) Baixar e Instalar

curl -fsSL https://ollama.com/install.sh | sh

2) Verficiar se o serviço inicializou

systemctl status ollama.service

3) Baixando primeiro modelo: Phi4-mini - tamanho: 2,5GB

• Phi4-mini: um pequeno modelo codigo aberto desenvolvido pela Microsoft.

ollama pull phi4-mini

Nota: Com 11 MB/s de download, levou aproximadamente 4 minutos para baixar os 2,5GB do modelo.

4) Listar Modelos Baixados:

ollama list

Observações durante a execução:
A primeira vez que rodar o ollama run de algum modelo vai demorar um pouco mais para o modelo carregar, mas após isso o modelo já vai estar executando.
Para saber se o modelo já esta em execução veja:

ollama ps

Quando o modelo já estiver carregado, a execução será mais rápida. O modelo mantém os 3GB alocados na RAM para funcionamento contínuo.
100% CPU: significa que o processamento está alocado na CPU  (não em GPU). Não é um erro, é só informativo.

Rode um prompt para teste

ollama run phi4-mini "Faça um hello world em assembly x86-64"

para parar o modelo pode rodar: `ollama stop phi4-mini`.

Testes desempenho

Estado antes da execução do modelo, veja que aqui eu rodei ollama stop para parar o modelo, por isso uso tão baixo de CPU e a memoria usada está por volta de 7,5G(SO + ollama)

Rodei dois testes para medir diferença:

Prompt Simples (Hello World em Python): (time ollama run phi4-mini "Escreva um hello world em Python")

Neste segundo apos rodado o comando imediatamente apos finalizar tireie este print. 

Pode ver que o uso de memoria subiu para 10GB e o processamento do CPU foi alto  em um processo do ollama especifico.
Essa memoria total é a soma de Ollama + modelo juntos 


- Tempo total: 9,0 segundos
- Memória usada: ~3GB
- CPU: ~172-294%


Teste 2:

Prompt Complexo 

Considerações Finais:

O phi4-mini recebeu a ultima atualização em 2023, então varias mudanças sintaxe, estrutura, regras de varias linguagens mudaram drasticamente neste tempo:

O ideal é utilizar estes modelos para resolver tarefas especificas e repetitivas para obter o melhor desempenho de ambos os lados, a melhor forma para ter qualidade é utilizando ainda os modelos pagos para programação complexa. (Há formas de mitigar isso, vou mostrar em outro artigo).

Ollama tem origem ainda em 2023, epoca que o modelo LLaMA 1 da Meta era o principal no mundo do código aberto, nisso adicionaram o "O" de Open(Open Source) virando Ollama, mas apesar disso o ollama não tem relação com a microsoft ou com modelo LLaMa foi apenas hype do momento a nomenclatura.

Hardware nos testes: notebook i7 com 16GB RAM - Ubuntu 26.04.

Problemas: 

No ubuntu 26.04 assim como outros derivados definem o swappiness para 60 ou mais, nos meus teste quase toda a memoria utilizada foi na RAM. 

Se você tiver problemas de lentidão verifique se a sua memoria swap(uso intenso do SSD/nvme) pode degradar a eficiencia dos modelos, o ideal é que o modelo consuma APENAS a memoria RAM.
Verifique no terminal: sysctl vm.swappiness se o valor voltar acima de 60 mude para uns 20. rode sudo sysctl vm.swappiness=20 e execute o modelo novamente.