← RAG con Ollama

Instalar Ollama y descargar tus primeros modelos

Preview gratis Sección 1 · RAG local con Ollama

En este video

  • Ves cómo funciona Ollama: un servidor local en 127.0.0.1:11434 que carga el archivo GGUF del modelo en la GPU o en la CPU
  • Instalas Ollama con el comando oficial de cada sistema y descargas llama3.2:3b con ollama pull, capa por capa
  • Revisas los ocho modelos del curso con ollama list, que en total ocupan 11.2 GB en disco, y pruebas uno con ollama run
  • Usas ollama ps, show y rm, y ubicas la carpeta de modelos o la cambias con OLLAMA_MODELS
  • Llamas a la API REST con curl: /api/tags lista los modelos y /api/chat responde con eval_count y eval_duration, unos 205 tokens por segundo
terminal 
# Windows (PowerShell)
irm https://ollama.com/install.ps1 | iex
# macOS y Linux
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
# Salida:
# ollama version is 0.40.5

ollama pull llama3.2:3b
# Salida:
# pulling manifest
# pulling dde5aa3fc5ff: 100%   2.0 GB
# pulling 966de95ca8a6: 100%   1.4 KB
# pulling fcc5a6bec9da: 100%   7.7 KB
# verifying sha256 digest
# writing manifest
# success

ollama list
# Salida:
# NAME                       ID              SIZE
# gemma2:2b                  8ccf136fdd52    1.6 GB
# phi3:mini                  4f2222927938    2.2 GB
# qwen2.5:3b                 357c53fb659c    1.9 GB
# llama3.2:1b                baf6a787fdff    1.3 GB
# llama3.2:3b                a80c4f17acd5    2.0 GB
# bge-m3:latest              790764642607    1.2 GB
# mxbai-embed-large:latest   468836162de7    669 MB
# nomic-embed-text:latest    0a109f422b47    274 MB

ollama run llama3.2:3b "¿Cuántos días tarda un envío nacional? En una frase."
# Salida:
# El tiempo de entrega de un envío nacional puede
# variar dependiendo de la distancia, el tipo de
# servicio y la ubicación, pero generalmente se
# puede esperar entre 3 a 9 días hábiles.

ollama ps
# Salida:
# NAME          SIZE      PROCESSOR    CONTEXT
# llama3.2:3b   2.6 GB    100% GPU     4096
# UNTIL: 4 minutes from now
ollama stop llama3.2:3b

ollama show llama3.2:3b
# Salida:
# architecture        llama
# parameters          3.2B
# context length      131072
# embedding length    3072
# quantization        Q4_K_M
# capabilities        completion, tools

# Solo un ejemplo: no lo ejecutes
ollama rm phi3:mini
# Salida:
# deleted 'phi3:mini'
ls ~/.ollama/models
# Salida:
# blobs  manifests  manifests-v2  metadata

curl http://127.0.0.1:11434/
# Salida:
# Ollama is running
curl http://127.0.0.1:11434/api/version
# Salida:
# {"version":"0.40.5"}
curl http://127.0.0.1:11434/api/tags
# Salida:
# {"models":[{"name":"gemma2:2b",
#   "size":1629518495,"format":"gguf",...

Recursos