IA local en linux

 

Opciones Populares

1. Ollama (Recomendado para empezar)

bash
# Instalación
curl -fsSL https://ollama.ai/install.sh | sh

# Usar modelos
ollama pull llama2
ollama run llama2

2. GPT4All

bash
# Descargar desde su sitio web
# https://gpt4all.io
wget https://gpt4all.io/installers/gpt4all-installer-linux.run
chmod +x gpt4all-installer-linux.run
./gpt4all-installer-linux.run

3. Text Generation WebUI

bash
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
./start_linux.sh

🔧 Requisitos del Sistema

  • RAM: Mínimo 8GB (16GB+ recomendado)

  • Almacenamiento: 10GB+ espacio libre

  • GPU (opcional): NVIDIA con CUDA para mejor rendimiento

📦 Instalación con Docker

bash
# Para modelos de Hugging Face
docker run -p 8080:80 -v ./models:/models huggingface/text-generation-inference:latest --model-id <model-name>

🛠️ Instalación Manual de Dependencias

bash
# Ubuntu/Debian
sudo apt update
sudo apt install python3 python3-pip git wget

# Fedora
sudo dnf install python3 python3-pip git wget

# Arch Linux
sudo pacman -S python python-pip git wget

📚 Modelos Recomendados para Comenzar

  • Llama 2 7B: Buen balance entre rendimiento y recursos

  • Mistral 7B: Excelente rendimiento

  • CodeLlama: Especializado en programación

💡 Consejos Prácticos

  1. Comienza con modelos pequeños (7B parámetros)

  2. Verifica la compatibilidad de tu GPU

  3. Usa quantización para reducir uso de RAM

  4. Mantén el sistema actualizado

Comentarios

Publicar un comentario

Entradas más populares de este blog

ejercicios-Crear Carpeta y Archivo de Texto en Ubuntu

https://copy.sh/v86/?profile=linux26 Ejercicios para Practicar en Terminales Online Ejercicio Básico 1 - Práctica Inicial bash # En la terminal online, escribe estos comandos: whoami pwd ls mkdir practica cd practica touch archivo1.txt ls -l Ejercicio Básico 2 - Crear y Copiar bash # Continuación del ejercicio anterior echo "Hola mundo desde terminal online" > archivo1.txt cat archivo1.txt mkdir copias cp archivo1.txt copias/ ls copias/ cat copias/archivo1.txt Ejercicio Básico 3 - Exploración bash # Explorar el sistema cd / ls cd home ls cd ~ pwd Te voy a guiar paso a paso en un ejercicio muy básico y fácil para principiantes. ¡Vamos a hacerlo juntos! Paso a Paso del Ejercicio Paso 1: Abrir la Terminal Presiona  Ctrl + Alt + T  para abrir la terminal en Ubuntu. Paso 2: Crear una Carpeta Principal bash mkdir mi_primer_ejercicio Paso 3: Entrar a la Carpeta bash cd mi_primer_ejercicio Paso 4: Crear un Archivo de Texto bash touch mi_archivo.txt Paso 5...
Leer más

Instalar Docker en Ubuntu Server usando docker.io

  Tutorial: Instalar Docker en Ubuntu Server usando  docker.io Tutorial completo con  docker.io Paso 1: Actualizar el sistema bash sudo apt update sudo apt upgrade -y Paso 2: Instalar Docker desde los repositorios de Ubuntu bash sudo apt install docker.io Paso 3: Habilitar e iniciar el servicio Docker bash # Habilitar Docker para que inicie automáticamente sudo systemctl enable docker # Iniciar el servicio Docker sudo systemctl start docker # Verificar que el servicio está corriendo sudo systemctl status docker Paso 4: Configurar permisos de usuario Verificar si el grupo docker existe bash sudo grep docker /etc/group Agregar tu usuario al grupo docker bash sudo usermod -aG docker $USER Aplicar los cambios de grupo inmediatamente bash newgrp docker Paso 5: Verificar la instalación bash # Verificar versión de Docker docker --version # Probar Docker con un contenedor de prueba docker run hello-world Comprobación final Verificar que todo funcion...
Leer más

Tutorial de Carpetas y Directorios en Ubuntu Linux

En Linux, todo es un archivo. A medida que te adentres en Linux, lo comprenderás, pero por ahora, tenlo en cuenta. Cada archivo está organizado en un árbol de directorios jerárquico. El primer directorio del sistema de archivos se denomina, acertadamente, directorio raíz. El directorio raíz contiene muchas carpetas y archivos, que pueden almacenar más carpetas y archivos, etc   Introducción a los Directorios en Linux En Linux (incluyendo Ubuntu), los directorios (carpetas) siguen una estructura jerárquica que comienza desde el directorio raíz ( / ). Este sistema organiza todos los archivos y programas del sistema. Estructura Básica del Sistema de Archivos text / ├── bin -> Comandos esenciales del sistema ├── etc -> Archivos de configuración ├── home -> Directorios de usuarios ├── var -> Archivos variables (logs, etc.) ├── tmp -> Archivos temporales ├── usr -> Programas y aplicaciones └── ... Comandos Básicos para Trabajar con Directorios 1. Navegación e...
Leer más