Anotador de Informatica

Guía Completa: Ejecutar Modelos LLM Locales con llama.cpp Esta guía te muestra cómo ejecutar modelos de lenguaje grandes (LLM) localmente usando binarios precompilados de llama.cpp, sin necesidad de GPU. Requisitos Previos Sistema Linux (Ubuntu/Debian recomendado) Al menos 8GB de RAM (16GB recomendado para modelos grandes) Conexión a Internet para descargar binarios y modelos Conocimientos básicos de terminal 📂 Paso 1: Preparar el entorno Descargar binarios precompilados Crea un directorio y descarga los binarios precompilados de llama.cpp: Copiar # Crear directorio principal mkdir ~/llama-app cd ~/llama-app # Descargar binarios precompilados wget https://github.com/ggml-org/llama.cpp/releases/download/b6111/llama-b6111-bin-ubuntu-x64.zip # Descomprimir y organizar unzip llama-b6111-bin-ubuntu-x64.zip mv build llama.cpp # Renombrar carpeta cd llama.cpp/bin # Acceder a los e...

Manual para Ejecutar GPT-OSS-20B Localmente con Python 1. Requisitos previos PC con al menos 16 GB de RAM (ideal con GPU NVIDIA, pero también funciona en CPU). Sistema operativo Linux (o Windows con ajustes). Python 3.8+ instalado. Conexión a Internet para descargar modelos y dependencias. 2. Preparar entorno virtual y dependencias python -m venv venv source venv/bin/activate # En Windows: venv\Scripts\activate pip install --upgrade pip pip install transformers torch huggingface_hub Nota: Si no usás GPU NVIDIA, para evitar descargar librerías CUDA pesadas, instalá PyTorch para CPU solamente: pip uninstall torch pip cache purge pip install torch --index-url https://download.pytorch.org/whl/cpu 3. Script para inferencia interactiva Archivo: gpt_oss_20b_interactive.py import time from transformers import pipeline model_id = "openai/gpt-oss-20b" pipe = pipeline( "text-generation", model=model_id, torch_dtype=...