Además, no tienes que pagar ninguna cuota mensual a empresas de IA ni te aplicarán tarifas por uso. Hay numerosos LLM disponibles para descargar de forma gratuita, incluso de grandes empresas como Meta y Google. Aunque no suelen ser tan avanzados ni tan rápidos como los LLM de las aplicaciones de pago, son lo suficientemente eficaces para el uso diario, y puedes elegir entre ellos según tus necesidades.
Esto implica un mayor mantenimiento y se pierde parte de la comodidad que supone simplemente abrir la aplicación de ChatGPT. (Por ejemplo, tendrás que encargarte tú de las actualizaciones.) Sin embargo, obtienes un sistema de IA más personalizado y privado, y no es difícil ponerse en marcha.
Lo que necesitas para empezar
Puedes ejecutar grandes modelos de lenguaje (LLM) locales en Windows, macOS y Linux, aunque macOS suele ser la plataforma preferida por la mayoría de los entusiastas de la IA. Todo está más unificado y es más coherente en las Mac. A diferencia de las PC con Windows, solo las fabrica una empresa. Y los chips Apple Silicon combinan la CPU, la GPU y la RAM, algo que gusta a los modelos de IA.
Sea cual sea la plataforma que elijas, disponer de mucha RAM ayuda. El mínimo imprescindible son 8 GB. Aunque si eso es todo lo que tienes, tendrás limitaciones en cuanto al tamaño de los LLM que puedes ejecutar y a su velocidad de funcionamiento. Dieciséis gigas es mejor, y se necesitan 32 o más si quieres utilizar los modelos más grandes y rápidos. Para obtener los mejores resultados, necesitas mucha VRAM en una GPU dedicada. Cualquier cantidad superior a 8 GB marcará la diferencia, ya que este tipo de memoria está optimizada para el tipo de tareas que realizan los modelos de IA.
LM Studio Bionic se considera generalmente la mejor opción de aplicación de IA para Windows y macOS, y su uso es gratuito. Otras opciones populares y de confianza son vLLM, Llama.cpp, Ollama y GPT4All, que también están disponibles para varios sistemas operativos. Sin embargo, estos programas son un poco más técnicos y complejos.Una vez elegida la aplicación de IA, la siguiente decisión es seleccionar un LLM. Los programas de software que hemos mencionado te orientarán hacia algunas opciones, y también existen repositorios en línea de modelos, siendo el más conocido Hugging Face (que cuenta con más de 3 millones de modelos disponibles; toda una selección).
Cómo configurar un LLM local
Existen multitud de configuraciones posibles en lo que respecta a los LLM locales, pero te guiaremos paso a paso por el proceso de configuración de LM Studio Bionic en Windows, para que te hagas una idea de cómo funciona. Una vez que hayas descargado el archivo de instalación de la página web y tengas LM Studio Bionic en funcionamiento, haz clic en Crear proyecto para empezar. Luego ponle un nombre a tu primer proyecto.
Se abrirá una ventana de conversación en blanco: si haces clic en Elegir un modelo en el cuadro de diálogo y, a continuación, en Obtener modelos locales. Accederás al selector principal de modelos de LM Studio Bionic. Cada uno de los LLM disponibles aparece en la lista junto con su tamaño, su popularidad y algunos detalles. Presta atención a las “selecciones del equipo” si quieres algunas recomendaciones para empezar. Los modelos más pequeños no serán tan potentes, pero se descargarán más rápido y ocuparán menos espacio en tu sistema.
WIRED.com. Adaptado por Mauricio Serfatty Godoy.