Local vs nube: así es utilizar IA en un ordenador sin conexión a internet

El futuro de la inteligencia artificial no pasa necesariamente por depender de la nube, sino por el procesamiento local, al igual que otros servicios que ejecutamos en el ordenador. Llevamos ya unos meses con un Lenovo P14 S, equipado con un Qualcomm Snapdragon X Elite y una NPU que lo sitúa entre los mejores ordenadores para procesar la IA. Hemos tenido la oportunidad de hablar con Alberto Ruano, presidente de Lenovo España, sobre esta nueva generación de ordenadores, que cambian para priorizar la IA. Una de las cosas más interesantes ha sido ejecutar modelos parecidos a ChatGPT -en nuestro caso, LLaMA 3.2 de Meta- directamente en el ordenador, sin necesidad de conexión a internet.

Ruano lo tiene claro: «El futuro del PC pasa por la IA. No solo por asistentes inteligentes, sino por capacidades que permitan trabajar en local, sin enviar datos a servidores». Y eso es justo lo que hemos estado probando.

La experiencia nos ha sorprendido. Usando aplicaciones como AnythingLLM, pudimos ejecutar modelos de lenguaje de forma completamente local, incluso integrando nuestras propias bases de datos mediante funciones de RAG. Para quienes manejan información sensible, como periodistas o abogados, esta capacidad cambia las reglas del juego: el modelo no necesita enviar nada a la nube, todo se queda en el dispositivo. La privacidad es total. Es increíble que, con modelos locales, podamos llegar al nivel de respuesta de ChatGPT-4o, que llevemos buena parte del compendio de conocimiento humano instalado en nuestro ordenador y una inteligencia artificial prácticamente capaz de responder cualquier pregunta.

En nuestras pruebas, los modelos que realmente brillaron fueron LLaMA 3.1 8B Chat, con contexto de 8.000 tokens (que equivalen a 6.000 o 7.000 palabras que podemos incluir en el prompt), y Phi 3.5 Mini Instruct, con 4.000 tokens de contexto (es decir, unas 3.000 palabras). Ambos están optimizados específicamente para ejecutarse sobre la NPU del Snapdragon X Elite y se integran directamente en AnythingLLM. En este caso, al ser modelos adaptados por Qualcomm para su NPU, el rendimiento fue excelente: tiempos de respuesta rápidos y una sensación de inmediatez que rivaliza con cualquier experiencia en la nube.