Buenas noticias para los winusers que quieren tener una IA local, pero cuentan con una PC sin NPU, pues Microsoft ha cambiado los requerimientos para usar su API de IA local. Vale recordar que en 2024, los de Redmond exigían que, para utilizar su API de IA local, el ordenador debía contar al menos con una NPU de 40 FLOPS y estar certificado como PC Copilot+. A partir de ahora, los usuarios que tengan una PC sin NPU pueden acceder a esta API de IA local, aunque aún hay algunos requerimientos limitativos.
Phi Silica será el modelo LLM local que podrán tener los usuarios que tengan una PC sin NPU
De acuerdo con Microsoft, Phi Silica es un potente modelo de lenguaje local, el cual brinda capacidades similares a modelos LLM grandes. Su funcionamiento básicamente se basa en la conocida decodificación especulativa, la cual es una técnica de IA que genera borradores rápidos aproximados al contenido o actividad que realice el usuario.
Sin embargo, este cambio está dirigido hacia los desarrolladores y, de hecho, para activar el acceso a esta API, se requiere habilitar previamente el Modo desarrollador de Windows 11. Una vez que el usuario active esta nueva funcionalidad, Phil Silica descargará desde Windows update las funciones necesarias que requiera la IA local a medida que vayan surgiendo nuevas tareas. Un dato a destacar es que Microsoft advierte que, al iniciar por primera vez Phi Silica, la descarga será de «varios gigabytes». Esto también significa que los usuarios podrán desinstalar posteriormente este modelo de IA local desde la opción de Componentes de IA en la página de configuración de Windows.
Limitaciones
Al correr este LLM local en una PC sin NPU, lógicamente habrá limitaciones. Así, la IA local se centrará en tareas textuales como resúmenes, pasar textos a tablas estructuradas, editar textos y generar indicaciones. Por ende, su funcionamiento será muy similar al de un chatbot de IA basado en la nube, pero con el gran detalle de que los datos se mantendrán en la PC.
Otra de las limitaciones es que, de momento, solo funciona en PC equipadas con una GPU de NVIDIA de la serie RTX 30 en adelante y 6 GB de VRAM. No obstante, se espera que el soporte para las GPU de AMD llegue próximamente. No se menciona nada sobre GPU de Intel. En cuanto a la CPU, se requiere una velocidad de al menos 3 GHz, lo cual hace que prácticamente todas las CPU del 2020 en adelante sean compatibles.
También es de esperarse que muchas de las características de Copilot+ no funcionen o funcionen de forma limitada con Phi Silica corriendo en PC sin una NPU.
