IA local: un compromiso práctico con la tecnología
Hoy mismo he leído la noticia de que otro modelo de lenguaje (sí, otro más) denominado Eagle 7B reclama el trono de sistemas multilingües. Se trata de un LLM entrenado en más de 100 idiomas que pone el foco en esta capacidad y en su eficiencia, medida en julios por token.
Aparte del interés evidente que provoca el sistema para quienes nos desenvolvemos en países no angloparlantes, esta noticia me ha llevado a pensar, una vez más, en lo que cada vez percibo más como una necesidad: las plataformas de IA local.
La IA local puede definirse como aquella que se ejecuta por entero en tu ordenador. Una de sus ventajas principales es el control total que permite sobre tus datos y tu privacidad. Al procesar todo en tu propio dispositivo, evitas la necesidad de enviar información sensible a servidores externos.
Y, por otro lado, la IA local te permite experimentar y personalizar tus modelos según tus necesidades específicas. Si dispones de potencia suficiente, podrás entrenar tus propios modelos de lenguaje, generación de imágenes o cualquier otra aplicación de IA, adaptándolos a tus datos y requisitos particulares. Si te gusta explorar las posibilidades de la tecnología, esto es lo verdaderamente atractivo.
En este artículo, pondremos las bases para que conozcas los requisitos de hardware y las alternativas disponibles para poder iniciarte en el fascinante mundo de la IA local.
Requisitos del Hardware: La Base de Operaciones
Iniciar la aventura con la inteligencia artificial local, y en particular con modelos de lenguaje (LLMs), requiere una base sólida: el hardware. No es necesario que tu equipo sea una supercomputadora, pero sí que tenga ciertas características para mover con soltura estos modelos de IA.
PC
En primer lugar, un procesador actualizado, con una buena cantidad de núcleos, se traducirá en una gestión más eficiente de las tareas de IA, acompañado de suficiente memoria RAM para permitir que los procesos se ejecuten sin tropiezos. Los procesadores Intel Core i7 o i9 con buen número de núcleos (de 8 a 16, en este momento) y altas frecuencias de reloj (5-6 GHz) son adecuados para la tarea, así como sus rivales de AMD Ryzen 7 o 9. Estos procesadores de alta gama son capaces de manejar eficientemente las complejas operaciones matemáticas y el procesamiento paralelo requerido por los algoritmos de IA.
Es fundamental también contar con suficiente memoria RAM para almacenar los datos y modelos durante el entrenamiento y la inferencia. 32 GB de RAM de alta velocidad pueden proporcionar una experiencia satisfactoria y garantizarán un rendimiento óptimo que evite limitaciones de memoria.
Sin embargo, la pieza clave, hoy día, es una tarjeta gráfica competente, con suficiente RAM, que se encargará de las tareas de cálculo intensivo propias de la IA. Las tarjetas gráficas NVIDIA de la serie RTX, como la RTX 4090 (o su antecesora, la RTX 3090) cuentan con 24 GB de memoria y son opciones sólidas. Estas tarjetas cuentan con miles de núcleos CUDA, que son unidades de procesamiento paralelo especializadas en cálculos matemáticos intensivos.
NVIDIA también ha desarrollado CUDA, una plataforma de computación paralela que permite aprovechar al máximo el rendimiento de sus tarjetas gráficas en tareas de IA. CUDA proporciona un conjunto de herramientas y bibliotecas optimizadas, como cuDNN (CUDA Deep Neural Network) y TensorRT, que aceleran significativamente el entrenamiento y la inferencia de modelos de aprendizaje profundo.
Para terminar, un SSD que garantice una transferencia de datos ágil es esencial para mantener todo fluyendo suavemente. Los SSD NVMe ofrecen altas velocidades de lectura secuencial, que permiten cargar grandes conjuntos de datos y modelos de IA en cuestión de segundos, eliminando cuellos de botella y mejorando la eficiencia general del sistema.
Además, los SSD NVMe aprovechan las últimas versiones de la interfaz PCIe, que proporcionan anchos de banda significativamente mayores en comparación con las anteriores. Esto se traduce en una transferencia de datos más rápida entre el SSD, la memoria RAM y la tarjeta gráfica, lo cual es crucial para mantener el sistema alimentado con datos durante las tareas de IA intensivas.
Mac
En el ámbito de la IA local, Apple ha dado un paso revolucionario con la introducción de su arquitectura de sistema en chip (SoC) en los Mac. Los SoC de Apple (M1, M2 y el reciente M3) integran CPU, GPU y Neural Engine en un solo chip, lo que permite una comunicación más rápida y eficiente entre estos componentes.
Una de las características destacadas de los SoC de Apple es la memoria unificada. A diferencia de la arquitectura tradicional donde la CPU y la GPU tienen sus propios pools de memoria separados, la memoria unificada permite que ambos componentes accedan al mismo pool de memoria de alta velocidad. Esto elimina la necesidad de transferir datos entre diferentes pools de memoria, lo que reduce la latencia y aumenta el ancho de banda disponible.
El impacto de la memoria unificada en las tareas de IA es significativo. Durante el entrenamiento y la inferencia de modelos de IA, se requiere un acceso rápido y constante a grandes cantidades de datos. Con la memoria unificada, los datos pueden ser accedidos de manera más eficiente por la CPU y la GPU, lo que acelera el procesamiento y reduce los tiempos de espera. Si bien los módelos básicos de la manzana llegan algo escasos de memoria (8GB), es cierto que se puede optar por versiones superiores que permitirán trabajar con modelos de IA más grandes y complejos sin las limitaciones de memoria que pueden encontrarse en sistemas tradicionales.
Otra ventaja de la arquitectura SoC de Apple para la IA es la presencia del Neural Engine dedicado. Este componente especializado está diseñado específicamente para acelerar las operaciones de aprendizaje automático y redes neuronales.
Apple también ha optimizado sus frameworks de IA, como Core ML y Metal Performance Shaders, para aprovechar al máximo la arquitectura SoC y la memoria unificada. Estos frameworks permiten a los desarrolladores crear y entrenar modelos de IA de manera eficiente, aprovechando la aceleración por hardware proporcionada por el Neural Engine y la GPU.
En resumen, la arquitectura SoC de Apple con memoria unificada y el Neural Engine dedicado ha revolucionado la forma en que se realizan las tareas de IA en los Mac. La comunicación más rápida entre componentes, el acceso eficiente a grandes cantidades de datos y la aceleración especializada del Neural Engine permiten un rendimiento excepcional en el entrenamiento y la inferencia de modelos de IA. Esto abre nuevas posibilidades para los desarrolladores y usuarios que buscan aprovechar la IA local en sus aplicaciones y flujos de trabajo.
Herramientas de software: construyendo el entorno
Con un hardware a punto, el siguiente paso es elegir el software adecuado. Windows ofrece opciones como el Subsistema de Windows para Linux (WSL), que facilita el trabajo con herramientas de IA en un entorno familiar. Además, gestores de entornos como Anaconda simplifican la instalación y manejo de los paquetes necesarios para trabajar con Python y la IA.
Los usuarios de Mac tienen acceso a APIs como Core ML, que permiten integrar funciones de IA con mayor facilidad, y la potencia de los chips M1 y sus sucesores, que han traído un nivel de rendimiento impresionante al alcance de más usuarios.
Por último, los linuxeros tenemos un amplio conjunto de posibilidades a nuestra disposición. El sistema operativo ofrece una gran cantidad de herramientas de código abierto y una comunidad muy activa, aparte de unas implementaciones de alta calidad.
Experimenta
Dicho todo lo anterior, la mejor forma de determinar si la IA local es para ti consiste en probarla. A continuación presento una lista de programas que te permitirán probar modelos de lenguaje (LLMs) en tu propia máquina.
Los dos primeros son mis favoritos personales por su facilitad de uso y por el control que ofrecen sobre los diferentes parámetros que determinan el resultado de las interacciones con los modelos de lenguaje. Emplear cualquiera de ellos hará que entiendas mucho mejor lo que sucede en la trastienda de los grandes jugadores en este campo, como son ChatGPT, Gemini, Claude o Mistral.
Por otro lado, tan importantes como estos programas son los diferentes modelos que se pueden utilizar con ellos. Hoy por hoy, el mejor lugar para conseguirlos es, sin duda alguna, Hugging Face. Resulta difícil recomendar modelos concretos, dado que cambian y evolucionan a tal velocidad que cualquier recomendación queda obsoleta en menos de una semana, pero sí sugiero que casi todo el mundo comience con modelos de 7.000.000.000 de parámetros (en su denominación aparece la expresión 7B), dado que son los que mejor correrán en hardware de usuario y están alcanzando una calidad más que notable.
Estos modelos pueden presentar diferentes formatos. Para comenzar, lo más práctico resulta acudir a los modelos cuantizados (formato GGUF a marzo de 2024). Un ejemplo:
El futuro de la IA: integración local
Los fabricantes de tecnología están trabajando para que la IA sea más accesible y eficiente, no solo a través de servicios en la nube sino también localmente. Esto implica desarrollar modelos de IA más compactos y optimizados, así como hardware especializado que pueda ejecutar estas tareas sin requerir grandes recursos.
Compañías como NVIDIA con sus GPUs y Google con los TPUs han hecho avances significativos en la creación de hardware que puede procesar tareas de IA de manera eficiente. Apple, por su parte, integra su Neural Engine en dispositivos móviles, permitiendo que la IA se use en una variedad más amplia de aplicaciones cotidianas.
La IA local: una realidad en expansión
Todo esto lleva a que la implementación de la IA de forma local se esté convirtiendo en una realidad más común. A medida que los modelos de IA se hacen más ligeros y los chips más potentes, la IA tendrá un papel más prominente en dispositivos de todos los tamaños.
La era de tener una IA que trabaje para nosotros de manera local está al alcance. Si esta forma de utilizarla prevalecerá frente a los servicios en red, está aún por verse. El futuro decidirá el resultado de esta batalla, posiblemente antes de lo que pensamos.
