<\/span><\/h2>\n\n\n\n\u00bfFunciona un LLM local sin Internet?<\/h3>\n\n\n\n
S\u00ed. Tras descargar el modelo y las herramientas, se puede utilizar completamente sin conexi\u00f3n. La conexi\u00f3n solo es necesaria para las actualizaciones, la descarga de nuevos modelos y posibles integraciones con servicios externos.<\/p>\n\n\n\n
\u00bfEs un modelo local tan bueno como los modelos en la nube?<\/h3>\n\n\n\n
En tareas cotidianas, como resumir, clasificar o responder a partir de documentos, los modelos de pesos abiertos suelen ser suficientes. En tareas m\u00e1s complejas, el resultado depende del tama\u00f1o del modelo: los modelos grandes de pesos abiertos, ejecutados en estaciones de trabajo o servidores, se aproximan a los principales modelos en la nube. Por ello, conviene realizar la comparaci\u00f3n con sus propias tareas.<\/p>\n\n\n\n
\u00bfLa IA local cumple autom\u00e1ticamente con el RGPD?<\/h3>\n\n\n\n
No. Un modelo local limita la transferencia de datos al exterior, pero la empresa sigue siendo responsable de la base jur\u00eddica del tratamiento, del acceso a los datos y de su eliminaci\u00f3n.<\/p>\n\n\n\n
\u00bfCu\u00e1nta memoria necesita un LLM local?<\/h3>\n\n\n\n
Depende del tama\u00f1o del modelo y de su nivel de compresi\u00f3n (cuantizaci\u00f3n). Con compresi\u00f3n a 4 bits, cada mil millones de par\u00e1metros ocupan aproximadamente 0,5\u20130,6 GB de memoria, a lo que hay que a\u00f1adir margen para el contexto de la conversaci\u00f3n y el sistema. En la pr\u00e1ctica, un modelo con 8 mil millones de par\u00e1metros necesita aproximadamente 5\u20136 GB, uno con 70 mil millones aproximadamente 40 GB, y uno con 200 mil millones m\u00e1s de 100 GB. Sin compresi\u00f3n, los requisitos son aproximadamente cuatro veces mayores.<\/p>\n\n\n\n
\u00bfSustituir\u00e1 un LLM local a Microsoft 365 Copilot?<\/h3>\n\n\n\n
No, son herramientas para tareas diferentes. Copilot trabaja con el correo, los archivos y el calendario en Microsoft 365. Un modelo local es adecuado para datos que no deben enviarse a la nube y para las aplicaciones de IA propias de la empresa. Muchas organizaciones utilizan ambos.<\/p>\n\n\n\n
\u00bfSe puede trasladar un proyecto desde hardware local al centro de datos o a la nube?<\/h3>\n\n\n\n
S\u00ed, si utiliza las mismas herramientas, como CUDA y contenedores. Sin embargo, hay que tener en cuenta la arquitectura del procesador: NVIDIA DGX Spark y los port\u00e1tiles NVIDIA RTX Spark funcionan con Arm, mientras que muchos servidores utilizan x86, por lo que algunas bibliotecas e im\u00e1genes de contenedor pueden requerir una versi\u00f3n preparada para la otra arquitectura.<\/p>\n\n\n\n