Jonathan Jew, secretario del comité de ingeniería TR-42 de la Telecommunications Industry Association, TIA, hablará sobre este tema en BICSI ICT SUMMIT COLOMBIA 2024.
La IA generativa induce a grandes cambios en los centros de datos. Estas instalaciones van a requerir cada vez mayor energía para responder a las nuevas necesidades de procesamiento de la IA. También los centros de datos requerirán más enfriamiento y el uso prevalente de la fibra óptica.
De esta forma, los centros de datos tendrán que cambiar radicalmente mientras luchan por ser eficientes, limpios y responsables con sus recursos y su entorno.
Esta situación se hace cada vez más intensa si miramos la perspectiva de los negocios. El uso intensivo de IA arranca con pequeños y básicos bots que responden a los usuarios en sus dudas cotidianas de servicio. También está presente en las inmensas aplicaciones de analítica que buscan respuestas complejas a temas de ingeniería, bilogía, química y finanzas.
Pero más allá de estas aplicaciones, la IA Generativa, exige aún mayores recursos tanto de datos como de procesamiento para obtener resultados con audio y video. Por esto, hoy toda esta cadena de valor requiere y exige nuevas soluciones cada vez más veloces y proactivas.
Para lograr el potencial requerido, todos acuden a los centros de datos para exprimir al máximo las capacidades de la IA a un costo equitativo. Así, los cambios en los centros de datos pasaron de necesarios a urgentes para atender tanta demanda, que además seguirá creciendo de manera casi exponencial.
Gartner realizó un estudio para la firma Daon, empresa de investigaciones, y obtuvo interesantes resultados: De 2023 a 2026, los modelos basados en soluciones de IA Generativa pasarán del 1% a más del 60%, desplazando a modelos monomodales de IA.
De igual forma Gartner asegura que las ofertas de AIaaS (Inteligencia Artificial como Servicio) están creciendo en demanda. Esto incluye soluciones como AI TRiSM (Gestión de Confianza, Riesgo y Seguridad), gestión de alucinaciones, detectores de procedencia, IA responsable e IA sostenible.
Los Centros de Datos se transforman
Recientemente hablamos con Jonathan Jew, Secretario del Comité de Ingeniería TR-42 de la Telecommunications Industry Association, TIA. Jew nos ayudará a entender hacia dónde se dirigen los centros de datos frente a la creciente demanda de recursos generada por la IA.
De hecho, es importante resaltar que, desde la pandemia los centros de datos han comenzado a adaptarse a nuevas tareas y funcionalidades. Sin embargo, el auge de la Inteligencia Artificial, IA, implica que estos deben reforzar elementos claves de sus infraestructuras para responder a la nueva demanda.
Jonathan Jew explica que “La IA es la próxima revolución. Todo lo que hacemos, y esto es muy emocionante, va a exigir una mayor demanda para los centros de datos. Por ejemplo, algunos usuarios de centros de estaban buscando mayor espacio para colocation y eso conduce también a buscar más energía y capacidad de enfriamiento. Estamos en consumos de 30 KW por gabinete cuando, en el pasado, el consumo promedio era de 8KW”.
Le puede interesar: Oracle y NVIDIA ofrecerán IA soberana
Las GPU requieren más recursos
Otro punto que está cambiando es la manera como se construyen los centros de datos. De hecho, las redes de servidores con GPU, o unidades de procesamiento de gráficos que pueden realizar cálculos matemáticos a alta velocidad, exigen formas más eficientes de conectividad a la red y de alimentación energética con el fin de obtener todo su potencial.
En el campo de los centros de datos de hyperscale, se busca crear grandes clústeres de GPU, a menudo con 64K o más GPU. Esto les permite adaptarse con mayor versatilidad a todas las variantes de cargas de trabajo de entrenamiento de IA generativa (genAI).
El tamaño de estos grandes modelos de transformadores y los conjuntos de datos pueden necesitar miles de GPU para complementarse. Por lo tanto, proporcionar conectividad de red sin bloqueo (Fully Non-Blocking) entre las GPU podría ser un diseño excesivo.
Así, comprender la partición del modelo y los patrones de tráfico para las cargas de trabajo de entrenamiento de GenAI optimiza la topología de red. De paso, permite el uso eficiente de los conmutadores Infiniband y Ethernet básicos para las estructuras de GPU.
Adicionalmente, los centros de datos requieren mayor velocidad de conectividad. De acuerdo con Jew, los centros de datos requieren mayor conectividad para las redes con GPU. Por esta razón se están usando fibras ópticas multimodo, para mejorar la velocidad. Ahora estamos con 8,6 TB de velocidad, pero muchos de nuestros clientes están buscando el punto de conectividad dentro los centros de datos con fibra óptica mono modo.
Más energía, enfriamiento y fibra para el centro de datos
Frente al uso de recursos como energía y enfriamiento, Jew aclara que “Los sistemas de energía y enfriamiento también deben ajustarse a los servidores. Si se construye un centro de datos desde cero, se debe pensar en darle soporte a una alta densidad. Así que, si se quieren tener tres o cuatro servidores con GPU en un gabinete, se requieren entre 30 y 40 KW en ese gabinete. Esta cifra es solo para arrancar, no sabemos hasta dónde llegará, pero es un buen número para arrancar.”
La IA generativa induce a grandes cambios en los centros de datos.
Igualmente, es necesario mejorar la conectividad basada en fibra óptica. La fibra óptica proporciona una alta velocidad de transmisión y baja latencia, lo que permite un procesamiento rápido y eficiente de los datos necesarios para la inteligencia artificial.
De acuerdo con Jonathan Jew, “en los centros de datos se está pasando de la transmisión multimodo a la transmisión monomodo a través de las redes de fibra óptica, con esto se obtendrá una velocidad más alta”.
De esta forma, se calcula que los centros de datos atenderán de forma más confiable y oportuna los incrementos considerables en demanda de procesamiento en los próximos años, pero la verdad, la historia lo dirá.
Para desglosar este tema de tendencia, el experto ofrecerá en exclusiva para Colombia una charla en el marco del evento BICSI ICT SUMMIT COLOMBIA 2024, que se realizará el 28 y 29 de mayo en el Centro de Convenciones Ágora en Bogotá, cuyo registro ya está abierto en este vínculo
Lea también: AMD muestra cómo los centros de datos reducen el impacto ambiental
