Akamai presenta AI Grid Intelligent Orchestration para inferencia distribuida en 4.400 ubicaciones edge

Akamai Technologies ha marcado un hito importante en la evolución de la inteligencia artificial al presentar la primera implementación a escala mundial del diseño de referencia NVIDIA® AI Grid. Al integrar la infraestructura de IA de NVIDIA en la suya y aprovechar la orquestación inteligente de cargas de trabajo en toda su red, Akamai pretende llevar al sector más allá de las fábricas de IA aisladas hacia una red unificada y distribuida para la inferencia de IA.

Esto supone un paso significativo en la evolución de Akamai Inference Cloud, presentada a finales del año pasado. Akamai, la primera empresa en poner en marcha la red AI Grid, está implementando miles de GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, lo que proporciona una plataforma que permite a las empresas ejecutar IA con agentes y física, con la capacidad de respuesta de la computación local y la escala de la web global.

‘Los centros de IA se han diseñado específicamente para la formación y las cargas de trabajo de modelos de vanguardia, y la infraestructura centralizada seguirá ofreciendo los mejores resultados en términos de tokenómica para esos casos de uso’, afirma Adam Karon, director de operaciones y director general del Cloud Technology Group de Akamai. ‘Sin embargo, el vídeo en tiempo real, la IA física y las experiencias personalizadas altamente concurrentes exigen inferencia en el punto de contacto, no un viaje de ida y vuelta a un clúster centralizado. Nuestra orquestación inteligente AI Grid permite a las fábricas de IA ampliar la inferencia hacia el exterior y aprovechar la misma arquitectura distribuida que revolucionó la entrega de contenido para enrutar las cargas de trabajo de IA a través de 4.400 ubicaciones, con el coste y en el momento adecuados’.

La arquitectura de los «Tokenomics»

El núcleo central de AI Grid consiste en un coordinador inteligente que actúa como intermediario en tiempo real para las solicitudes de IA. Al aplicar la experiencia de Akamai en la optimización del rendimiento de las aplicaciones a la IA, este plano de control sensible a la carga de trabajo optimiza la «tokenómica», mejorando así el coste por token, el tiempo hasta el primer token y el rendimiento.

Una de las principales características que diferencian a Akamai es su capacidad para que los clientes accedan a modelos ajustados o dispersos a través de su enorme presencia global, lo que supone una gran ventaja en términos de costes y rendimiento para la larga cola de cargas de trabajo de IA. Por ejemplo:

• Rentabilidad a gran escala: las empresas pueden reducir drásticamente los costes de inferencia al asignar automáticamente las cargas de trabajo al nivel de computación adecuado. Este coordinador aplica técnicas como el almacenamiento en caché semántico y el enrutamiento inteligente para dirigir las solicitudes a los recursos del tamaño adecuado y reserva los ciclos de GPU premium para las cargas de trabajo que los necesitan. Todo ello se sustenta en Akamai Cloud, construido sobre una infraestructura de código abierto con amplias asignaciones de salida para soportar operaciones de IA con gran volumen de datos.
• Capacidad de respuesta en tiempo real: los estudios de desarrollo de videojuegos pueden ofrecer interacciones con personajes no jugables (NPC) impulsadas por IA que mantienen la inmersión del jugador en cuestión de milisegundos. Las instituciones financieras pueden ofrecer recomendaciones personalizadas de detección de fraudes y marketing en el periodo comprendido entre el inicio de sesión y la primera pantalla. Los broadcasters pueden transcodificar y doblar contenidos en tiempo real para audiencias globales. Estos resultados son posibles gracias a la red periférica distribuida globalmente de Akamai, que cuenta con más de 4.400 ubicaciones con almacenamiento en caché integrado, computación periférica sin servidores y conectividad de alto rendimiento, y que procesa las solicitudes en el punto de contacto con el usuario, evitando así el retraso que supone la ida y vuelta a las nubes dependientes del origen.
• IA con calidad de producción en el núcleo: los grandes modelos de lenguaje, el entrenamiento continuo posterior y las cargas de trabajo de inferencia multimodal requieren una computación sostenida y de alta densidad que solo puede proporcionar una infraestructura dedicada. Los clústeres de miles de GPU de Akamai, equipados con las GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, ofrecen la potencia concentrada necesaria para las cargas de trabajo de IA más exigentes y complementan el borde distribuido con una escala centralizada.

Continuidad de la computación: desde el core hasta el far-edge

Desarrollada sobre NVIDIA AI Enterprise y aprovechando la arquitectura NVIDIA Blackwell y las DPU NVIDIA BlueField para redes y seguridad aceleradas por hardware, Akamai puede gestionar acuerdos de nivel de servicio (SLA) complejos entre ubicaciones edge y core.

• El Edge (con más de 4.400 ubicaciones): ofrece tiempos de respuesta rápidos para la IA física y los agentes autónomos. Aprovechará el almacenamiento en caché semántico y las capacidades sin servidor, como Akamai Functions (computación basada en WebAssembly) y EdgeWorkers, para ofrecer afinidad de modelos y un rendimiento estable en el punto de contacto con el usuario.
• Akamai Cloud IaaS y clústeres de GPU dedicados: la infraestructura básica de la nube pública permite la portabilidad y el ahorro de costes para cargas de trabajo a gran escala, mientras que los pods equipados con las GPU NVIDIA RTX PRO 6000 Blackwell permiten un entrenamiento posterior de alta intensidad y una inferencia multimodal.

‘Las nuevas aplicaciones nativas de IA exigen una latencia predecible y una mayor rentabilidad a escala global’, asegura Chris Penrose, vicepresidente global de Desarrollo Empresarial y Telco en NVIDIA. ‘Al poner en funcionamiento NVIDIA AI Grid, Akamai está creando el tejido conectivo para la IA generativa, agencial y física, y está trasladando la inteligencia directamente a los datos, lo que dará paso a la próxima ola de aplicaciones en tiempo real’.

Impulsando la próxima generación de IA en tiempo real

Akamai ya está observando una fuerte adopción temprana de Akamai Inference Cloud en sectores que hacen un uso intensivo de los recursos informáticos y que son sensibles a la latencia:

• Gaming: los estudios están implementando inferencias inferiores a 50 milisegundos para los NPC impulsados por IA e interacciones con los jugadores en tiempo real.
• Servicios financieros: los bancos confían en la red para hacer marketing hiperpersonalizado y ofrecer recomendaciones rápidas cuando los clientes inician sesión.
• Medios y vídeos: las emisoras utilizan la red distribuida para la transcodificación y el doblaje en tiempo real impulsados por IA.
• Comercio minorista: los minoristas adoptan la red para aplicaciones de IA en las tiendas y herramientas de productividad asociadas en el punto de venta.

Impulsada por la demanda empresarial, la plataforma también ha sido validada por los principales proveedores de tecnología, entre los que se incluye un contrato de servicio de cuatro años por valor de 200 millones de dólares estadounidenses para un clúster de miles de GPU en un centro de datos construido específicamente para la infraestructura de IA empresarial en el borde metropolitano.

Ampliación de las fábricas de IA de centralizadas a distribuidas

La primera ola de infraestructura de IA se caracterizó por enormes clústeres de GPU en unas pocas ubicaciones centralizadas y optimizadas para el entrenamiento. Sin embargo, a medida que la inferencia se convierte en la carga de trabajo dominante y las empresas de todos los sectores se centran en crear agentes de IA, este modelo centralizado se enfrenta a las mismas limitaciones de escalabilidad que encontraron las generaciones anteriores de infraestructura de Internet con la distribución de medios, los juegos en línea, las transacciones financieras y las aplicaciones de microservicios complejos.

Akamai está abordando cada uno de estos retos con un enfoque fundamental: redes distribuidas, orquestación inteligente y sistemas diseñados específicamente para reunir el contenido y el contexto lo más cerca posible del punto de contacto digital. El resultado ha sido una mejora en la experiencia de los usuarios y un mayor retorno de la inversión (ROI) para las empresas que han adoptado este modelo. Akamai Inference Cloud aplica la misma arquitectura probada a las fábricas de IA, lo que permite la próxima ola de escalabilidad y crecimiento mediante la distribución de la computación densa desde el núcleo hasta el borde.

Para las empresas, esto significa poder implementar agentes de IA sensibles al contexto y adaptables en su capacidad de respuesta. Para la industria, esto representa un modelo de evolución de las fábricas de IA desde instalaciones aisladas hasta convertirse en una utilidad distribuida a nivel mundial.