Nvidia Corp. presentó un procesador de IA mejorado que aumenta la capacidad y el rendimiento del chip, con el objetivo de consolidar la supremacía de la empresa en un campo en crecimiento. NVIDIA GH200 Grace Hopper estará disponible en el segundo trimestre de 2024.
Nvidia dijo el martes en la conferencia Siggraph en Los Ángeles que Grace Hopper Superchip, un chip gráfico híbrido y CPU, se beneficiará de una nueva forma de memoria. El dispositivo se basa en la memoria de gran ancho de banda 3, o HBM3e, que puede acceder a los datos a una velocidad vertiginosa de 5 gigabytes por segundo.
El último anuncio de Nvidia sigue al GH200 con HBM3 previamente anunciado, que actualmente está en producción y estará disponible a finales de este año. Esto implica que NVIDIA producirá dos versiones del mismo dispositivo, la primera usando HBM3 y la segunda incorporando HBM3e. Nvidia también dice que el GH200 de próxima generación podrá ejecutar modelos de IA 3,5 veces más rápido que el modelo actual gracias a la memoria HBM3e.
Nvidia GH200 Grace Hopper: construido en una CPU Grace de 72 núcleos
El nuevo GH200 Grace Hopper Superchip se basa en una CPU Grace de 72 núcleos con 480 GB de memoria ECC LPDDR5X y una GPU computacional GH100 con 141 GB de memoria HBM3E en seis pilas de 24 GB y una interfaz de memoria con un ancho de 6144 bits. NVIDIA instala físicamente 144 GB de memoria; sin embargo, solo se puede acceder a 141 GB para obtener mayores rendimientos.
El actual GH200 Grace Hopper Superchip de NVIDIA cuenta con 96 GB de memoria HBM3 con un ancho de banda de menos de 4 TB/s. En comparación, el nuevo modelo aumenta la capacidad de memoria alrededor de la mitad y el ancho de banda en más de una cuarta parte. Estas importantes mejoras permiten que la nueva plataforma ejecute modelos de IA más grandes que la iteración anterior, lo que da como resultado aumentos considerables en el rendimiento.
Nvidia afirma que esto se debe a las diferentes configuraciones del mismo componente, similar a las versiones de 40 GB y 80 GB del A100 de hace unos años. De hecho, la carga de RAM es la principal distinción aquí, al menos por el momento. En lugar de los 96 GB de HBM3 vRAM y los 480 GB de LPDDR5x DRAM que se encuentran en el GH200 de la generación actual, el GH200 de “próxima generación” tiene 141 GB de HBM3e y 500 GB de LPDDR5x de 400 GB/s más lento. En la iteración anterior se utilizó DRAM LPDDR5x de 512 GB/seg.
Nvidia ha estado trabajando en Grace Hopper Superchips por un tiempo ahora
Desde al menos 2021, cuando la empresa reveló los planes preliminares, los Superchips Grace Hopper han sido un tema candente para el CEO de Nvidia.
El Superchip se basa en la arquitectura Arm, que se usa ampliamente en dispositivos móviles y compite con la tecnología basada en x86 de Intel y AMD. Nvidia lo denomina “superchip” ya que combina la CPU Nvidia Grace basada en Arm con la arquitectura Hopper GPU.
El superchip Grace Hopper recibe un impulso de la memoria más rápida del mundo, HBM3e, en la última versión de la Nvidia GH200 Grace Hopper. Según Nvidia, la memoria HBM3e es hasta un 50 % más rápida que la tecnología HBM3 incluida en la iteración actual de la GH200.
“Estamos muy entusiasmados con este nuevo GH200. Contará con 141 gigabytes de memoria HBM3e. HBM3e no solo aumenta la capacidad y la cantidad de memoria adjunta a nuestras GPU, sino que también es mucho más rápido”, dijo Ian Buck, vicepresidente y gerente general de hiperescala y HPC en Nvidia, durante una reunión con la prensa y analistas, según Ritmo de riesgo.
Nvidia no solo está desarrollando hardware más rápido, sino que también lo está escalando en un nuevo diseño de servidor.
Buck declaró que Nvidia está trabajando en un nuevo sistema de servidor Nvidia MGX basado en dual-GH200 que tendría dos Grace Hopper Superchips de próxima generación. Continuó diciendo que el nuevo GH200 se vinculará mediante NVLink, la tecnología de interconexión de Nvidia.
Tanto las CPU como las GPU en el nuevo servidor dual-GH200 se combinarán con una conexión de memoria completamente coherente gracias a NVLink.
Fecha de lanzamiento de Nvidia GH200 Grace Hopper
Según NVIDIA, la plataforma GH200 Grace Hopper con HBM3 ya está en producción y estará disponible comercialmente el próximo mes. Por el contrario, la plataforma GH200 Grace Hopper con HBM3e ahora se está probando y se espera que esté lista en el segundo trimestre de 2024.
El nuevo GH200 Grace Hopper, según NVIDIA, emplea la misma tecnología Grace CPU y GH100 GPU que la iteración anterior, por lo tanto, no se necesitan más modificaciones ni mejoras.
