半岛bandao体育官方英伟达和AMD新芯片突破PCIe限制的同学可能还记得,最初的8086/8088处理器没有浮点单元。主板通常有一个额外的插槽,用于可选的8087 数学协处理器。数学协处理器进入了
然而,SIMD 处理器(例如GPU)有多种选择。众所周知,GPU 可以比 CPU 主机更快地加速数学处理(例如矩阵运算)。
随着Nvidia GH-200 处理器 和AMDMI300A APU的推出半岛·体育官方网站,市场正在见证“8087 时刻”——即 CPU 吸收外部性能硬件。Nvidia 和 AMD 都已将 GPU 纳入处理器中,其结果是 HPC 性能大幅跃升,并预示着未来的发展。
使用第 5 代 PCIe 总线 个通道的 GPU 的最大带宽约为 63GB/s。此瓶颈将限制 CPU 和 GPU 之间的内存移动。
对于 GH200 和 MI300A,关键的突出短语是“呈现单个存储域”。在传统的CPU-PCIe-GPU组合中,GPU内存量通常小于CPU内存,数据必须通过PCIe接口进行混洗。这两个新设计消除了这个瓶颈。单个大内存域一直对 HPC 有吸引力,而 GenAI的增长加速了这种需求(即,能够在内存中加载大型模型并使用 GPU 运行它们)。对于传统 GPU,GPU 内存量限制了模型大小,需要采用分布式 GPU 方法。(注:GH200 可以通过外部 NVLink 连接,创建海量统一内存;例如,Nvidia-AWS NLV32可以提供高达 20 TB 的统一内存。)
技术领域明显的趋势之一是从昂贵的新技术市场转向低成本的大宗商品市场。高性能计算也不例外。随着市场需求,从多核到高级内存的一切都已从高端转移到“手机”。迁移到单个内存域就是这些变化之一。
然而,桌面超级工作站并不便宜。目前可用的型号 GH200 576GB起价为 47,500 欧元(根据 Phoronix 的说法,由于在欧盟以外地区运输时无需缴纳 19% 的增值税,因此该价格相当于 41,000 美元)
这个价格可能看起来很高,但考虑到具有 80 GB HBM2e 内存的 Nvidia H100 PCIe GPU 目前的市场价格在 3 万美元到 3.5 万美元之间。这不包括为 GPU供电和运行的主机系统。此外,用户还受到 80GB GPU 内存的限制,该内存通过 PCIe 总线与主内存域分开。
借助 GPTshop,Phoronix 能够远程运行多个基准测试。基准应被视为初步的,而不是最终的绩效衡量标准。特别是,基准测试仅针对 CPU,没有使用 Hopper A100 GPU。因此,基准图是不完整的。Phoronix 计划在未来测试基于 GPU 的应用程序。
此外,没有可用于基准测试运行的功耗数据。据 Phoronix 称,NVIDIA GH200 目前似乎没有在 Linux 下公开任何 RAPL/PowerCap/HWMON 接口,仅用于读取 GH200 的功率/能源使用情况。系统上的BMC确实通过Web界面暴露了整个系统的功耗,并且功率数据没有通过IPMI暴露。
Nvidia GH200 和 AMD MI300A 引入了新的处理器架构。与吸收 8087 数学协处理器类似,高端 CPU 也开始吸收 GPU(或 SIMD 处理单元)。然而,这个想法并不是全新的。自 2011 年以来,AMD 已将中等 GPU 集成到其台式机/笔记本电脑APU 处理器中。虽然这些高端处理器可能被认为是“专用”的,因此价格昂贵,但随着时间的推移,对 GenAI 的巨大兴趣可能会将这些设计推向商品价格点。随着更多基准的出现,这个故事将继续发展。
此外,引入具有足够内存的个人高性能工作站,可以在您的办公桌旁运行一些最大的法学硕士,这是一个重要的里程碑。更不用说运行许多大内存 GPU 优化的 HPC 应用程序的能力了。数据中心和云仍将是当今的主力,但必须要说的是“拥有重置按钮”。
文章出处:【微信号:AI_Architect,微信公众号:智能计算芯世界】欢迎添加关注!文章转载请注明出处。
制造商发放向中东地区出口AI加速器的许可证,同时正在进行一项关于该地区人工智能开发的评估。
电子发烧友网报道(文/李弯弯)随着人工智能技术的快速发展,GPU的市场规模在全球范围内持续提升。目前,GPU市场主要由
Instinct MI300X于明年初问世,并符合人工智能公司及云服务提供商的期望,有望降低开发模型成本,为
并非“改良版”,而是“缩水版”,其分别是HGX H20、L20 PCle和L2 PCle。用于AI模型训练的HGX H20在带宽、计算速度等方面均有所
在向美国证券交易委员会(sec)提交的10-q文件中表示,美国政府通报说,2024年第二季度向中东部分国家出口a100和h100等ai
Copyright © 2019-2025 半岛·体育(中国)官方网站-bandao sports 版权所有粤ICP备19028932号-1 Xml网站地图 HTML地图 txt地图