微软推出 nd h100 v5 虚拟机:采用英伟达 h100 gpu,满足企业 chatgpt 生成式 ai 需求 -j9九游会登陆入口
it之家 3 月 14 日消息,微软于今天宣布加强和英伟达的合作,将 gpu 从此前的 a100 升级到 h100,推出专门针对人工智能开发的全新的 。
微软表示该虚拟机主要面向需要整合或开发人工智能的企业,it之家附该虚拟机配置如下:
8 块英伟达 h100 tensor core gpu,通过下一代 nvswitch 和 nvlink 4.0 互连
在非阻塞(non-blocking)的胖树(fat-tree)架构网络下,每块 gpu 的 nvidia quantum-2 cx7 infiniband 性能可以达到 400 gb / s,每台虚拟机可以达到 3.2tb / s。通过 nvswitch 和 nvlink 4.0,每台虚拟机内的 8 个本地 gpu 之间的对分带宽为 3.6tb / s。
采用英特尔第 4 代 xeon scalable 处理器
使用 pcie gen5 连接 gpu,每个 gpu 带宽为 64gb / s
16 通道 4800mhz ddr5 dimm
微软先前在 azure openai 服务中宣布了 chatgpt 相关服务,而本次虚拟机是该服务的补充,它允许第三方通过 azure 访问聊天机器人技术。