ElonMusk透露：训练下一代Grok3模型，需要100000个H10

如果您希望可以时常见面，欢迎标星收藏哦~

特斯拉首席执行官、xAI创始人埃隆·马斯克对通用人工智能的发展做出了一些大胆的预测，并讨论了人工智能行业面临的挑战。据路透社报道，他预测 AGI 最快将于明年或 2026 年超越人类智能，但需要大量处理器进行训练，而这又需要大量电力 。

马斯克的企业 xAI 目前正在训练其 Grok 大语言模式的第二个版本，预计在 5 月份完成下一阶段的训练。Grok 版本 2 模型的训练需要多达 20,000 个 Nvidia H100 GPU，马斯克预计未来的迭代将需要更多的资源，Grok 3 模型需要大约 100,000 个 Nvidia H100 芯片来训练。

马斯克表示，人工智能技术的进步目前受到两个主要因素的阻碍:先进处理器的供应短缺以及电力的供应。

Nvidia 的 H100 GPU在充分利用时功耗约为 700W，因此用于 AI 和 HPC 工作负载的 100,000 个 GPU 可能会消耗高达 70 兆瓦的功率。由于这些 GPU 需要服务器和冷却来运行，因此可以肯定地说，拥有 100,000 个 Nvidia H100 处理器的数据中心将消耗大约 100 兆瓦的电力,这相当于一个小城市的耗电量。

马斯克强调，虽然迄今为止计算 GPU 供应一直是一个重大障碍，但电力供应在未来一两年内将变得越来越重要。这种双重约束凸显了扩展人工智能技术以满足不断增长的计算需求的挑战。

尽管面临挑战，但计算和内存架构的进步将使未来几年能够训练日益庞大的大型语言模型成为可能。Nvidia在 GTC 2024 上展示了 Blackwell B200，这是一种 GPU 架构和平台，旨在扩展到具有数万亿参数的 LLM。这将在AGI的发展中发挥关键作用。

事实上，马斯克相信，比最聪明的人类更聪明的人工智能将在未来一两年内出现。“如果你将 AGI 定义为比最聪明的人类更聪明，我认为可能是明年，两年之内，”马斯克在接受 X Spaces 采访时表示。这意味着显然是时候再次观看《终结者》了，并希望我们未来的 AGI 霸主会比天网更好。

正在研究英伟达的新型人工智能芯片

尽管埃隆·马斯克倾向于与科技竞争对手较量，但他也渴望获得英伟达最热门的科技芯片。

上个月，在这家芯片制造商于加利福尼亚州圣何塞举行的年度 GPU 技术大会 期间，两位 xAI 联合创始人(马斯克创立的作为 OpenAI 竞争对手的人工智能公司)在所谓的人工智能伍德斯托克举行了会议。

xAI 联合创始人 Igor Babuschkin 随后主持了一场演讲，介绍了该公司如何使用 Nvidia 的 GPU 以及机器学习框架 JAX来训练其聊天机器人Grok。同一天，另一位 xAI联合创始人兼研究科学家 Christian Szegedy与 Nvidia 数据科学家 Bojan Tunguz 进行了炉边聊天，讨论了软件合成和验证、LLM 对齐以及 Grok 的趣味模式。

即使他没有上台，马斯克的话也出现在了会议中:这位首席执行官在英伟达新型 Blackwell 芯片的官方新闻稿中被引用。他在声明中表示:“目前没有什么比 Nvidia 的人工智能硬件更好的了。” Nvidia、特斯拉和 xAI 均立即回复了置评请求。

马斯克的特斯拉被他称为“一家人工智能/机器人公司，在许多人看来就像一家汽车公司”，该公司一直依赖英伟达驱动的超级计算机来生产电动汽车——至少直到去年 7 月，马斯克在特斯拉财报 中表示。演示中，电动汽车制造商 将致力于建造自己的 10 亿美元超级计算机，名为 Dojo。一月份，马斯克在推特上表示，建造这台超级计算机将花费 5 亿美元，但与特斯拉在 Nvidia 硬件上的花费相比，这笔费用只是九牛一毛。他写道:“目前，在人工智能领域保持竞争力每年至少需要数十亿美元。”

尽管马斯克是英伟达的客户，但他也批评了这家芯片制造商，并暗示竞争即将到来。去年 6 月，他在 X 上写道， Nvidia “不会永远垄断大规模训练和推理” 。

英伟达已经有全球顶级科技公司在排队购买其新的 Blackwell 芯片。其最大的两个客户微软和 Meta已经宣布已经下订单。得益于芯片制造商 Blackwell 之前的芯片 H100，Nvidia 在 2 月份成为第一家市值达到 2 万亿美元的半导体公司，并成为世界上最有价值的公司之一。英伟达第四季度收益超出了华尔街预期，营收达 220 亿美元，较上年增长近 270%。

点这里加关注，锁定更多原创内容

今天是《半导体行业观察》为您分享的第3731期内容，欢迎关注。

『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID:icbank

喜欢我们的内容就点“在看”分享给小伙伴哦