ChatGPT爆火：OpenAI使用了约1万颗英伟达GPU来训练GPT-3.5模型

被禁售、阉割的A100

价格水涨船高

ChatGPT爆火，它超算集群背后用的英伟达高端GPU也火了。

OpenAI使用了约1万颗英伟达GPU来训练GPT-3.5模型，为了进一步满足服务器需求，OpenAI 使用的英伟达GPU数量已经增加到约2.5万个，机构预计这个数量将超过3万个。据外媒报道，如果谷歌需要将该技术应用到每一次的搜索中，则需要部署超过410万个英伟达GPU。就算是国内初出茅庐的类ChatGPT系统MOSS，也采用了8个英伟达的A100 GPU。

ChatGPT带来了A100等高端GPU需求的增长，而去年8月底，在这类芯片上我们又被“卡”了脖子。

美国通过一纸禁令，禁止英伟达向中国出售包括最新的H100和A100在内的高端GPU。这些产品系当前领先技术的新一代GPU芯片，国产替代难度大，而市面上现存的A100均是存货，据说这些A100的剩余使用寿命还有约4-6年，如果上量，应该很快会耗尽。

此前困于汽车芯片的小鹏汽车CEO何小鹏又为缺高端显卡发声，称英伟达 A100/H100的限制令“会对所有自动驾驶云端训练带来挑战”，好消息是：小鹏汽车刚好已经将未来几年的需求提前买回来了。

小鹏汽车有提前备货，但禁售令对自动驾驶或其他AI领域的中国企业有多大影响，就不得而知了。在市面上，A100因为变成稀缺品，价格开始水涨船高，从官方的1万美元/枚，约合人民币7万，涨至8万、9万元，快要到10万一枚。即便去年年底英伟达推出A100“阉割版”（带宽被限制）——A800显卡，于2022年Q3投入生产，在中国依然遭遇严重缺货。

据了解，A800京东官网定价超过8万元/枚，甚至超过A100官方定价。3月初，有云厂商人士接受财经十一人采访表示，A800实际售价甚至高于10万元/枚，价格还在持续上涨。A800目前在浪潮、新华三等国内服务器厂商手中是稀缺品，一次只能采购数百片。

A100和A800在中国如此缺货，禁令对英伟达的潜在影响高达4亿美元，英伟达没闲着，一边催上游代工厂发货，增加订单，一边争取美国禁令的宽限时间。

去年9月，传英伟达为满足大陆客户激增的需求，对台积电下了“超级急件”订单，计划在缓冲期之内完成更多的交付。据悉，英伟达要求台积电提前生产了原订于2023年出货的部分产品，总量约5000片晶圆，交期从5-6个月压缩到了2-3个月，此前预计最快10月底至11月初开始陆续交货。随着近期ChatGPT大热，3月有业内人士透露，英伟达还向台积电增加了A100、H100、A800 GPU订单。

通过与美国官方斡旋，除了将出口限制宽限延后至2023年3月，在2023年9月1日前，可以通过英伟达的香港公司继续履行和运输A100和H100芯片订单。

英伟达此前靠“挖矿”赚得盆满钵满，如今“挖矿时代”终结，英伟达又站在人工智能这一新风口上，CEO黄仁勋宣称人工智能的“iPhone时刻”已经到来，或许在A100这样的高端显卡市场，又会迎来和几年前类似的需求暴涨？

A100作为H100的前代产品，虽然不是最新产品，但在人工智能领域依然能打。老黄在近期采访中还多次推销A100显卡，在他看来，想要进入人工智能领域，购买A100就是最好的选择。

2020年5月14日晚，英伟达创始人CEO黄仁勋以线上发布的形式，从自家厨房中“搬”出了A100 GPU，黄仁勋表示这是英伟达8代GPU史上最大的一次性能飞跃。这款高端显卡集AI训练和推理于一身，适用于自动驾驶、高端制造、医疗制药等场景，其AI训练和推理性能相比于前代V100提升了高达20倍。

ChatGPT主要就是用英伟达的A100进行训练，这款显卡也成为了最抢手的产品之一。某宝上关于A100 显卡商品的问答中，就有购买者表示自己买来做深度学习，训练模型。

在摩尔定律最好的十年，AI 处理速度提高了100万倍，而到了黄仁勋提出的“黄氏定律”（Huang’s Law），从2012年的K20X到2020年的A100，英伟达的GPU推理性能提高到原来的317倍，远超摩尔定律的发展速度。

GPU或将推动AI性能实现逐年翻倍。英伟达与数据科学家、AI 研究人员合作开发新模型，在整个跨度内，成功使大型语言模型处理速度提高了一百万倍。

游戏、云计算、加密货币、元宇宙、ChatGPT……不管大家要挖金矿、银矿还是铁矿，站在什么样的风口上，如果说英伟达是产业上游的“卖铲人” ，那么它的A100、H100等高端显卡，对各大企业来说就是最高效，最省力的“铲子”。

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。本站原创内容未经允许不得转载，或转载时需注明出处：捷易科技 » ChatGPT爆火：OpenAI使用了约1万颗英伟达GPU来训练GPT-3.5模型