算力需求：对于AI芯片的要求全面拉升

算力需求：对于AI芯片的要求全面拉升

4年的时间、1500倍的参数量提升，大型语言模型展现出强劲的扩张态势。2018年，OpenAI推出第一代生成式预训练语言模型GPT-1，拥有1.17亿个参数。2019年推出的GPT-2拥有12亿参数，是GPT-1的10倍多。一年后面世的GPT-3，参数量达到1750亿个，是GPT-2的100多倍，预训练数据量高达45TB。ChatGPT正是基于GPT-3.5——一个基于GPT-3的微调版本。

与参数量一起飙涨的，是大模型的算力需求。燧原科技创始人、董事长兼CEO赵立东向《中国电子报》表示，以ChatGPT为代表的生成式AI模型为了实现高质量的内容生成，具备两大特性：参数规模巨大的模型、海量的训练数据集。因此，大模型在底层算子支撑、系统架构方案、软件生态支持方面都和原先的决策式AI模型有着显著的区别，需要芯片厂商打造更加领先的系统级软硬件方案，并在技术和产品层面打破原有的路线与壁垒。

“反映到算力芯片角度，主要有三方面的需求：一是分布式计算能力，包括数据并行、模型并行、流水并行等分布式计算方案，计算效率尤其关键。二是大容量高带宽的内存方案，在每个AI芯片内部有效提升数据处理能力和算力利用率，结合HBM以及CXL等新型存储技术进一提升本地存储能力和算力利用率。三是更高的单芯片计算能力，以降低整体系统复杂度，并降低TCO成本。”赵立东说。

昆仑芯科技也向记者表示，伴随着ChatGPT的迭代，大模型算法对算力的要求不断提高，而算力的核心就是人工智能芯片。“大模型对计算的要求主要体现在三个方面，一是算力，二是互联，三是成本。大模型的热潮也将加速AI芯片技术的创新和进步，包括芯片架构、算法优化、功耗控制等方面的提升。AI芯片公司可以在这些方面进行研发和创新，不断提高产品竞争力。”

除了在已有的AI芯片路径持续迭代调优，获得更优的算力、效率、功耗、成本。大模型强烈的高算力需求，也呼唤芯片电路与架构层面的进一步创新。北京大学集成电路学院研究员贾天宇向《中国电子报》指出，大模型技术的出现和普及，将进一步推动AI芯片的发展，拉升多方应用产业对于AI芯片的需求，对于提升AI芯片的重要性和不可或缺性有积极的意义。但同时应认识到，支持大模型计算的AI芯片算力需求高、设计复杂度高，其设计要求和门槛也随之提升。

“由于传统芯片技术发展的限制，当前芯片设计的电路与架构面临着存算力瓶颈、能效瓶颈、设计复杂度瓶颈等多方面挑战。如何解决算力需求和芯片设计瓶颈之间的矛盾还需要多方的创新和技术进展。”

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。本站原创内容未经允许不得转载，或转载时需注明出处：捷易科技 » 算力需求：对于AI芯片的要求全面拉升