浅析《人工智能 加速卡技术要求及测试方法》团体标准（征求意见稿）

支持更大规模的人工智能大模型应用

——浅析《人工智能 加速卡技术要求及测试方法》团体标准（征求意见稿）

　　6月19日，中国互联网协会发布《人工智能 加速卡技术要求及测试方法》团体标准（征求意见稿）（以下简称《征求意见稿》），公开征求意见，意见反馈截止时间为7月18日。

　　当前人工智能技术的飞速发展对计算资源产生了海量需求，国内外各厂商研制的人工智能加速卡产品在数据精度、存储类型、通信协议、算子类型、软件栈等方面各有差异，导致加速卡在满足海量人工智能训练和推理需求时存在较大的协调难度。《征求意见稿》针对该现状，以人工智能加速卡产品为标准化对象，以技术和产业实际为基础，结合产业需求，就人工智能加速卡产品的功能与性能指标等技术要求达成一致，并给出规范化的人工智能加速卡测试评估方法。

　　总体来看，《征求意见稿》对人工智能加速卡的功能、性能、兼容性、可靠性、安全性、训练性能和推理性能等技术内容进行规范，并给出标准化的测试评估方法，为人工智能加速卡的供需双方提供可参考的设计、选型、评测依据，有利于促进人工智能加速卡产品的规模化应用和我国人工智能产业生态的健康发展。

　　主要亮点

　　有效支持人工智能大模型的训练、推理。自深度学习兴起以来，训练人工智能模型所消耗的算力不断增长。随着生成式人工智能走热，业内预测，大模型推理所需算力与训练相当。而大模型训练、推理主要依赖大规模的分布式并行计算集群。也就是常说的万卡集群（注：由一万张及以上的计算加速卡组成的高性能计算系统，用以训练基础大模型）、十万卡集群，以训练为例，其动辄需要20天连续、大规模计算才能完成。要搭建这样一个有效的集群是一个巨大的工程，需要充分发挥人工智能加速卡的性能、稳定性和安全性，让数以万计的人工智能加速卡高效协同运行，尤其是要避免微小的硬件故障、网络抖动导致长周期运行计算任务中止。作为业界率先提出性能、兼容性、稳定性、安全性等测度方法的团体标准，《征求意见稿》对提高人工智能算力集群的性能、效能大有裨益。

　　加速“算力规模”向“算力效率”转型。算力是本轮人工智能产业发展的关键。在通用算力层面，我国现有算力规模相对较大，但算力效率还有很大提升空间。工信部2022年8月公布的数据显示，截至2022年6月底，我国在用数据中心机架总规模超过590万标准机架，服务器规模近2000万台。算力发展水平逐步提升，但芯片规格标准不一等问题影响算力提升。当前，各地智算中心、超算中心正在计划加快部署人工智能加速卡，《征求意见稿》适时出台，将为各地新建智算中心的人工智能加速卡部署提供依据，也为算力集群的选型与适配奠定重要基础，支持我国从加速“算力规模”向“算力效率”转变。

　　填补国内关于人工智能加速卡的技术要求空白。目前，已发布的《信息技术 人工智能平台计算资源规范》（GB/T 42018-2020）等相关标准中，大部分标准的标准化对象为人工智能芯片，多集中在芯片性能的基础测试指标和测试方法，未涵盖人工智能加速卡的全部技术内容，也缺少相关技术要求，部分包含人工智能加速卡的标准，只就内存、带宽、视频编解码等通用技术提出了要求，不够全面。《征求意见稿》首次对人工智能加速卡的功能、性能、兼容性、可靠性、安全性、训练/推理性能给出全面技术要求和测试方法，是现有标准的有益补充。

　　提供科学依据，规范行业测评。随着大模型带来算力需求的激增，一些机构纷纷入场模型测评，开启了国内芯片测评的商业化收费。但由于目前测试标准更关注人工智能芯片，没有综合体现人工智能加速卡的综合技术能力，而部分测评机构有意引导，对企业/行业市场再行推广，在各类应用项目中设置投标得分点，让厂商不得不“自带干粮”参与。《征求意见稿》提供关于人工智能加速卡各项性能的测试方法，与现有标准可相互配合，规范测评依据和测评市场，促进人工智能加速卡技术和产业发展。

　　完善建议

　　推动人工智能芯片上下游生态参与，让标准更接地气。总体来看，目前，国内的主要人工智能加速卡厂商均参与了《征求意见稿》的标准制定，但大模型训练、推理依赖于高性能的分布式并行计算系统，而云计算是搭建该系统的关键技术体系，只有将人工智能加速卡与云计算服务更好地结合，才能在人工智能芯片算力短缺的情况下，支撑好我国人工智能产业高速发展。但我国目前的主流云计算厂商未参与《征求意见稿》制定，建议后续加强联动，以保障测试大规模集群的效能、性能、能耗。

　　要前瞻布局，推动国产人工智能芯片的系统化工程实施。尽管《征求意见稿》为我国大模型发展树立了良好标杆，但短期内很难依靠国产芯片解决训练算力瓶颈，应保持耐心。目前，《征求意见稿》主要关注神经网络处理器专用芯片，建议还要综合考虑适配大规模计算集群的云原生芯片路线，为不同技术路线的国产人工智能芯片提供应用测试验证环境，为下一代人工智能芯片攻坚提供支持，储备一批人工智能芯片开发人才和工程经验，加速国产芯片整体能力的成熟。

　　加大开放力度，进一步重视人工智能加速卡应用场景建议。《征求意见稿》规定了人工智能加速卡的技术要求、测试评估的方法，但考虑到人工智能大模型仍在快速迭代，技术架构尚不成熟，要为人工智能技术演进路线预判留有空间，更着眼于场景建设。建议根据人工智能发展的需求来设计、发展芯片评测标准，并充分尊重现有技术生态及保障多元技术开发路线。

　　（作者单位：浙江工商大学法学院）