管理 来源：海通证券股份有限公司 时间：2023-06-26 11:53:43
(资料图片)
国家互联网信息办公室发布境内深度合成服务算法备案清单，百度阿里腾讯字节讯飞等在列。6 月20 日，国家互联网信息办公室发布境内深度合成服务算法备案清单（2023 年6 月），其中包括美团在线智能客服算法、快手短视频生成合成算法、百度文生图内容生成算法、百度PLATO 大模型算法、火山引擎智能美化特效算法、腾讯会议虚拟背景算法、天猫小蜜智能客服算法、讯飞星火认知大模型算法等。《互联网信息服务深度合成管理规定》第十九条明确规定，具有舆论属性或者社会动员能力的深度合成服务提供者，应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续。深度合成服务技术支持者应当参照履行备案和变更、注销备案手续。网信办官网专门指出：“请尚未履行备案手续的深度合成服务提供者和技术支持者尽快申请备案”。我们认为，此次清单的发布，为应用的合规奠定了法律基础，未来应用的落地有望进一步加速。
腾讯云披露行业大模型方案进展，并公布MaaS（Model-as-a-Service）能力全景图。根据腾讯云官微，腾讯云基于企业痛点和需求，依托腾讯云TI 平台打造的行业大模型精选商店，提供涵盖模型预训练、模型精调、智能应用开发等一站式行业大模型解决方案。内置多个高质量行业大模型，涵盖金融、传媒、文旅、政务、教育等多个行业场景。兼容支持多模型训练任务，企业可以按需取用。在此基础上，企业不仅可以加入独有的场景、数据，快速精调生成专属模型；也可根据业务场景需求，按需定制不同参数、规格的模型服务。同时，腾讯云还提供完善的大模型工具链和配套服务，包括数据标注、训练、测试、评估、部署等全套工具，助力快速精调大模型，客户按需灵活使用，加速大模型在产业的落地。同时，提供本地化的训练、落地及陪跑优化服务，为客户扫清落地障碍。算力方面，腾讯云新一代HCC 高性能计算集群，专为大模型训练打造，具备业界最高的3.2T 互联带宽，将整体算力性能提升3 倍；即将推出的腾讯云向量数据库（Tencent Cloud VectorDB），源自腾讯每日处理千亿次检索的向量引擎（OLAMA），单索引支持10 亿级向量规模，更适合AI 运算、检索，数据接入AI 效率提升10 倍。我们认为，腾讯云在行业大模型的发力有望使得行业信息化公司受益，这些公司拥有行业数据和行业know-how，能够更好地与大模型公司合作，从而推出相关的行业大模型。
微软发布 DeepSpeed ZeRO++，有望进一步提升模型训练效率。6 月22 日，微软在官方blog 发文，正式介绍了最新的 DeepSpeed ZeRO++。相比于ZeRO，ZeRO++的进步主要在以下两方面：（1）ZeRO++加速大型模型预训练和微调。
每个GPU 上 batch size 较小时： 无论是在数千个 GPU 上预训练大型模型，还是在数百个甚至数十个 GPU 上对其进行微调，当每个 GPU 的batch size较小时，ZeRO++ 提供比 ZeRO 高 2.2 倍的吞吐量，直接减少训练时间和成本。低带宽计算集群： ZeRO++ 使低带宽集群能够实现与带宽高 4 倍的高端集群类似的吞吐量。因此，ZeRO++ 可以跨更广泛的集群进行高效的大型模型训练。（2）ZeRO++加速 ChatGPT 类的 RLHF 训练。虽然 ZeRO++ 主要是为训练而设计的，但它的优化也自动适用于 ZeRO-Inference，因为通信开销对于ZeRO 的训练和推理同样适用。 因此，ZeRO++ 可以提高人类反馈强化学习（RLHF） 等算法的效率， 因为RLHF 结合了训练和推理。通过与DeepSpeed-Chat 的集成，与原始 ZeRO 相比，ZeRO++ 可以将 RLHF 训练的生成阶段效率提高多达 2 倍，强化学习训练阶段效率提高多达 1.3 倍。博文中最后指出：“用于 DeepSpeed-Chat 的 ZeRO++ 将在未来几周内发布。”
我们认为，DeepSpeed ZeRO++的发布，或有助于模型训练效率的进一步提升，对AI 全行业的发展带来更加积极的作用。
建议关注：浪潮信息、中科曙光、科大讯飞、金山办公、新国都、赛意信息、博彦科技。
风险提示：AI 技术发展不及预期。
标签：
上一篇：暑期临近，热门线路来了！
下一篇：最后一页
