新的时代下，就会晤临新的问题。

在工业全面拥抱大模型的浪潮中，更多实践性的问题浮出水面。

假如做大模型的鸿沟是数据、算力和本钱等，腾讯云充值平台那阻止工业运用与大模型结合实践的高墙则更为详细。

有草创大模型公司期望拓宽大模型更多元的常识；有智能运用厂商在思考怎么与大模型结合，给用户最好的体验；更多的人依然还纠结于算力本钱、推理加快、存储、安全布置等多重要素......

千人千面，不论是做大模型的厂商仍是根据大模型深入探究智能运用落地的厂商，好像在这条实践的路上充溢应战和荆棘。

在大模型ToB方向，云厂商或许能够开出这一剂良方。

根据云，企业能够更好地调用模型API、获取算力，也能够完结私有化大模型的布置，一起还能进行数据清洗、存储、挖掘等等，充沛开释其大模型才能，在满意企业数字化底层建造需求的一起，还能激发更多服务客户智能运用场景的可能性，让落地变得简略。

而作为被期待的云厂商之一，腾讯云首先给出解法。

在腾讯数字生态大会互联网AIGC运用专场，腾讯云约请国内多家一线大模型厂商、腾讯云充值平台产品运用实践负责人共同讨论当下大模型建造及AI运用场景的落地空间与实践。

那么，作为组局者，腾讯云有哪些值得期待？它能否在大模型与职业运用之间探究进程的不确定性中心给予支撑，让企业真正将大模型用起来呢？

01

什么才是阻止大模型

与工业结合的高墙？

为什么我练习的大模型大力却没出奇观，幻觉频出？

嵌入的数据越来越多，腾讯云充值平台推理进程越来越慢？

推理进程中断了怎么检测和康复？

明明具有相同质量的GPU卡，运用率怎么才不到50%？

单单一个智能客服场景，还没有开端商业化，前期准备本钱却如此之高？

还有哪些智能运用场景是经过大模型加持的......

曩昔我们只是强调做大模型需要具备数据、算力、算法这些重要的根底条件，却从来没有人能够详尽地说清详细该怎么很好地运用起来。

那些不论是自研大模型的厂商仍是根据开源模型做微调进行智能运用研制的厂商，腾讯云充值平台在曩昔半年的实践操作进程中，比方以上的许多细节问题全都暴露无遗。

积极拥抱和布局大模型，可能并没有想象中那么简略。

「ToB职业头条」观察到，阻止大模型与工业结合的高墙，使大模型才能无法完全开释的要素主要在以下几个方面。

首先是练习环节，大模型练习集群规划及算力增加需求暴增（据统计transformer类模型，练习算力均匀每2年翻750倍），但许多大模型创业企业GPU算力却利用率缺乏50%乃至更低，形成极大的本钱糟蹋。

比方因为许多企业对算力调度灵活性差，简略呈现算力缺乏或算力闲置糟蹋的情况，有些企业会接到不同的项目，其对算力的需求往往是弹性弹性的，假如自己创立算力中心，当遇到大的项目时，就可能会晤临着扩展性缺乏、算力缺乏问题；当只接到小项目时，面对的是剩余的算力被闲置了，利用率低，本钱变得更高了。

也因而怎么将有限的算力用好，怎样进步集群的有用算力？怎样将GPU的利用率进步？等等问题都会成为企业在拥抱大模型中有必要处理的阻止。

其次是跟着模型参数变得越来越大（实质是练习的数据越来越多），推理进程越来越慢。从曩昔TB级升级到PB级，乃至更大规划。大规划数据量的收集、清洗与处理的才能及处理的作用，直接影响后续的模型表现。

此外，在微谐和强化学习阶段，高质量的标示数据对模型微调的作用更是会引起数量级维度的影响。

从这里能够看出，许多模型之所以大力并不能出奇观的原因，腾讯云充值平台归根到底是后面一系列体系工程并没有很好的跟上，数据尽管很重要，但怎么合理的运用数据更为紧急。

三是怎么持续下降推理本钱的问题。如刚刚上述所言，模型的复杂度进步，推理速度变慢，为满意业务功能要求，模型推理的GPU算力功能也会变得反常的高，整个推理进程极大的进步了推理本钱，一起因为算力资源利用率低的问题，再一次加剧了运用本钱。

因为服务本钱过高，也因而能够看到当下的企业只能将大模型的才能赋予高价值的用户场景，根本做不到让这台充溢法力的引擎得到充沛利用。

此外，不同职业对大模型的需求尽管也有共通之处，比方根底的对话、多模态才能等。但更多的情况下，每个职业的根底数字才能、腾讯云充值平台乃至安全需求、时延需求、运维需求都不相同，再下沉到详细的智能运用环节，更是变化万千。

这也意味着，现在企业若想打好以AI技能为主的数字底座，首先要认知到怎么用有限的资金，在本身才能缺乏的情况下，以多元化的方法获得更多的算力资源、算法、网络、存储等技能支撑。

最经济最合适的做法当然是采取租借的方法获取资源。而当前被以为最靠谱的方法则天然就是寻求具有数据、人才、算力、算法等多方面优势的云服务大厂协作。

02

为模型层供给强有力的

“根底设施”支撑

市面上绝大多数大模型厂商都不会挑选经过自研去补齐本身在建造底层根底设施的短板，而是把它交给有实力的厂商去做，而自己则在拿手的部分发挥。

专心于研制大模型技能，腾讯云充值平台自研出全新的GLM（通用言语模型）路径，一边做技能研制，一边做职业落地，与云厂商协作处理算力需求，这便是早已得到业内广泛认可的智谱AI做出的最优解。

经过腾讯云自研的星脉网络，为每台GPU服务器供给了3.2T的交互宽带，保证了智谱AI对超强算力的需求，相较于曩昔，腾讯云新一代集群的算力功能较前代进步3倍。

全体运用作用显示，其集群通信功率达90%以上，通信时延下降40%，进步20%GPU利用率，节约30%-60%的练习本钱。

而专心于视频/图像生成方向的AI科技公司右脑科技也相同挑选了与腾讯云协作。

一方面经过腾讯云高性价比的GPU、CFS Turbo高功能存储以及GooseFS加快才能，腾讯云充值平台快速支撑起右脑科技数十亿参数图像/视频生成模型多机练习，全体下降40%算力本钱，推理加快进步超过30%。

另一方面针对安全需求，腾讯云处理计划有用的处理了网站被进犯停服，网站漏洞注入，网站恶意注册等应战。

这样的比方也仅仅是大模型企业与腾讯云协作的缩影，除了推理加快、算力支持以外，腾讯云打造了从根底设施层+加快层+TI-ONE机器学习渠道层等相结合的AIGC全栈处理计划。

比方，在榜首块的根底设施层面，腾讯云充值平台具有练习大模型才能的HCC高功能计算集群、星脉高功能计算网络、向量数据库的等等根底设施，能够供给可有大模型练习需求，但在软、硬件才能有所缺失的客户。

此外，在加快层、练习场景计划方面，腾讯云练习结构向下深度适配，兼容干流开源的DeepSpeed & Megatron结构。经实测在A100 40G上比较Deepspeed包容模型规划进步95%，模型功能进步了44%，而且具有更好的扩展性。

在推理方面，经过异步调度、KV cache、算子融合等方法，比较职业常用计划，全体功能进步超过30%。如针对LLAMA2系列，优化后功能进步77%，SD场景均匀进步了50%的功能。

最终是TI-ONE，一个掩盖大模型开发全流程的机器学习渠道。从数据标示到交互式建模，从大规划练习的集群办理到使命提交，从在线服务的布置到模型财物的办理，腾讯云都供给了丰富的资源视角和使命视角，用户能够有用地办理数据集、镜像、代码、模型和使命。

一起，TI-ONE MaaS现在已支持20多个干流如Llama、Falcom、DOlly等等的开源模型。腾讯云充值平台企业能够结合自有数据进行一键发动精调练习，每次精调完结后，都会有使命版别并记录超参快照，方便算法工程师进行调参及结果剖析。最终能够挑选最佳指标模型，进行模型发布与布置。

能够看到，腾讯云底层根底设施才能和加快层，处理了用户对不同场景里大模型的需求和灵活装备问题。而TI-ONE渠道，则进一步下降了用户运用大模型的门槛。

也正是根据曩昔在人工智能范畴以及云服务范畴的深沉积累，腾讯云从多个角度处理B端客户对大模型层的各类需求，规划出一条完好的商业链路。

03

运用层百家争鸣

谁在落地最佳实践？

除了模型层外，整个大模型工业链中最热烈的一环，也是被以为最有价值的一侧——智能运用层，也正在ToB范畴生根发芽。

人事体系、财政体系、客户办理体系、腾讯云充值平台规划东西、协同办公东西、营销东西......几乎包括一切ToB类企服软件都在运用立异之路上争分夺秒。

腾讯云职业架构副总监李想表示，AIGC的呈现加快了SaaS从流程化往智能化方向的开展，腾讯云的图像生成、视频生成、语音转文字、内容合规等AI原生才能，能够为互联网企业服务运用在内容创造、智能问答、推荐体系、智能总结等场景下的不断立异供给技能支撑。

在腾讯云SaaS+AIGC场景化处理计划中，腾讯云都有针对性地在不同业务范畴不同运用场景供给不同的才能，以企图更好地嵌入业务场景，助力ToB企业立异开展。

作为我国最大的营销与出售SaaS处理计划服务渠道的珍岛集团Marketingforce便是与腾讯云深度协作共创智能运用的比方。

根据AIGC的底层才能，针对不同客群自动生成不同风格的营销内容然后触达潜在客户实现最终的营销增加目标成为企业营销的要点，珍岛集团规划了“AIGC+智能圈选人群”，“AIGC+智能营销画布策略生成”的产品计划，并经过“AI+数智人”的技能融合处理了企业在短视频与直播模式下的营销难题。

此外，在线规划东西范畴，腾讯云还助力国内AI创意规划与视觉传播SaaS渠道——创客贴，快速迭代AICG文生图业务，腾讯云充值平台根据腾讯云Stable Diffusion 云原生布置计划，支持创客贴AI才能2周内快速上线，极大的保障了创客贴AIGC产品的快速迭代。

相同在CRM范畴，出售易凭借大模型让其智能客服机器人进入了互动新时代，不仅能够对客户目的进行识别，还能进行上下文解析，并开展多轮对话，引导用户逐步、有针对性地处理问题（经过大模型+向量数据库的方法进步了回答准确率的问题），完全告别了传统的用户挑选式互动，为用户供给了沉浸式、互动式的全新体验。

能够看出，当下的腾讯云正在与不同范畴的ToB厂商在智能运用方面碰撞出不同的火花，也带来了许多最佳实践（更多不同范畴的不同运用场景实践内容，已收录进腾讯云与艾瑞咨询联合发布的《互联网企业服务职业技能实践指引2.0》白皮书中）。

写在最终

从根据大模型工业链条上不同层面给出的有针对性的处理计划来看，腾讯云要做的，是期望在大模型的每一层，比方算力层、数据层、模型层、运用层等，都能供给对应的产品。

并经过曩昔在每个不同场景每个职业对大模型的运用需求洞悉中，腾讯云充值平台不断完善其本身的东西链，让每个企业都具有了趁手的东西，然后加快整个大模型时代的工业开展进程。

能够预见，跟着大模型在工业内扎根越深，腾讯云更多关于实用主义的探究也必然会在其中发挥不行忽视的作用，到时或许人人都能够简略便捷地布置和运用大模型与运用，那么属于大模型的时代才会真正到来。