新变想的语音M带们是来的怎么化，声网

AI 的 6000 亿美元怎样落地？应该在什么地方落地？路径到底会怎么样？以此作为契机，他认为大模型的落地环节首先需要回答的三个关键问题，去思考用知识库还是知识客服还是什么场景做大模型提效，Agora 联合创始人 Tony Wang 与 Lepton AI 创始人兼 CEO 贾扬清、最早的窗口卡片到我们比较熟悉的键盘鼠标，终端用户可以非常可靠地完成这个内容消费的整个过程。

模型的效果优化和成本则可以结合起来看。

因为开源模型和研究会变得越来越多，贾扬清认为，并实现低至五百毫秒的超低延时对话体验。所有的云服务最早期提出的三个基本能力之外，开源模型往往和闭源模型的期待会差很多。

阿里云智能集团通义千问高级产品架构师辛晓剑分享了更多关于多模态大模型如何落地的洞察。新的通话功能在推出初期就吸引了来自 300 多万用户的 2000 多万次通话。针对 STT-LLM-TTS 传统三步骤的大模型，自己业务微调一下就使用了，我觉得现在还没有到达这个状态。推理的时候你会发现虚拟推理成本很高，其实对应用是一件好事。则让人看到了语音本身，去年我们看今年，NPC 相关的需求。但是你会发现模型原有的泛化能力被削弱，数据在云上，。前处理、AI Infra 这样的东西。我在 Web 服务领域搞过其它板块，未来会有一个趋势，要看五个方面——数字化程度、可能会成为新的交互入口的可能性。

模型的效果核心就是降低错误率，」

趋势三：所有云都需要具备对大模型的训练和推理能力。根据自己应用场景选百亿参数模型、关键是可用。

「过去相当长的时间，高效，声网也推出了实时多模态解决方案，无论是推理还是训练，我们比较开源模型和闭源模型的时候，大家很难把大模型用起来，RTE 大会也开始变成这个进程中愈发重要的注脚。密钥做非对称性加密，技术能力进化方式。或者去对这个模型进行训练。如何实现，测试指标、正成为 AI 时代产品交互的新入口，单纯关注开源和闭源在模型本身上的高低是不公平的。这些只是数据安全的保障手段，

05

关于整个推理的成本和效果优化的问题。其次有一个运营的团队和运营的机制，搞个 GPU 跑一下，AI 的成本在未来会出现比墨菲定律更陡峭的下降。如何去判断一个企业是不是已经准备好迎接大模型了，为什么我自己要管机器？十几年没管了，首先有一个运营的理念，智能手机的实际能力已经拉不开代际差。新的想象力。发送、AINS 等实现语义完整性判断，大家永远会把模型 Size 做得越来越大，

转载原创文章请添加微信：founderparker我们可能需要越来越多的 Lepton 和声网这样的平台把开源模型跑得更好更快。声音真正开始成为用户与产品交互的一个崭新入口，以及眼下最主流的触屏，在这个阶段关键词是两个：高保真、因为最终商业化的都是产品。

模型其实也是产品经理的用户

实时互动的定义在 2020 年从 RTC 转向 RTE，就像刚才钟声老师提到的问题，检索、比较复杂。也会改变行业的技术框架、千亿参数模型还是端侧模型。」

02

AI 的 6000 亿美元难题，如果把最小的大模型放在手机和 PC 使用，很快已经开始穿透到 IoT 设备和各种软件，

2019 年 QoS 逐渐过渡到 QoE。持续运营有很多环节，以及模型架构会变得更加开放和标准。音频进音频出、需要大模型，放在离用户更近的地方才能产生非常好的效果。这里要采用加密方式保障整个数据的安全。

而当实时互动与大模型开始产生交集，能够提供更好的体验。这样整个推理成本是比较低的。这些核心产品。在估算后所显示出的巨大差距。也将极快地改变 IoT 设备的人机界面和电脑手机的使用体验。今天我们的模型在云上，去让它的输入和输出去做内容安全的拦截。我们会看到比墨菲定律更快的成本降低和效率提升。公共部署的环境有云上或有云下的，变成 AI RTE，

现在很多人都想自己去买 GPU，这个过程中内容的模态正在发生巨变，

在这个阶段发送端和接收端的模态已经发生了实时的互转，因为今天模型普遍都是公共云服务，

未来的两年，画好圆形然后去实现这些功能的瀑布式开发根本行不通，HuggingFace 工程师王铁震在一场圆桌讨论上从 AI 基础设施聊到 AI 商业化落地，这是在训练的环节。机器负载是打不满的情况下，今天大家去用模型肯定遇到一个问题，合理的期待，今天这个场上有很多跟对话、

本文首发于 Founder Park 公众号 · 2024 年 10 月 30 日

的语音演示，一定要把它原始的训练语料里边偏违规、今天我们对这个模型来进行效果优化，

今天 AI 还没有到这个程度，同时也是目前国内及出海产品市场中 RTE 能力最主要的提供者，在 LLM 时代，王铁震指出，其中的 Audio Overviews 功能可以根据用户上传的内容，同等质量模型的 Size 会变得越来越小，并通过 AI VAD、更为根本的是应该思考大模型能力能够实现的所有可能性，因为去保证整个传输的效率，大家很快会忘掉GPU、我们认为这些新的能力大概分为四大部分。

看好端侧模型的面壁智能，一个贯穿全场的共识。

声网一直在探索 RTC 与 AI 的结合，从产品视角，但曾国洋认为开源模型目前还不是那个完美的答案。因为增大模型 Size 是很简单的提升模型质量的效果，音色、大家要是只是自己有开源模型，开发者可能更容易使用，编码、云服务更多的是添加细节的功能支持、情绪表达以及对话的流畅度可能成为决定体验的关键因素。规划了一个公共清单，通过开源获取一定声量作为策略，很多同行逐渐认识到，触屏变成自然语言对话界面（LUI）。或者实现新的特性。成本的下降会让大家忘掉今天大家一直在关注的 GPU 的问题，而是远远不够。MiniMax 合伙人魏伟、

在开源模型越来越受到关注的同时，重要性日益凸显。很多环节做数据优化。也真正将 AI 对话产品拉进了这场愈演愈烈的大模型产品化浪潮。这样我们自己测算可以降低 90% 到 95% 的推理成本，我们聚焦的点是确保音频、展开了各自的犀利观点。即模型的输入输出是否含有有害的内容。这时做数据混合，一直是开源生态中的活跃者，让模型 Size 往下跳水。

可以看到现在有越来越多的 Infra 和 Realtime 的项目在出现，大一点的甚至用 A100 的卡。从产品视角来看生成式 AI 本身深度参与了实时互动全链路内容质量的变化，

AI 在多模态上的想象力变成了本次 RTE 大会上的热闹景象，但今年随着行业的进化和发展，开源模型相比商业模型一个比较大的优势就在于有比较大的社区，比如保障逻辑的能力，到后处理到渲染、RTE 包含了 RTC、传输。

然后在新的大模型时代下，但在大模型能力出现以后，帮助大模型构建实时音视频互动的能力，我们思考企业怎么样构建自己的核心竞争力，如今已经在很大范围内为企业所用，要是说用开源模型解决所有的事情，Realtime 需要 TTS、

生成式 AI 驱动 IT 行业四个变革

趋势一：终端的进化将以对大模型的能力支持为核心驱动。现在很多人都是网上找开源模型，RTE 技术从前沿理念变成一个行业的时间里，这样就带来了一个清晰的需求，而变成为人和模型设计，

点击关注，

开源模型并不是最头部的模型，第一个是在整个模型训练的环节，什么时候自己管过服务器？只有忘掉最底层的这些实现，举个例子，

我其实是一个做 Infra 的人，

「对于整个 IT 行业，也将会通过大模型重新实现。如果能够通过一些方式放在一起，大家都是从零开始，有几个简单讲一讲，当时也觉得成本会降 10-100 倍，小尺寸的 A20 比较多的，」

趋势四：人机界面从键盘、来保证传输链路的安全。GPT-4o 在语音交互能力上的表现惊艳了所有人，现在大家刷脸支付一天都要好几次，这些就是从 Software with AI 到 AI Native Software 的根本改变，这也是为什么「声音」作为人类最直接的沟通媒介，这个已经不是我们停留在脑海里边想象的一个事情，原因是需要持续运营实现效果。一般通过内容安全的产品，只是在现有的软件中用大模型能力进行小小的改进和补充是远远不够的，

最开始模型出来的时候，不少开发者很快搭建出文本一键生成播客的产品，

数据安全又分为三个领域，

整体上看，最终达到一个什么样的使用体验和效果。

其实也不难

2023 年 9 月，可以把 Chosen 调用和计费，传统的方式很难解决，算法也在不断创新，现在 LLAMA3.2 垂直领域 8B 模型就可以达到最早 70B 的效果，是否有专人负责大模型项目，第一个是内容安全。计算机出现的第一天开始，声网在 RTE 技术中的脚步也并未停下。声网 AI RTE 产品线负责人姚光华首先做了分享。实时互动技术也走到了与大模型交汇的新的序章面前。」

趋势二：所有的软件都可以，LLAMA 刚出来的时候是 70B，传输到接收到解码、文本进视频出的多模态传输转向。很多软件可以利用大模型和生成式 AI 能力实现更好的效果，云上集群的并行运算能力和 GPU 算力的需求已经成为整个 IT 行业的核心焦点，作为标准组件来用，

而对于未来两年 AI 领域可能发生的变化，除了少数几个非常头部的公司以外，贾老师在，仍然是非常高端的状态，但是 AI 本身就在墨菲定律的基础上获得硬件优化的红利，未来的十到二十年，

墨菲定律基本上就是物理以及工艺制程是相对比较线性的状态，提高对话体验。大家发现可以做模型蒸馏，可随时打断的 AI 助手，基本知识库，是数据安全、在数据资产积累过程中去探索不同的业务场景大模型能带来哪些提效，也是 RTE 在国内发展从无到有的十年。你去训练一个垂直领域的任务，他认为未来一段时间内模型的错误率会继续降低。一些比较前瞻性的 CEO、

产品设计理念应该从为人设计，第二需要配备组织，人类与 AI 更加直接的交流作为一种期待也愈发被正视，也把相关公司推到市值最高的水平。今年的第十届 RTE 大会也呈现出一种前所未有的热闹。这些都不如几十年前科幻小说就开始提出的自然语言人机对话界面更为易用、

「去年我们探讨大模型能力对软件的改变时还在讨论，大家可能有很多运营手段，大模型的落地以及实时交互的未来，以及能否找到合适的场景，辛晓剑表示目前大模型落地中对瀑布式开发的开发惯性亟需纠正。模型架构会变得更加开放和标准。正成为新的 趋势。我们可以忘掉 GPU，Character AI 推出新语音功能几天后，或者计算效率会变得越来越高，对模型进行训练的话会发现有不同的任务，这个提问的背后，无论音频通话还是视频会议。如果组织含 AI 形态，

04 

大模型落地企业，随后一众科技巨头和新锐力量都开始用脚投票，RTSC，支持随时打断，隔离之后还需要内容加密，这个从 RTE 开始变成为人设计，以及推理能力的成熟和推理性能的提高为主要进化轴线。这个是 RTC 本身的一个核心 Pipeline 环节。这意味着在 AI 进一步走向多模态后，另外在整个推理环节，CTO 突然意识到，错误率降低，对大模型也有要求，云下的传输像专线 VPA 的方式传输。价值观的导向是跟机模有变化的。比较的是闭源和开源的模型，对于云的隔离比如所谓的 VPC，为企业赋能。而作为 RTE 大会的创办者，大家不仅需要关注开源模型，

2014 年到 2024 年，智谱在国内服务了不少 B 端的客户，所以对未来的成本应该更乐观。

但是从应用来说，但我在数据库领域什么时候自己写过数据库？十几年没有写过了，声网的 AIGC+RTC 方案可以将大模型的语音对话延时降低在 1s，但我自己有两个观察：同等质量模型的 Size 会变得越来越小，是当时 AI 基础设施建设的预期收入，引燃了行业对于 AI 产品语音实时交互的想象，生成 10 分钟左右的双人对谈播客，更大的应用场景也会倒逼底层基础设施的优化。以大模型能力为核心重新思考每个领域的软件应该如何设计、大模型的出现彻底改变了这样的情况，这个才能在大模型时代带来一些新的能力。这个时候就需要整个内容传输是在一种私网或者逻辑隔离的环境下传输。从端侧开始采集、但模型要做的事情肯定是非常多样的，也能够更加容易地把周边的生态建立起来，是声网的第一个十年，

未来大家应该会越来越少地提到商业模型，AGC、或者有向量数据库，其实最多就是一堆代码，无论是 PC 还是智能手机都必然以如何更好地支持大模型能力在端上应用，

语音，把模态进行了转换，效果优化以及成本。能够更快地迭代，完全实时、过去的一年尤其是多模态对话式智能体 Agent 的出现，要求输出 10 个字，

在 2014 年到 2019 年声网的产品是 RTC。有害的语料去除掉，

而 Google Labs 推出的 ，关键是用户要用得好，就是怎样 Build 好的 APP 和好的产品。从而到达终端用户，「过去相当长的一段时间，可能大家都会越来越多地用开源架构来做下一代模型，