第十届RTE大会开幕 探讨生成式AI时代RTE的发展与进化

  10月25日，由声网和RTE开发者社区联合主办的 RTE2024 第十届实时互联网大会在北京正式开幕，本届大会主题为“AI 爱”，覆盖AI、出海、社交泛娱乐、IoT、Voice AI、空间计算等20+行业及技术分论坛。

  今年是声网成立的十周年，也是RTE大会的第十届。十年间，实时互动从“理念”发展成一个“行业”。实时互动技术不仅助力社交泛娱乐、在线教育、IoT、企业服务等几十个行业、数百个场景实现了跨越式成长，也支撑了诸多互联网风口的进化，从过去的电商直播、互联网医疗、秀场直播到如今的大模型，都离不开RTE能力的参与和赋能。

图片来源于网络，如有侵权，请联系删除

  当下，生成式AI正在驱动IT行业发生变革，声网创始人兼CEO认为，这一趋势主要体现在四个层面：终端、软件、云和人机界面。在终端上，大模型能力将驱动PC和Phone往AI PC和AI Phone的方向进化。在软件上，所有的软件都可以、也将会通过大模型重新实现，并从Software with AI发展至AI Native Software。在云的层面，所有云都需要具备对大模型训练和推理的能力，AI Native Cloud将成为主流。此外，人机界面的主流交互方式也将从键盘、鼠标、触屏变成自然语言对话界面（LUI）。

  随着生成式AI成为下个时代IT行业进化的主题，RTE也成为了多模态应用和基础设施中一个关键的部分。在此次大会中，赵斌也展示了声网基于MiniMax Realtime API打造的人工智能体。在演示视频中，人与智能体轻松流畅的进行实时语音对话。当人类打断智能体并提出新的疑问时，智能体也能够非常灵敏的快速反应，实现了与人类自然流畅的对话。

  在生成式AI的大潮下，RTE将会提供更为广阔的空间。赵斌也在分享中宣布，声网正式发布了RTE+AI能力全景图。在全景图中，声网从实时AI基础设施、RTE+AI生态能力、声网AI Agent、实时多模态对话式AI解决方案、RTE+AI应用场景五个维度，清晰呈现了当下RTE与AI相结合的技术能力与应用方案。生成式AI与RTE结合带来的场景创新，将成为下一个十年的主题。

  声网首席科学家、CTO钟声提到，大量用户设备往往会先接入边缘节点、并在需要的时候再接入云端，数据将在端设备、边缘节点和云之间往返传递。AI时代的数据中心会包含以大量异构算力组成的超级计算集群（SuperScaler）。但是，停留在仅依赖超级计算集群的系统是远远不够的，万亿参数、多模态引入所造成的高昂计算成本、缺乏机制约束的数据隐私保护、几秒钟的延时都将阻碍大模型的普惠，极大地限制其在很多场景下的应用。

  钟声认为，分布式端边云结合的AI系统将有效解决这些痛点。这个系统将把计算和传输在各节点做合理地配置，系统会智能地以自适应的方式把任务编排到端与边上执行，非常有效地降低了成本，同时提供了更低延时（低于1秒级的响应速度）、更高网络抖动容忍度、优秀的抗噪声能力，并且完整的用户数据只会保留在端上。

  分享过程中，钟声还在大会现场演示了一个由STT、LLM、TTS 、RTC四个模块组成的端边结合实时对话AI智能体。大会现场观众规模超过千人，面临复杂的噪声、回声、麦克风延迟等困难，但智能体与钟声的互动仍然表现出了优秀的对话能力，在普通5G网络环境下实现了流畅、自然、有趣的双向实时对话，对话模型的极快响应速度、及时打断与被打断的自然程度、对抗噪声能力、遵循语音指令做等待能力都非常突出。

  正如钟声在最后分享的，随着端设备的多样化以及能力的提升，AI基础设施会变得更优化合理，使得AI无处不在，AI助理、AI分身帮助我们有效缓解时间稀缺性，改善工作效率和生活体验。

  在圆桌讨论环节中，Lepton AI创始人兼CEO贾扬清、MiniMax合伙人魏伟、面壁智能联合创始人＆CTO曾国洋、Hugging Face工程师王铁震、Agora联合创始人Tony Wang五位嘉宾一起探讨了从AI基础设施到AI商业化落地的机会与挑战。

  自此，RTE大会迈入第10年，行业系统介绍实时互动的技术型科普图书《读懂实时互动》于今年8月正式出版，RTE开发者社区也正在秉持着“开放、连接、共创” 的理念加速实时互动和 AI 的共生。未来，声网将继续和大家一起，站在全新的起点、拥抱繁荣且充满挑战的AI + RTE新时代。