DUOLABS
作品集

AI 客服的实时视频与语音应答

银行网点屏幕中的 AI 柜员能听懂客户的话,并用语音和视频介绍存款、定期储蓄、贷款等产品;在这项服务中,我们开发了应用端环节:把客户的声音发送到服务器,再接收并播放 AI 生成的柜员应答视频。客户说完话后视频若迟迟不开始,对话就变成了等待,因此我们专注于缩短发送语音与接收视频之间的延迟。从接收麦克风输入并压缩、通过实时连接传往服务器,到立即播放返回的视频,每个阶段都分开设计。语音识别与视频合成由服务器负责,我们的范围是应用端。

Launch
2022
Client
韩国大型银行
Type
银行·认证

01 / 04

说话期间不间断采集的语音输入

AI 柜员应用实时接收客户对着麦克风说的话,并转换成适合发送到服务器的原始音频数据。为避免客户说话时声音中断或滞后,我们调整了存放输入的缓冲区和发送时机。语音识别在服务器端进行,应用漏掉的声音,AI 也听不到。

说话期间不间断采集的语音输入
02 / 04

压缩语音并通过实时连接传送

AI 柜员应用把接收到的原始音频用语音专用的压缩格式缩小后发送到服务器。我们整理了压缩过程和数据包的流转,在保证语音识别所需质量的同时,减少通过网络发送的数据量。压缩后的语音通过与服务器保持打开的实时连接持续传送。连接状态、发送失败、断线和重新连接等异常情况,也都纳入了流程之中。

压缩语音并通过实时连接传送
03 / 04

即时衔接服务器生成柜员视频的应答播放

AI 柜员的回答以服务器生成的合成视频返回。应用通过低延迟的实时视频传输方式接收并播放这段视频。视频中的柜员是以真人为原型制作的虚拟人物,通过语音合成与视频合成,针对客户的问题作答。为了让客户说完话后应答视频自然衔接,视频接收、播放状态和界面显示都由应用处理。我们专注于减少发送语音一侧与接收视频一侧之间不必要的等待和状态不一致。

即时衔接服务器生成柜员视频的应答播放
04 / 04

从麦克风到视频分为七个阶段的处理结构

AI 柜员的语音与视频处理分为七个阶段:麦克风输入、原始音频转换、语音压缩、通过实时连接传输、服务器处理、视频接收和画面播放。除服务器处理外的六个阶段属于应用端工作,我们把它们彼此分开,一旦出现问题,就能单独追踪是哪个阶段出的错。在这项服务中,应答延迟直接变成不便,因此减少阶段之间不必要的等待是设计的标准。

从麦克风到视频分为七个阶段的处理结构

项目亮点

01

压缩麦克风语音并不间断发送到服务器的实时传输

02

以低延迟接收并立即播放服务器生成的柜员应答视频

03

从麦克风到视频分阶段、可追踪问题位置的处理结构

洞察

查看全部博客