搭建智能语音交互系统重要点那些

序言

随着人工智能命题的提出，近年来涌现出一大批基于人工智能的呼叫中心业务服务商和集成商，仅智能外呼这一模块儿就将近百家公司在推广和运营。可以说整个基于人工智能技术的市场开始蓬勃的发展起来了。

简单介绍一下什么叫做智能语音交互平台。其实大实话就是在呼叫中心基础上，集成 ASR、 TTS、的呼叫服务平台。

那么如何我们自己去搭建智能语音系统呢？

我们先列出搭建智能外呼系统的搭建需要那些技术和服务：

个人认为：

[if !supportLists]·        [endif] 首先最重要的是交换机：

[if !supportLists]1    [endif]PBX也就是交换机，商用设备原厂包括像华为、Avaya、思科、东汇等这些生产硬件交换机，

[if !supportLists]2    [endif]还有就是目前FreeSitch、asterrisk、OpenPBX这些软件交换机。

[if !supportLists]·        [endif] 其次是AI技术: 及包含语音识别、语义理解、语音合成这三种技术是核心组成部分。语音识别相当于人的“耳朵”，接进电话后，对人的话语进行处理转义成系统能够识别的数据交由系统处理去识别。在进一步的话，可以转义为文字。语义理解相当于人的"大脑"，根据话语识别人的意图。语音合成，相当于人的”嘴巴“，识别人的意图之后，依照特定的回答方式，去回复和引导对话。

[if !supportLists]·        [endif] 再者是前端服务平台：即用户登录、配置呼叫流程，建立呼叫任务、统计呼叫数据、导出呼叫报表的网站，这个是终端用户唯一可以看到并且操作的界面。

[if !supportLists]·        [endif] 最后是外呼线路：其中包括三大运营商以及其他小型的集成线路供应商，主要目的是外呼电话或者是接入电话。

也有人可能有疑问：”智能语音交互系统最重要的不是人工智能么，和交换机有啥关系？”为什么说最重要的是交换机呢，原因是不管我们是外呼还是接入电话、都需要前端服务平台把外呼请求发送给交换机，通过外呼线路而拨出去。换句话说交换机是控制整体的外呼情况。硬件的交换机，比如说像华为的交换机，价格在大约几万到几百万不等的价格。对于想要建立自己的智能语音交互系统来说，价格对于一些小型公司来说承受不起，而FreeSitch这种软交换则大大方便了小型公司建立自己的智能语音交互系统。

什么是FreeSwitch？

FreeSitch是一个电话的软交换解决方案，包括一个软电话和软交换机用以提供语音和聊天的产品驱动。FreeSitch 可以用作交换机引擎、PBX、多媒体网关以及多媒体服务器等。支持多种通讯技术标准，包括 SIP, H323, IAX2 以及 GoogleTalk ，同时也可以方便的与其他开源的PBX系统进行对接。而且具有很强的伸缩性。旨在为音频、视频、文字或任何其他形式的媒体，提供路由和互连 通信协议 。

FreeSwitch 的典型功能

[if !supportLists]·        [endif]在线计费、预付费功能。 

[if !supportLists]·        [endif]电话路由服务器。 

[if !supportLists]·        [endif]语音转码服务器。 

[if !supportLists]·        [endif]支持资源优先权和QoS的服务器。 

[if !supportLists]·        [endif]多点会议服务器。 

[if !supportLists]·        [endif]IVR、语音通知服务器。 

[if !supportLists]·        [endif]VoiceMail服务器。 

[if !supportLists]·        [endif]PBX应用和软交换。 

[if !supportLists]·        [endif]应用层网关。 

[if !supportLists]·        [endif]防火墙/NAT穿越应用。 

[if !supportLists]·        [endif]私有服务器。 

[if !supportLists]·        [endif]SIP网间互联网关。 

[if !supportLists]·        [endif]SBC及安全网关。 

FreeSwitch最典型的功能是作为一个服务器，并用电话客户端软件连接到它。虽然FreeSwitch支持众多的通信协议，但其最主要的协议还是SIP，通过SIP中继发起会话协议。

使用FreeSwitch这种软交换的好处在于，你只需要一台服务器就可以随时搭建自己的外呼中心，而且FreeSwitch支持跨平台运行。能够原生运行Windows、Linux、BSD等诸多32/64位平台。

FreeSwitch内部使用线程模型来处理并发请求，每个连接都在单独的线程中进行处理，不同的线程间通过Mutex互斥访问共享资源，并通过消息和异步事件等方式进行通信。FreeSwitch本身是比较稳定的，它是比较优秀的开源软件。另一方面来讲，FreeSwitch又是比较激进的，它的开发分支里会有大量的新特性加入，因此在测试不全面的情况下，很容易出现不稳定的情况。而在用于生产环境的情况下，系统的稳定性是系统能否正常被使用的关键。之前我们在做项目的过程中，就遇到一些FreeSwitch不稳定的情况，导致外呼情况不理想。举一个例子：我们在进行测试外呼的时候，语音通话断断续续，虽然前端服务平台可以很好的接受到数据的传输，但是，真正在与人工进行沟通的时候，会出现各种各样的沟通障碍，为了解决这一个问题，我们花费了几个月的时间，去研究FreeSwitch的结构特性。终于把这个问题解决掉。我们的项目才得以继续推动，最终得以真正落地部署实施。

也有人可能有疑问：”FreeSwitch软交换虽然重要，但是既然是智能语音交互系统人工智能不重要吗？”，重要，当然重要！容我慢慢道来~

AI 技术

1 通信原理

先简单解释一下正常打电话这个流程

流程：A→PSTN→B

解释：PSTN是Public

Switched Telephone Network，意思为公共交换电话网络，也就是我们的运营商的网络电话，

那我们平时如何给呼叫中心比如打电话是如何打的？：个人A打电话给呼叫中心16 打电话，拨通后听到录音，您好，拨打人工台，请按0键，按键之后，出现盲音，真正接通之后，客服接通了电话。

流程：A→PSTN→PBX→IVR→客服

解释：PBX也叫交换机、相当于整个呼叫中心的出入口

IVR也叫互动/交互式语音应答，语音导航，也就是相当于咨询业务请按键，这一环节，根据业务去分流到客服。

智能语音交互平台（智能机器人）落实到具体具体业务场景是如何实现的：

如：”个人A要在某一个大型酒店预订位子“，

A拨通后先听到了声音，“您好，我是机器人小岳，需要我帮您订位子是吗？

个人A说，“我不要和机器人说话，找个真人来”。

然后听到录音，“为您转接很贵的真人客服，排队中，请稍后”。

几分钟后接通，真人客服接了电话。

流程：A→PSTN→PBX→IVR（TTS→ASR→NLP→TTS）→ACD→客服

解释：在IVR部分：不再需要提示按键，而是直接问来电方需要办理什么业务，然后识别语音、理解意图后，根据用户的需求，回答后转入对应的业务队列排队。

上边是接通的流程，呼出的流程与之相反，就不在赘述了。

2 现在市场上的AI技术的运用

目前市场上的不管是ASR、TTS、NLP都被阿里百度科大讯飞等巨头公司所占据，这些技术在国内基本已经成为定局。像ASR这类引擎市场上大部分都是用的阿里云和讯飞云的，要不就是百度云。阿里云和讯飞云的识别率高一些，可以达到97%左右、百度的差一些，识别率在80%左右，我们当初在做项目的时候选择ASR做过测试，事实证明阿里云识别率更高同时也可以识别方言。因此，我们在做项目的时候，当仁不让的选择了阿里云的

TTS我们选择的是讯飞的，选择的理由很简单，毕竟科大讯飞是人工智能领域巨头级的公司，质量当然有的保证。

3 AI 能力对接

在具体落地中，这个领域的常规参与者通常具备呼叫中心能力或者AI能力其中一种，而主要的对接点也就在于AI能力与呼叫中心设备去对接，而ASR/TTS与呼叫中心设备对接的常规协议主要是mrcp/sip。

媒体资源控制协议（Media Resource Control

Protocol, MRCP）是一种通讯协议，用于语音服务器向客户端提供各种语音服务(如语音识别和语音合成)。有两个版本的MRCP协议，版本2使用SIP作为控制协议，版本1使用RTSP。

实际对接的时候，会遇到不少技术问题，当我们ASR/TTS引擎做私有云部署，为了避免了内外网穿透时防火墙的诸多设置和语音流的时延。这在我们当时对接的时候也花费了好大一番功夫。

前端服务平台：

其中最重要的就是配置呼叫流程这一块儿了，

这一块儿很容易被忽视，但是这反而是可以出成绩的地方。一般来说一套最佳话术模板，可以以一敌万。心理学基础必须要有，一句话怎么说能让接电话的人最大概率的顺着自己的思路走，达成目的，从而形成特定细分领域机器人话术模板，得到最佳的外呼效果（接通率、通话时长、电销意愿、催收意愿）或者是接通效果（满意度）

其余的基本就是web端的东西了，具体功能点呢，即用户登录、配置呼叫流程，建立呼叫任务、统计呼叫数据、导出呼叫报表，这些功能点基本实现就可以，因为站在产品角度，产品最重要的价值就是可以呼通或者接通用户的电话，并且能够准确的识别用户的意图，并且准确的回答用户。这就是智能语音交互系统的最终目标，也一直是我们的最终目标。

外呼线路厂商：

一般如果是购买系统的话，是给提供线路的，只需交一些线路费用。如果是自己做项目的话，网上、淘宝上一大堆，费用可以谈，也给提供线路对接的接口。

结语

虽然现在市场上做智能语音交互系统的比较多，但一般只限于各个行业的电话销售，真正意义上的智能语音交互还是很少的。原因很简单，虽然原理不是很难但是真正落地实施的时候，遇到的困难非常的多，几乎是一步一个坑。好在现在已经真正的落地实施了，方方面面的效果都还是很不错的。一年多的辛苦没有白费。哈哈~

写这篇文章尝试给大家简单介绍一下智能语音交互系统，然才疏学浅，疏漏和不当之处在所难免，权当给大家抛砖引玉。

诸多细节限于主题和篇幅的要求不做详细记述，如有问题，欢迎随时交流。

SIP（Session Initiation Protocol，会话初始协议）是由IETF（Internet Engineering Task Force，因特网工程任务组）制定的多媒体通信协议。它是一个基于文本的应用层控制协议，用于创建、修改和释放一个或多个参与者的会话。广泛应用于CS（Circuit Switched，电路交换）、NGN（Next Generation Network，下一代网络）以及IMS（IP Multimedia Subsystem，IP多媒体子系统）的网络中，可以支持并应用于语音、视频、数据等多媒体业务，同时也可以应用于Presence（呈现）、Instant Message（即时消息）等特色业务。可以说，有IP网络的地方就有SIP协议的存在。[1-2] SIP是类似于HTTP。SIP可以减少应用特别是高级应用的开发时间。由于基于IP协议的SIP利用了IP网络，固定网运营商也会逐渐认识到SIP技术对于他们的远意义。中文名会话初始化协议外文名Session Initiation Protocol出现时间二十世纪九十年代中期发布机构IETF发布时间1999年目录1会话协议

▪ 压缩机制▪ 应用

2发展历程

3通信要求

4会话构成

▪ 用户代理▪ 注册服务器▪ 代理服务器▪ 重定向服务器

5常用消息

6协议比较

▪ 标准应用目标▪ 标准体系结构▪ 系统组成结构▪ 实现难易性▪ 总 结

7相关技术▪ 开源项目▪ 5Java1会话协议SIPSIP(Session Initiation Protocol)是一个应用层的信令控制协议。用于创建、修改和释放一个或多个参与者的会话。这些会话可以是Internet多媒体会议[3] 、IP电话或多媒体分发。会话的参与者可以通过组播（multicast）、网状单播（unicast）或两者的混合体进行通信。SIP与负责语音质量的资源预留协议(RSVP) 互操作。它还与若干个其他协议进行协作，包括负责定位的轻型目录访问协议(LDAP)、负责身份验证的远程身份验证拨入用户服务 (RADIUS) 以及负责实时传输的 RTP 等多个协议。SIP 的一个重要特点是它不定义要建立的会话的类型，而只定义应该如何管理会话。有了这种灵活性，也就意味着SIP可以用于众多应用和服务中，包括交互式游戏、音乐和视频点播以及语音、视频和 Web 会议。SIP消息是基于文本的，因而易于读取和调试。新服务的编程更加简单，对于设计人员而言更加直观。SIP如同电子邮件客户机一样重用 MIME 类型描述，因此与会话相关的应用程序可以自动启动。SIP 重用几个现有的比较成熟的 Internet 服务和协议，如 DNS、RTP、RSVP 等。不必再引入新服务对 SIP 基础设施提供支持，因为该基础设施很多部分已经到位或现成可用。对 SIP 的扩充易于定义，可由服务提供商在新的应用中添加，不会损坏网络。网络中基于 SIP 的旧设备不会妨碍基于 SIP 的新服务。例如，如果旧 SIP 实施不支持新的 SIP 应用所用的方法/标头，则会将其忽略。SIP 独立于传输层。因此，底层传输可以是采用 ATM 的 IP。SIP 使用用户数据报协议(UDP) 以及传输控制协议(TCP)，将独立于底层基础设施的用户灵活地连接起来。SIP 支持多设备功能调整和协商。如果服务或会话启动了视频和语音，则仍然可以将语音传输到不支持视频的设备，也可以使用其他设备功能，如单向视频流传输功能。通信提供商及其合作伙伴和用户越来越渴求新一代基于 IP 的服务。如今有了 SIP（The Session Initiation Protocol 会话启动协议），一解燃眉之急。SIP 是不到十年前在计算机科学实验室诞生的一个想法。它是第一个适合各种媒体内容而实现多用户会话的协议，如今已成了 Internet 工程任务组 (IETF) 的规范。今天，越来越多的运营商、CLEC（竞争本地运营商）和 ITSP（IP 电话服务商）都在提供基于 SIP 的服务，如市话和长途电话技术、在线信息和即时消息、IP Centrex/Hosted PBX、语音短信、push-to-talk（按键通话）、多媒体会议等等。独立软件供应商 (ISV) 正在开发新的开发工具，用来为运营商网络构建基于 SIP 的应用程序以及 SIP 软件。网络设备供应商 (NEV) 正在开发支持 SIP 信令和服务的硬件。如今，有众多 IP 电话、用户代理、网络代理服务器、VOIP网关、媒体服务器和应用服务器都在使用 SIP。SIP 从类似的权威协议－－如 Web超文本传输协议(HTTP) 格式化协议以及简单邮件传输协议(SMTP) 电子邮件协议－－演变而来并且发展成为一个功能强大的新标准。但是，尽管 SIP 使用自己独特的用户代理和服务器，它并非自成一体地封闭工作。SIP 支持提供融合的多媒体服务，与众多负责身份验证、位置信息、语音质量等的现有协议协同工作。SIP 较为灵活，可扩展，而且是开放的。它激发了 Internet 以及固定和移动 IP 网络推出新一代服务的威力。SIP 能够在多台 PC 和电话上完成网络消息，模拟 Internet 建立会话。与存在已久的国际电信联盟(ITU) SS7 标准（用于呼叫建立）和 ITU H323 视频协议组合标准不同，SIP 独立工作于底层网络传输协议和媒体。它规定一个或多个参与方的终端设备如何能够建立、修改和中断连接，而不论是语音、视频、数据或基于 Web 的内容。SIP 大大优于现有的一些协议，如将 PSTN 音频信号转换为 IP 数据包的媒体网关控制协议(MGCP)。因为 MGCP 是封闭的纯语音标准，所以通过信令功能对其进行增强比较复杂，有时会导致消息被破坏或丢弃，从而妨碍提供商增加新的服务。而使用 SIP，编程人员可以在不影响连接的情况下在消息中增加少量新信息。例如，SIP 服务提供商可以建立包含语音、视频和聊天内容的全新媒体。如果使用 MGCP、H323 或 SS7 标准，则提供商必须等待可以支持这种新媒体的协议新版本。而如果使用 SIP，尽管网关和设备可能无法识别该媒体，但在两个大陆上设有分支机构的公司可以实现媒体传输。而且，因为 SIP 的消息构建方式类似于 HTTP，开发人员能够更加方便便捷地使用通用的编程语言（如 Java）来创建应用程序。对于等待了数年希望使用 SS7 和高级智能网络(AIN) 部署呼叫等待、主叫号码识别以及其他服务的运营商，现在如果使用 SIP[4] ，只需数月时间即可实现高级通信服务的部署。这种可扩展性已经在越来越多基于 SIP 的服务中取得重大成功。Vonage 是针对用户和小企业用户的服务提供商。它使用 SIP 向用户提供 20,000 多条数字市话、长话及语音邮件线路。Deltathree 为服务提供商提供 Internet 电话技术产品、服务和基础设施。它提供了基于 SIP 的 PC 至电话解决方案，使 PC 用户能够呼叫全球任何一部电话。Denwa Communications 在全球范围内批发语音服务。它使用 SIP 提供 PC 至 PC 及电话至 PC 的主叫号码识别、语音邮件，以及电话会议、统一通信、客户管理、自配置和基于 Web 的个性化服务。某些权威人士预计，SIP 与 IP 的关系将发展成为类似 SMTP 和 HTTP 与 Internet 的关系，但也有人说它可能标志着 AIN 的终结。迄今为止，3G 界已经选择 SIP 作为下一代移动网络的会话控制机制。Microsoft 已经选择 SIP 作为其实时通信策略并在 Microsoft XP、Pocket PC 和 MSN Messenger 中进行了部署。Microsoft 同时宣布 CE dot net 的下一个版本将使用基于 SIP 的 VoIP 应用接口层，并承诺向用户 PC 提供基于 SIP 的语音和视频呼叫。另外，MCI 正在使用 SIP 向 IP 通信用户部署高级电话技术服务。用户将能够通知主叫方自己是否有空以及首选的通信方式，如电子邮件、电话或即时消息。利用在线信息，用户还能够即时建立聊天会话和召开音频会议。使用 SIP 将不断地实现各种功能。压缩机制SIP 压缩机制主要是通过改变 SIP 消息的长度来降低时延。典型的 SIP 消息的大小由几百到几千字节，为了适合在窄带无线信道上传输，IMS对SIP进行了扩展，支持SIP消息的压缩。当无线信道一定时， 一条SIP消息所含帧数 k仅取决于消息大小。从时延模型可以看出，不仅影响 SIP 消息传输时延， 还影响SIP重传的概率， 对自适应的定时器来说，k还成了影响定时器初值的关键因素。[5] 应用google 发布世界上首个开源的Html5 sip 客户端HTML5 SIP客户端是一款开源的，完全利用JavaScript编写的集社交(FaceBook，Twitter，Google+)，在线游戏，电子商务等应用于一体。无扩展，无插件或是必备的网关，视频堆栈技术依赖于WebRTC。如同主页

目前，SIP是类似于HTTP的基于文本的协议。SIP可以减少应用特别是高级应用的开发时间。由于基于IP协议的SIP利用了IP网络，固定网运营商也会逐渐认识到SIP技术对于他们的深远意义。

市场上几乎所有的IP语音相关产品都遵循了ITU-T组织所公布的H323协议。虽然这些产品的开发和制作都将H323标准作为了实际的制作标准，但是由于H323主要是是对局域网中的数据传输进行了描述，但是其中很少有设计IP电话方面的描述，并且各个厂商在实际的开发与实现过程中，所选取的H323协议中的内容也并不相同，也就是说虽然各大厂商都遵循H323协议，但是所遵循的协议并不相同。因此，也导致了各大厂商之间的IP电话并不能够进行相互之间的通话。导致了企业内部IP语音通信系统在进行设计时就必须选取同一个厂商生产的网关等设备。这对IP语音通信系统的发展产生了很大的制约。目前，大家都己经认识到了这个问题，并且都纷纷要求能够有一个真正统一的一个标准，并且，各大厂商都进行了一定程度的联盟，来研究IP语音通信系统真正标准的制定。

其实两者最大的区别是：传统语音通 话采用的是模拟信号技术，模拟信号容易受到干扰，很难避免信号失真，另外，传统模拟信号通话技术的容量受到很多限制，所以信号是经过高失真压缩的，因此效 果不会很理想；而VOIP采用的是数字传输技术，在网络上传输的是包含语音信息的数据包，可以进行低失真压缩，这些数据包只要被对方收到并按约定的规则还 原为语音信号，失真度一般都比较小（失真主要产生于录音设备和扬声器上）。

项类似于HTTP的基于文本的网络传输协议。SIP和HTTP两者之间存在很多相似之处，基于SIP协议的应用开发起来也非常简单，所以主流的VOIP通

讯产品都采用SIP协议作为传输语音数据包的协议，如果你买到的产品标明SIP字样那就对了，采用SIP技术的VOIP产品有很大的优势，接下来我们将一一讲解。

SIP电话的优势：

SIP电话确实是一种非常成功的VOIP应用，它的优势主要有三点：

1、SIP电话基于现在的因特网系统，接入方便、覆盖面广，需要的设备也非常简单，其它类似技术基本上都不具备以上条件。

2、传统电话在拨打国内国际长途电话时收费简直是令人不堪重负，如果哪个亲朋好友出国了，基本上想通过电话来联系会非常痛苦，而使用SIP电话只需支付市内电

话以及相应的服务费就可拨打国际或国内长途。由于VOIP需要的投资少，对线路资源占用的少，所以电信部门对VOIP长途业务的收费是非常低廉的，用户在

使用后会感到巨大的经济实惠。

3、IP电信业能够提供多样化的通信服务，如：电话到电话、电脑到电话、传真到传真、传真到传真信

箱、传真信箱到传真机、传真信箱到网页、PC文件(Excel、Word、E-mail)或图像到传真机、多点视频会议系统、网页电话等等。SIP正是一

种IP电信业务，所以它的应用方式非常灵活，功能十分丰富。

4、VoIP的通话质量比较好。传统电话线路由于技术方面的先天缺陷，无法避免失真现象，而且失真相对严重。VOIP利用互联网进行数字式传输，保证IP电话有比较良好的通话质量。

　　目前，用户要获得服务必须具备两个条件：一是有宽带接入，整个

电话接续都是通过宽带网络传送；另外一个是要有模拟电话适配器(ATA)，通常由VoIP提供者或者运营商来提供。如果是企业用户，也不用购买充当支持数

百个同时呼叫的ATA的关口。购买适配器后，用户进行注册，得到所提供的普通电话号码，也可以根据具体情况申请相关的其他增值服务，系统在数据库内把该用

户号码与IP地址绑定。客户端使用支持SIP协议的电话或者具有相关电话功能软件的电脑。当一端开始拨号时，系统将从数据库中获取与这个号码绑定的IP地

址，接着双方就可以通过因特网或者PSTN网直接通话。

另外，用户可以申请中继线路自己为SIP电话的落地提供市话网络，因此SIP电话用户拨打的用户可以是采用相同技术的SIP用户、也可以是普通的PSTN用户，SIP电话用户也可以接收来自采用相同技术的SIP用户或者普通的PSTN用户的拨打。

架设VOIP，就可实现内部免费电话，快速提供网线增加电话分机数量，充分满足不同地域的用户的语音沟通需要，在3G和WIFI网络的支持下，手机免费网络电话不再是梦。

如何快速架设VOIP服务器呢？

建立VoIP服务器的前提条件

一台计算机，作为服务器

服务器通常需要拥有固定的公网IP地址

架设人员需要了解网络建站的知识

VOIP服务器的选择：

目前有四大协议：MGCP,h323,SIP,IAX2这四种常用的协议，选择协议是其中很重要的一环。

其次是寻找落地资源，寻找落地资源的难度更大一些。

这四种协议中，H323，SIP现在占据主流地位，iax2协议是其中最新的一种。

目前相关的网站有：Freeswitch，OPENh323，ASterisk等。IAX2网络设置最简单，能轻松穿透防火墙。

泥娃VOIP服务器内置的是支持IAX2的VOIP服务器，支持多达30000部内线电话，采用SKYPE为落地方案。

公司服务器上的网站外网能访问到，需要有公网IP地址并进行端口映射操作，外网才能访问到网站。