AI中台——智能聊天机器人平台的架构与应用(分享实录) (5)

隔离和安全。通过资源隔离(包括数据隔离和语科隔离)、算力隔离等将成本分摊计算出来,也可保证数据之间互相不影响。另外,基于功能角色和数据角色的双重角色正交的方式保证数据安全。

4)统一闭环

智能机器人平台是一个工程、算法、运营统一的结果。机器人不是一个简单的算法模型,需要模型运行、数据管理、权限控制、人工介入、客户端支持等,还需要运营的支持和鼓励,比如我们平台中引入的积分系统,根据积分情况来开展一些运营活动,鼓励大家使用一些功能。

通过运行过程中不断补充问题、在线标注、语料导出、自动训练、自动上线形成平台、数据和模型的闭环。比如我们开发了会话管理来进行在线标注,帮助用户快速补充问题。

2.7 智能机器人平台系统架构

AI中台——智能聊天机器人平台的架构与应用(分享实录)

上图所示是智能机器人平台的系统架构。

最上面是机器人对外提供的服务,通过Web、APP、Restful API对外提供服务。

中间是一个微服务层,使用Spring Cloud微服务架构,服务都注册在Eureka里。微服务包括了网关服务、调度服务、外部服务、商业逻辑服务、数据访问层、统计服务、通讯服务等。其中涉及到算法预测的模块是在Python的一个服务里,我们也将Python的服务注册到Eureka里,这也是我们称之为“模型即服务”的一种思想。

外接认证系统包括LDAP、SSO、PS等,外接系统包括各种PC端、APP端、报表等。

数据存储在Mongo中,文档存储在HDFS里,检索使用Eleastic-Search,统计使用Click-house,人工后台通讯用Rabbit mq,会话和上下文管理使用Redis。

整个平台是微服务架构,支持容器化,支持使用Conductor模型编排,用MQTT协议以解决APP端网络不稳定的问题。

三、机器人平台的核心原理和主要功能点 3.1 机器人的核心技术

AI中台——智能聊天机器人平台的架构与应用(分享实录)

前文介绍了机器人平台的背景、设计理念和技术架构,接下来介绍机器人平台的核心原理和主要功能点。

智能聊天机器人最核心的部分是对话引擎,对话引擎包括:自动语音识别(ASR)、自然语言理解(NLU)、对话管理(DM)、自然语言生成(NLG) 和文本到语音合成(TTS)。

其中,自然语言理解(NLU)的目标是将文本转换成语义表示,文本中的单词语义并不重要,重要的是文本转化成了语义信息。简单来说,就是将人的语言转化成机器可以理解的结构化的完整的语义,让机器理解人的语言。

我们通常说的NLP自然语言处理其实是一个大的集合,包含了NLU自然语言理解和NLG自然语言生成,并且包含了它生成上面的处理部分和下面的应用阶段,所以NLU和NLG都是NLP的一个子集,它们不是平级的关系。

DM是对话管理系统的大脑,负责更新对话状态。对话引擎的难点在NLU和DM。

总的来说,这些技术都是属于自然语言处理技术(NLP,Natural Language Processing),本质上我们需要使用NLP技术来解决聊天机器人的问题。

对于用户的一个问题,需要将这个自然语言问题通过一个模型(这个模型是我们用机器学习基于大量数据训练和归纳得出来的),转换为机器能理解的数据形式(我们将这种数据形式称之为向量)。

NLP技术除了用于智能聊天机器人以外,还用在很多领域,例如:句法语义分析、信息抽取、文本挖掘、机器翻译、信息检索、对话系统等领域。

3.2 机器人原理

AI中台——智能聊天机器人平台的架构与应用(分享实录)

智能聊天机器人是由多个机器人组成,包括问答机器人、闲聊机器人、任务机器人等,人工后台以及文档库之间协作完成任务,最终选择最优答案返回给用户。

如图所示,用户提一个问题过来:

首先ASR将语音转成文本,这时候涉及到了调度。平台服务和任务调度认为这是一个机器人的问题,就进入预处理阶段。

预处理包含分词/去停、词表映射、词性分析、句法分析、实体识别、句子复述、关系提取等;

然后进入分析阶段,包括领域分析、问题分类、意图检测以及bot识别等;

然后转到不同的机器人,比如QA机器人-解答用户对事实和非事实类的问题、闲聊机器人-解答用户情感方面的表述和对客观问题的讨论、任务机器人-满足特定场景的任务操作、场景机器人、知识图谱机器人等;

之后将结果汇集到融合排序层,进行加权重排答案矫正;

最后经过用户权限过滤,生成答案,将答案经过TTS合成语音反馈给用户。

如果这个问题机器人不能解答,就会转入人工后台,或转到搜索引擎进入文档的搜索检索,最终将最优答案返回。

3.3 QA机器人

AI中台——智能聊天机器人平台的架构与应用(分享实录)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyyzys.html