关键词自动采集生成内容系统-无需任何打理(基于语义分析的方法:此方法的思路就是来一个Query)
优采云 发布时间: 2022-03-14 13:10关键词自动采集生成内容系统-无需任何打理(基于语义分析的方法:此方法的思路就是来一个Query)
1、类别
根据场景,对话系统大致分为三类:聊天型、问答型、任务型。
1.1 一轮对话(Q&A)
问答式单轮对话为问答式,即类似于检索引擎;它依赖于知识库/问答对集,不依赖于上下文。
评价指标:召回率、准确率、问题解决率。
一轮对话的难点:
一种。识别同一问题的不同表达方式:对具有相同含义的不同问题返回相同的答案。
湾。理解语义的细微差别,处理不同的问题:即使问题非常相似,但语义存在差异,也需要在不同语义下匹配不同的答案。
C。对高频问题进行聚类,自动学习优化知识库:根据历史对话数据,通过聚类自动总结挖掘不在知识库中的高频问题,补充和完善知识库。
目前问答对话系统主要有以下几种设计方法:
基于语义分析的方法:该方法的思想是先对一个Query后的逻辑表达式进行语义分析,然后根据逻辑表达式推断知识库中的答案,即用知识图谱求解. 这种方法的重点是语义分析。
基于信息抽取的方法:这种方法的思路是,提出一个问题后,首先是对问题的各种分析,包括抽取关键词、关系词、焦点词以及问题的各种分类信息,然后从海量文档中提取各种分类信息。它检索可能收录答案的文档段落,在证据库中找到相关的证据支持,最后根据多个模型对结果进行排序以找到最终答案。
端到端方法:该方法基于深度学习模型,首先将问题表征为向量(此过程中默认省略问题分析步骤),然后也将答案表征为向量,最后计算两个向量之间的相关度,值越高,答案越有可能。它的核心是在表示答案时如何表示候选知识(非结构化段落或结构化子图)。
但是,真正的问答系统一般会根据要解决的问题综合多种方法。
1.2 多轮对话单轮对话多轮对话
轮和轮是独立的,任意两个句子是相互独立的
考虑话语之间的相互关系
执行一条指令所需的所有信息都在这句话中
可以处理不完整的语义案例
没有记忆功能
记录历史话语
评价指标:任务完成率、定制难度。
多轮对话的难点:
一种。准确的语义理解:要有上下文关联;支持中途打断回溯;支持引用[this]识别。
湾。状态管理和个性化语言生成:用户画像管理(如不同地区用户的不同反应);对话状态管理(如:“请帮我预订3月28日北京到上海的航班”->引导用户ID信息,“请帮我预订北京到上海的机票”->引导出发时间&ID信息)。
2、意图识别
指识别提问者的潜在目的并表达他们的诉求。
意图识别与预设的行业知识库有关:预设的行业知识库越完整,机器人对用户意图的识别就越具体准确。
在同一意图类别下,还可以对更详细的意图进行分类,可以使用类脑图进行分类。
例如:“您发送哪个快递?” 和“我的快递去哪儿了?” 也是物流咨询意向,但从更详细的分类,“你发哪个快递?” 意向类型,“请问我的快递去哪儿了”属于查询物流状态的意向。
基于任务的对话需要意图识别,而问答式对话不需要意图识别。
意图识别的难点:
一种。用户输入不规范,同一问题不同用户的表达方式存在差异。比如“请帮我订一张深沪高铁车票”,这里的“深沪高铁”和其他用户提到的“深沪高铁”意思一样吗?
湾。多方面的判断,同一个词比如水,可能有多重含义,可能是饮用水,也可能是护肤爽肤水。
C。数据冷启动,必须基于大量数据来定义和获取准确的意图。
d。没有固定的评价标准,也没有针对用户意图的量化衡量指标,基本受制于人的主观判断。
3、对话框模板
用于根据特定语法和句型演示对话系统,教他如何理解特定语法和句型中的对话意图,哪个词是重要信息,对应的词槽,有哪些特征词.
例如:告诉机器人“明天三亚会下雨吗?” “明天三亚会下雨吗?” 都是询问天气的句子,其中“三亚”是对应城市的词槽,“明天”和“明天”是时间槽。完成的训练越多,机器人的理解能力就越好,就像人类儿童学习语言一样。
例如:“[D:sys_loc][D:sys_time] What's the weather”,上面的注解表示所有满足规则“[city]+[time]+what's the weather”的查询都可以解析到WEATHERINFO对话框中意图。
对话模板还可以使用多个对话模板组成对话模板组,对用户查询进行分段匹配,实现更强的对话意图泛化匹配能力,提高模板对用户查询的召回率。