技术人怎么去搭建知识图谱

文 | Smartbi大数据百科 2021-08-26 阅读次数:4387 次浏览

商业智能BI产品更多介绍:https://www.smartbi.com.cn/

商业智能BI产品更多介绍:点击前往

    第一步:知识表示与建模

    知识表示将现实世界中的各类知识表达成计算机可存储和计算的结构。机器必须要掌握大量的知识,特别是常识知识才能实现真正类人的智能。


    目前,随着自然语言处理领域词向量等嵌入(Embedding)技术手段的出现,采用连续向量方式来表示知识的研究(TransE翻译模型、SME、SLM、NTN、MLP,以及NAM神经网络模型等)正在逐渐取代与上述以符号逻辑为基础知识表示方法相融合,成为现阶段知识表示的研究热点。更为重要的是,知识图谱嵌入也通常作为一种类型的先验知识辅助输入到很多深度神经网络模型中,用来约束和监督神经网络的训练过程


    相比于传统人工智能,知识图谱时代基于向量的知识表示方法不仅能够以三元组为基础的较为简单实用的知识表示方法满足规模化扩展的要求,还能够作为大数据分析系统的重要数据基础,帮助这些数据更加易于与深度学习模型集成。


    同时,随着以深度学习为代表的表示学习的发展,面向知识图谱中实体和关系的表示学习也取得了重要的进展。知识表示学习将实体和关系表示为稠密的低维向量实现了对实体和关系的分布式表示,已经成为知识图谱语义链接预测和知识补全的重要方法。


    知识表示学习是近年来的研究热点,研究者提出了多种模型,学习知识库中的实体和关系的表示。不过其中关系路径建模工作较为初步,在关系路径的可靠性计算、语义组合操作等方面还有很多细致的考察工作需要完成。


    第二步:知识获取

    知识获取包括了实体识别与链接、实体关系学习、以及事件知识学习。


    1、实体识别与链接是知识图谱构建、知识补全与知识应用的核心技术,也是海量文本分析的核心技术,为计算机类人推理和自然语言理解提供知识基础。

    实体识别是文本理解意义的基础,也就是识别文本中指定类别实体的过程,可以检测文本中的新实体,并将其加入到现有知识库中。


    2、实体关系识别是知识图谱自动构建和自然语言理解的基础。实体关系定义为两个或多个实体间的某种联系,用于描述客观存在的事物之间的关联关系。实体关系学习就是自动从文本中检测和识别出实体之间具有的某种语义关系,也称为关系抽取。

    实体关系抽取分为预定义关系抽取和开放关系抽取。预定义关系抽取是指系统所抽取的关系是预先定义好的,如上下位关系、国家—首都关系等。开放式关系抽取不预先定义抽取的关系类别,由系统自动从文本中发现并抽取关系。


    3、事件知识学习,就是将非结构化文本中自然语言所表达的事件以结构化的形式呈现,对于知识表示、理解、计算和应用意义重大。

    事件是促使事物状态和关系改变的条件,是动态的、结构化的知识。目前已存在的知识资源(如谷歌知识图谱)所描述多是实体以及实体之间的关系,缺乏对事件知识的描述。


    第三步:知识融合

    知识图谱可以由任何机构和个人自由构建,其背后的数据来源广泛、质量参差不齐,导致它们之间存在多样性和异构性。语义集成的提出就是为了能够将不同的知识图谱融合为一个统一、一致、简洁的形式,为使用不同知识图谱的应用程序间的交互建立操作性。


    常用的技术包括本体匹配(也称为本体映射)、实力匹配(也称为实体对齐、对象公指消解)以及知识融合等。


    一个语义集成的常见流程,主要包括:输入、预处理、匹配、知识融合和输出5个环节。

    众包和主动学习等人机协作方法是目前实例匹配的研究热点。这些方法雇佣普通用户,通过付出较小的人工代价来获得丰富的先验数据,从而提高匹配模型的性能。


    随着表示学习技术在诸如图像、视频、语言、自然语言处理等领域的成功,一些研究人员开始着手研究面向知识图谱的表示学习技术,将实体、关系等转换成一个低维空间中的实质向量(即分布式语义表示),并在知识图谱补全、知识库问答等应用中取得了不错的效果。


    与此同时,近年来强化学习也取得了一些列进展,如何在语义集成中运用强化学习逐渐成为新的动向。


    第四步:知识图谱查询和推理计算

    知识图谱以图(Graph)的方式来展现实体、事件及其之间的关系。知识图谱存储和查询研究如何设计有效的存储模式支持对大规模图数据的有效管理,实现对知识图谱中知识高效查询。


    知识推理则从给定的知识图谱推导出新的实体跟实体之间的关系,在知识计算中具有重要作用,如知识分类、知识校验、知识链接预测与知识补全等。


    知识图谱推理可以分为基于符号的推理和基于统计的推理。

    在人工智能的研究中,基于符号的推理一般是基于经典逻辑(一阶谓词逻辑或者命题逻辑)或者经典逻辑的变异(比如说缺省逻辑)。基于符号的推理可以从一个已有的知识图谱推理出新的实体间关系,可用于建立新知识或者对知识图谱进行逻辑的冲突检测。


    基于统计的方法一般指关系机器学习方法,即通过统计规律从知识图谱中学习到新的实体间关系。


申请试用 了解更多

2024年度精选《思迈特制造行业BI最佳实践合集》

立即下载
Copyright© 广州思迈特软件有限公司  粤ICP备11104361号 网站地图

电话咨询

售前咨询
400-878-3819 转1

售后咨询
400-878-3819 转2
服务时间:工作日9:00-18:00

微信咨询

添加企业微信 1V1专属服务