基于强化学习（Reinforcement Learning，RL）的知识图谱（Knowledge Graph，KG）多跳推理方法根据KG中已有的信息，通过多跳推理推断出缺失的信息，从而克服KG不完整的问题。然而，现有基于RL的多跳推理方法使用预先裁剪好的关系-实体对作为智能体的动作空间进行路径推理，这种方式导致了两个问题：1）推理模型的学习和推理能力不足；2）智能体的训练过程难以收敛。为了解决上述问题，本研究提出了分层序列多跳（Hierarchical Sequence Multi Hop，HSMH）推理框架将KG推理问题建模为序列决策问题，具有较好的推理性能和可解释性。

近年来，KGs已成为推荐系统、信息检索等人工智能下游应用的首选技术。然而，通过人工或自动构建的KGs存在不完整性问题。这影响了 KGs 在下游应用中的性能，并引发了 KGs 推理的相关研究。KGs 推理的目的是根据KG中已有的三元组推断缺失的知识，从而克服KG不完整的问题。

目前已有的KGs推理相关工作中，基于RL的多跳推理方法通过学习多跳推理路径来预测缺失的知识。这些方法不仅能给出预测结果，还能生成推理路径来解释推理过程。然而，现有基于RL的多跳推理方法将关系-实体对作为智能体的动作空间，并通过在训练模型前裁剪关系-实体对的数量来防止因关系-实体组合动作空间过大导致的维度灾难问题。由于这种预裁剪操作，导致智能体在推理过程中可能无法遍历实体的所有相邻关系。此外，现有基于RL的多跳推理方法根据智能体决策动作的方式，遵循两种推理模式：1）选择关系-实体对作为智能体的动作（主要是单智能体推理方法）；2）先选择关系，再从屏蔽的关系-实体动作空间中选择实体（主要是多智能体推理方法）。上述推理模式分别带来了以下两个不可避免的问题。1）直接从关系-实体对动作空间中选择智能体动作的推理模式侧重于关系选择，忽视了实体选择的重要性，没有充分挖掘实体的语义信息，导致推理模型的学习和推理能力不足；2）预先裁剪智能体关系-实体对动作空间导致某些关系所连接的实体数量有限，加剧了先选择关系后选择实体推理模式中的实体选择策略模型的训练难度。

图1 KG环境和HSMH框架

为了解决上述问题，本研究提出了一种分层序列多跳（Hierarchical Sequence Multi Hop，HSMH）推理框架，该框架包括三个组成部分：交互式搜索推理模型、局部-全局知识融合机制和动作优化机制，如图1所示。

图2 HSMH整体框架图

如图2所示，本研究设计的HSMH框架中的交互式搜索推理模型使用分层强化学习来实现路径推理。交互式搜索推理模型包括两个独立策略网络组成的高层推理模型和底层推理模型。通过使用高层、底层推理模型交替选择关系和实体，充分挖掘KG中关系和实体的语义信息，从而提高模型的学习和推理能力。此外，本研究将关系-实体对动作集合重新定义为独立的关系和实体动作集合，以遍历实体的所有相邻关系，并有足够数量的实体用于训练推理模型，从而克服了推理模型收敛困难的问题。

此外，本研究设计了局部-全局知识融合机制和动作优化机制，以分别增强智能体在路径推理过程中的状态信息和动作空间。对于局部-全局知识融合机制，本研究使用自注意力网络和嵌入模型分别获取实体和相邻关系的局部知识以及 KG 结构的全局知识。通过获取的局部-全局知识可以挖掘关系和实体的多重语义信息，提高推理模型的学习和推理能力。对于动作优化机制，本研究在底层推理阶段使用嵌入模型得到智能体的过滤动作空间和附加动作空间，并将两者结合起来作为智能体的动作空间。通过动作优化机制可以避免智能体漫无目的地搜索路径的问题，从而提高了推理模型的收敛能力。

图3 HSMH框架实验结果

图3是HSMH框架进行知识图谱推理的实验结果，可以看出该框架优于现有的多跳推理基线模型，验证了框架的有效性。本研究提出的HSMH框架不仅解决了现有基于RL的多跳推理模型学习和推理能力不足的问题，还克服了推理模型收敛困难的缺陷。