[Notes] A discussion about KG and LLM (Chinese)

[heathersherry]

万字长文讲述大模型与知识图谱的关系 [Link]

Q3: 有了这种大模型以后，知识图谱还有意义吗？

• 知识图谱是有意义的，因为神经网络目前无法解决或者非常难以解决事实性准确的问题 (Google LaMDA, Deepmind)
• 专业知识in垂直领域
• 可以把 GPT 这种更加自由的交互和领域内的专家知识去做更深度的融合。当然也有可能未来把知识图谱通过编码的方式进入到大模型的空间。
• 大模型参数量很大，没法对它进行重复训练和时效性不好的问题

Q4: 对于大模型的问题是回答缺乏事实的验证，知识图谱是不是可以来帮助解决问题？就像当年有搜索引擎也用了知识链接的方式去辅助搜索或者做引证。

• 另一件事情是可以考虑在过程中将知识做卸载，并不需要去过分的将很多的事实性知识去放在模型里面，可以将事实知识放在本身的外部库里，然后通过一个类似于向量数据库，或者说是向量的近邻检索的 reader 的方式去做搭配，最后作为一个整体仍然具有一样的能力，对于时效性和验真性的部分就完全通过外部的数据库系统去考虑。因为对大模型去做更新，或者基于神经的知识编辑，代价还是很高，而且具体应该编辑哪一块还是黑盒，可能会影响其他任务的表现，所以还不如让它外置在外部数据库（或者数据仓库或者数据湖）里，然后通过积累的数据治理和知识验证的数据去作为辅助。这样从工程落地的角度来说，它的可行性和成本可控性会更好。
• 在需要可控知识或可控逻辑的时候，知识图谱会发挥更大作用；需要更自由的交互任务理解和生成时，大模型发挥更好的作用。

Q5：知识图谱在大模型中如何去使用？(Summary)

1. 把知识图谱转化成文本，作为文本语料的一部分，或者说作为比较好的语料，成为训练的一部分去做。
	○ 缺点：对于现在的这类大模型来说，它的训练数据是非常大的，直接通过知识图谱来对预训练模型或者说大模型中的训练数据做知识扩充没有必要。因为数据量已经足够大到能包含这些扩充的知识的。
2. 把知识图谱本身的结构化信息保留，作为训练的时候的一个特殊的内容或者结构加在大模型里边，
	○ 缺点：不是特别容易，因为对大模型的结构有一些要求，至少 GPT 系列的不大会采用结构，还是通过某种方式转换成文本语料的一部分去做可能会更合适。
3. Finetune：
	○ 缺点：在 GPT4 这种大级别情况下fine-tune很难，它自己的技术报告里面讲微调成本很高
4. 外部检索(like今天早上讨论的langchain+neo4j/networkx)
	○ Motivation: You do not need to machine learn Obama's birthday evert time you need it, it costs a lot and does not guarantee correctness. Just query it.
	○ Google LaMDA/New Bing/Meta: ，把知识图谱做一个外部知识库来检索，做一个纯外挂。摆事实、讲道理的时候，摆事实部分去找知识图谱，讲道理部分再用语言模型。
	○ 外部检索存在一些查询的disambiguation问题，可以参考传统graph QA的方法解决
5. 检索增强的大模型retrieval-augmented language modeling （NLP 2021及2022年十大突破的方向）
	○ 与4比较类似。随着大模型参数量越来越大，外挂知识图谱帮它去解决事实一致性以及时效性的问题。
	○ Example：Deepmind-RETRO, OpenAI-webGPT, Google-LaMDA, FAIR-Blender
6. 其他小方向：（1）将知识图谱的链式关系和预训练模型进行融合。（2）将知识图谱作为一个约束加到训练模型里面，引入一个额外的任务。比如预训练模型是一个独立的任务，然后再单独用知识图谱训练一个表示学习模型，然后将这两个模型进行交互。通过知识图谱构建的表示学习的任务，是作为一个辅助任务帮助预训练模型进行效果的提升。