CausalQuest: Collecting Natural Causal Questions for AI Agents

论文下载：PDF

Authors: Roberto Ceraolo ; Dmitrii Kharlapenko ; Amélie Reymond ; Rada Mihalcea ; Mrinmaya Sachan ; Bernhard Schölkopf ; Zhijing Jin

Humans have an innate drive to seek out causality. Whether fuelled by curiosity or specific goals, we constantly question why things happen, how they are interconnected, and many other related phenomena. To develop AI agents capable of addressing this natural human quest for causality, we urgently need a comprehensive dataset of natural causal questions. Unfortunately, existing datasets either contain only artificially-crafted questions that do not reflect real AI usage scenarios or have limited coverage of questions from specific sources. To address this gap, we present CausalQuest, a dataset of 13,500 naturally occurring questions sourced from social networks, search engines, and AI assistants. We formalize the definition of causal questions and establish a taxonomy for finer-grained classification. Through a combined effort of human annotators and large language models (LLMs), we carefully label the dataset. We find that 42% of the questions humans ask are indeed causal, with the majority seeking to understand the causes behind given effects. Using this dataset, we train efficient classifiers (up to 2.85B parameters) for the binary task of identifying causal questions, achieving high performance with F1 scores of up to 0.877. We conclude with a rich set of future research directions that can build upon our data and models.

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何开发能够理解人类对因果关系探索需求的人工智能(AI)代理。具体来说，论文指出现有的数据集要么只包含人为制造的问题，这些问题不能反映真实的AI使用场景，要么问题来源有限，不能全面覆盖人类关心的因果问题。为了解决这个问题，论文提出了一个名为CausalQuest的数据集，这个数据集包含了从社交网络、搜索引擎和AI助手中收集的13,500个自然发生的因果问题。论文还提出了因果问题的定义，建立了一个分类体系，并通过人类注释者和大型语言模型(LLMs)的共同努力，对数据集进行了细致的标注。此外，论文还训练了高效的分类器来识别因果问题，并探讨了基于这个数据集和模型的未来研究方向。

Q: 有哪些相关研究？

A: 论文中提到了与因果推理和因果问题数据集相关的一些研究工作，具体如下：

1. Causal Question Datasets: 论文指出，尽管对大型语言模型(LLMs)的因果推理能力的研究兴趣日益增加，但现有文献缺乏自然因果问题的全面集合。一些研究关注特定类型的因果性，而其他研究主要包含人工生成的数据，很少包括自然问题来源。

2. Taxonomy of Causality: 论文提到了关于因果问题分类的工作，这些工作依赖于语义类别，例如问题所暗示的事件和状态，或者问题与文本段落的关系。

3. Question Intent Classification: 提出了将因果问题识别任务视为意图分类(Intent Classification, IC)的一个子任务，IC旨在对用户输入的目的或目标进行分类。

4. Causal Reasoning and Causal Questions: 论文讨论了学术界对LLMs因果推理能力的兴趣，并指出了关注不同类型的因果任务的数据集，例如关于“为什么”的问题、二元因果问题、常识因果推理、形式因果推理等。

5. Routing of User Queries: 论文提到了意图分类在对话系统中的传统应用，以及最近对基于LLM的助手进行路由的研究。

6. Specific Causal Reasoning Datasets: 论文中还提到了一些特定的因果推理数据集，如COPA、e-CARE、WIQA、HeadlineCause、GLUCOSE、Webis-CausalQA-22、CLadder 和 Corr2Cause 等。

这些相关工作为CausalQuest数据集的创建提供了背景和对比，同时也展示了在自然语言处理(NLP)和因果推理领域中，对于理解和生成因果问题的不断增长的兴趣。

Q: 论文如何解决这个问题？

A: 论文通过以下几个步骤解决提出的问题：

1. 数据集构建：创建了一个新的数据集CausalQuest，包含13,500个自然发生的因果问题，这些问题从社交网络、搜索引擎和AI助手中收集而来。

2. 定义和分类：提出了因果问题的定义，并建立了一个分类体系，用于更细粒度地对问题进行分类。

3. 标注工作：结合人类注释者和大型语言模型（LLMs）的努力，对数据集中的问题进行了仔细的标注。

4. 分类器训练：使用这个数据集，训练了高效的分类器（高达2.85B参数）来执行识别因果问题的二元任务，并取得了高性能，F1分数高达0.877。

5. 数据分析：对收集的CausalQuest数据进行了分析，包括语言属性和通过所提出的分类体系的语义子类别。

6. 未来研究方向：论文最后提出了一系列未来研究方向，这些方向可以基于当前的数据和模型进行构建，以进一步推动AI代理在因果推理方面的能力。

具体来说，论文通过以下几个关键点来解决和改进因果推理：

• 全面的数据收集：涵盖不同类型的自然人类问题，包括人类之间的问题（H-to-H）、人类对搜索引擎的问题（H-to-SE）和人类对LLM的问题（H-to-LLM）。

• 细致的问题分类：基于行动（如寻求原因、寻求效果、寻求步骤等）、知识领域（如自然科学、健康医学、日常生活等）和主观性（客观或主观问题）对问题进行分类。

• 高效的模型训练：探索了不同大小的模型，并找到了在模型大小和准确性之间的权衡。

• 深入的数据分析：分析了因果问题的语言学特征和根据所提出的分类体系的详细子类别。

• 开放的未来工作：提出了基于问题到答案的探索、鼓励LLMs因果求解器的丰富行为、丰富对因果问题的全面理解、改进因果识别等未来研究方向。

  
  

Q: 论文做了哪些实验？

A: 论文中进行了以下实验：

1. 数据集构建与标注：创建了CausalQuest数据集，并通过人类注释者和大型语言模型（LLMs）进行标注，以确保数据集的质量和一致性。

2. 因果问题分类：基于提出的因果问题定义和分类体系，进行了因果与非因果问题的二元分类实验。

3. 模型训练与比较：训练了不同大小的模型，包括XGBoost和一系列语言模型（如FLAN-T5-Small、FLAN-T5-Base、FLAN-T5-Large等），并使用LoRA技术对大型模型进行微调，以节省计算资源。

4. 性能评估：评估了不同模型在因果问题分类任务上的性能，包括F1分数、准确率、精确率和召回率。

5. 模型效率与准确性权衡分析：探讨了模型大小与分类任务准确性之间的关系，为实际应用中选择合适的模型提供了参考。

6. 因果问题回答质量评估：通过人类注释者对LLM生成的答案进行评分，使用了一个基于有效性、效率和满意度的评分标准。

7. 因果问题识别能力提升：通过改进提示（prompt）设计，提高了LLM识别因果问题的能力，并探讨了不同的提示设计对结果的影响。

8. 数据集偏差分析：分析了数据集中可能存在的偏差，并讨论了如何通过包括更多数据源或进行调查来减少这些偏差的影响。

这些实验的目的是为了验证CausalQuest数据集的有效性，展示不同模型在因果问题识别任务上的性能，并探索如何提高AI代理在因果推理方面的能力和准确性。

Q: 有什么可以进一步探索的点？

A: 论文提出了一些有前景的未来研究方向，这些方向对于研究社区以及使用大型语言模型（LLMs）的每个人都有潜在的帮助。以下是一些可以进一步探索的点：

1. 从问题到答案的探索：研究如何从CausalQuest数据集中提取出的答案质量，并定义好的标准答案。

2. 鼓励因果求解器的丰富行为：基于CausalQuest，开发专门的因果求解器，以增强LLMs的功能，使其更智能，并满足用户的期望和需求。

3. 丰富对因果问题的全面理解：尽管CausalQuest是朝全面理解人类问题迈出的第一步，但数据集中仍存在偏差。未来的工作可以包括更多数据源或进行调查，以识别和分类通常不在线找到的问题，从而可能减少这些偏差的影响。

4. 改进因果识别：在收集CausalQuest的过程中，改进提示（prompt）设计显著提高了LLM正确分类因果问题的能力。未来的研究可以探索不同的提示设计，以增强LLMs识别因果关系的能力。

5. 提取因果关系：作为并行任务，未来的工作可以探索从给定的因果问题中提取原因和效果（无论是隐藏的还是明确的）。

6. 提高模型效率：研究如何提高模型在因果问题分类任务上的效率，特别是在资源受限的环境中。

7. 多模态因果推理：探索如何将CausalQuest数据集与多模态数据结合，以支持更丰富的因果推理任务。

8. 跨领域因果问题研究：研究不同领域中因果问题的共性和差异，以及如何构建跨领域的因果推理模型。

9. 因果问题生成：研究如何利用现有数据生成新的因果问题，以支持模型训练和评估。

10. 用户意图与满意度研究：深入研究用户提出因果问题时的意图，并探索如何提高用户满意度。

这些方向可以帮助推动因果推理领域的研究进展，并提高AI代理在理解和生成因果问题方面的性能。

Q: 总结一下论文的主要内容

A: 这篇论文的主要内容可以总结如下：

1. 问题识别：论文指出人类有探索因果关系的天性，但现有数据集缺乏自然产生的因果问题，这些问题要么人为制造，要么覆盖面有限。

2. CausalQuest数据集：为了解决这一问题，作者提出了CausalQuest，这是一个包含13,500个自然产生的因果问题的数据集，这些问题来源于社交网络、搜索引擎和AI助手。

3. 定义与分类：论文正式定义了因果问题，并建立了一个分类体系，用于更细粒度地分类问题，包括行动（如寻求原因、寻求效果）、知识领域（如自然科学、健康医学）和主观性（客观或主观问题）。

4. 数据标注：通过人类注释者和大型语言模型（LLMs）的结合努力，对数据集中的问题进行了仔细的标注。

5. 模型训练：使用CausalQuest数据集，训练了高效的分类器来识别因果问题，包括不同大小的模型，最高性能的F1分数达到0.877。

6. 未来研究方向：论文提出了一系列未来研究方向，包括从问题到答案的探索、鼓励因果求解器的丰富行为、丰富对因果问题的全面理解、改进因果识别等。

7. 数据与代码：作者提供了相关代码和数据集的链接，以便研究社区可以复现结果并在此基础上进行进一步研究。

8. 研究贡献：论文的主要贡献在于提供了一个广泛的自然产生的因果问题数据集，定义了因果问题，并构建了一套分类体系，对数据进行了细致的分类，并训练了高效的分类器。

论文的这些贡献为开发能够理解和回应因果问题的AI代理提供了基础，并为未来的研究指明了方向。

关键技术元素：

• CausalQuest数据集：包含13,500个自然发生的因果问题。

• 大型语言模型（LLMs）：用于标注数据集和训练分类器。

• 分类器训练：使用不同参数规模的模型，包括FLAN-T5和PHI模型。

• 二元分类任务：识别问题是否为因果问题。

• F1分数：评估分类器性能的指标。

细粒度技术元素：

• 数据来源：社交网络、搜索引擎查询、AI助手交互。

• 标注过程：结合人类注释者和LLMs进行问题标注。

• 分类体系：根据动作（如原因寻求、效果寻求、关系寻求）、知识领域（如自然科学、健康医学）、主观性进行分类。

• 模型配置：使用LoRA技术对大型模型进行微调。

• 性能评估：通过F1分数、精确度、召回率和准确率来评估模型性能。

  
  

    论文介绍了CausalQuest，这是一个旨在推动人工智能代理理解因果关系的数据集。人类天生就有探索因果关系的驱动力，这对于开发能够满足人类对因果关系探索需求的AI代理至关重要。然而，现有的数据集要么只包含人为制造的问题，无法反映真实的AI使用场景，要么只限于特定来源的问题，覆盖面有限。为了解决这一问题，研究者们提出了CausalQuest，一个包含13,500个自然发生的问题的数据集，这些问题来源于社交网络、搜索引擎和AI助手。论文对因果问题进行了定义，并建立了一个分类体系以进行更细粒度的分类。通过人类注释者和大型语言模型（LLMs）的共同努力，数据集被仔细标注。研究发现，人类提出的问题中有42%确实是因果问题，其中大多数寻求理解给定效果背后的原因。使用这个数据集，研究者们训练了高效的分类器（高达2.85B参数），用于识别因果问题的二元任务，取得了高达0.877的F1分数。论文最后提出了一系列未来研究方向，这些方向可以基于数据和模型进行构建。