TeleMath：电信数学问题解决中的大语言模型基准测试
论文信息
原始标题：TeleMath: A Benchmark for Large Language Models in Telecom Mathematical Problem Solving
作者：Vincenzo Colle, Mohamed Sana, Nicola Piovesan, Antonio De Domenico, Fadhel Ayed, Merouane Debbah
主题：Artificial Intelligence, Computation and Language
摘要
英文摘要
The increasing adoption of artificial intelligence in telecommunications has raised interest in the capability of Large Language Models (LLMs) to address domain-specific, mathematically intensive tasks. Although recent advancements have improved the performance of LLMs in general mathematical reasoning, their effectiveness within specialized domains, such as signal processing, network optimization, and performance analysis, remains largely unexplored. To address this gap, we introduce TeleMath, the first benchmark dataset specifically designed to evaluate LLM performance in solving mathematical problems with numerical solutions in the telecommunications domain. Comprising 500 question-answer (QnA) pairs, TeleMath covers a wide spectrum of topics in the telecommunications field. This paper outlines the proposed QnAs generation pipeline, starting from a selected seed of problems crafted by Subject Matter Experts. The evaluation of a wide range of open-source LLMs reveals that best performance on TeleMath is achieved by recent models explicitly designed for mathematical or logical reasoning. In contrast, general-purpose models, even those with a large number of parameters, often struggle with these challenges. We have released the dataset and the evaluation code to ease result reproducibility and support future research.
中文摘要
人工智能在电信领域的日益普及引发了对大型语言模型(LLMs)处理特定领域数学密集型任务能力的关注。尽管最近的技术进步提高了LLMs在一般数学推理方面的表现，但其在信号处理、网络优化和性能分析等专业领域内的有效性仍未被充分探索。为填补这一空白，我们提出了TeleMath，这是首个专门用于评估LLMs在电信领域解决数值数学问题性能的基准数据集。TeleMath包含500个问答对，涵盖了电信领域的广泛主题。本文概述了从领域专家设计的精选问题种子开始的问答对生成流程。对一系列开源LLMs的评估表明，TeleMath上的最佳表现是由专门为数学或逻辑推理设计的近期模型实现的。相比之下，通用模型即使参数数量庞大，也常常难以应对这些挑战。我们已发布数据集和评估代码，以便于结果复现并支持未来研究。
关键问答
这篇论文试图解决的问题是评估大型语言模型（LLMs）在电信领域解决数学问题的能力。尽管LLMs在一般数学推理方面取得了进展，但其在电信领域内的特定数学任务（如信号处理、网络优化和性能分析）中的有效性尚未得到充分探索。论文通过引入TeleMath基准数据集来填补这一空白，旨在评估LLMs在解决电信领域数学问题时的表现，这些问题不仅需要数值精度，还需要特定领域的知识。
论文提到了以下相关研究：
-
数学推理能力的提升：LLMs在算术、代数和更广泛的数学推理方面取得了显著进展，这主要得益于其训练数据的规模和多样性，以及提示技术（prompting techniques）和通过强化学习（Reinforcement Learning, RL）的推理策略的改进。
-
电信领域的应用探索：LLMs在电信领域被探索用于自动生成代码、协议和网络配置，以及解决复杂的优化和预测问题。
-
数学问题的基准测试：已有研究通过如MATH和GSM8K等数据集评估LLMs在广泛数学问题上的表现，但这些研究并未专门针对电信领域。
-
电信相关任务的评估：一些研究关注于评估LLMs在电信领域的其他任务，如协议总结、标准文档分类和一般电信知识，但这些研究没有专门针对电信领域的数学问题解决能力。
-
问题建模和方程补全：有研究探索了LLMs在电信领域的问题建模和方程补全能力，但尚未关注于解决数学问题的技能。
论文指出，尽管有这些相关研究，但对LLMs在电信领域数学问题解决能力的全面评估仍然缺乏，尤其是在需要数值精度和领域特定知识的复杂任务中。因此，论文通过引入TeleMath基准数据集来填补这一研究空白。
论文通过以下步骤来解决评估大型语言模型（LLMs）在电信领域数学问题解决能力的问题：
-
提出一个新的框架来生成合成问题-答案（QnA）对
-
代码驱动蓝图生成（Code-Driven Blueprint Generation）：将预期答案为数值的子问题转换为可执行的Python代码。
-
符号数学驱动蓝图生成（Symbolic Math-Driven Blueprint Generation）：从涉及方程推导的子问题中提取符号表达式，并将其转换为可重用的蓝图。
-
初始问题集（Seed Dataset）：由领域专家（Subject Matter Experts, SMEs）设计的50个涵盖电信领域不同主题和难度级别的初始数学问题。
-
问题分解（Problem Decomposition）：利用强大的指令遵循能力的LLM（如Qwen2.5-72B-Instruct），将复杂的SME问题分解为更细粒度的子问题，并为每个子问题推导出相应的解决方案。
-
蓝图生成（Blueprint Generation）：根据子问题的类型，采用两种方法生成蓝图：
-
合成数据生成（Synthetic Data Generation）：通过为每个蓝图定义新的输入参数，从生成的蓝图中创建新的QnA对。
-
后处理（Post-Processing）：包括过滤不合理输出、编辑问题以注入新参数、验证语义一致性等步骤，确保生成的数据既可用又与原始问题结构一致。
-
构建并公开发布TeleMath数据集
-
数据集规模：包含500个QnA对，覆盖电信领域的广泛主题。
-
数据集格式：每个QnA对以JSON格式标准化，包含问题、答案、类别、标签和难度级别等字段。
-
类别分布：如图1所示，数据集中的QnA对分布在电信工程、电气工程、概率与统计、信号处理、计算机网络、运筹学和信息论等多个类别。
-
对一系列开源LLMs进行基准测试
-
pass@1：模型在单次尝试中生成正确答案的能力。
-
cons@16：基于16个生成答案的多数投票评估性能。
-
模型选择：评估了多种开源LLMs，包括专门设计用于数学或逻辑推理的模型和通用模型。
-
评估指标：使用两个指标来评估模型性能：
-
实验设置：为每个问题和模型对生成16个独立响应，使用特定的采样温度、top-p值和最大生成长度。
-
性能分析：分析不同模型在不同类别上的表现，发现专门设计用于推理的模型（如Qwen3-32B）在TeleMath上的表现优于通用模型，即使这些通用模型的参数量更大。
通过上述步骤，论文不仅提供了一个评估LLMs在电信领域数学问题解决能力的基准数据集，还揭示了推理能力在解决特定领域复杂任务中的重要性。
