检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.37679v1 发布类型：新 摘要：使用工具的语言模型容易受到间接提示注入的影响，而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获，但所得结果却存在严重分歧。我们认为，这种分歧很大程度上源于评估方法上的缺陷，并提出了一种双层评估协议：在评估与训练数据集中，将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上，那些基于朴素的“不安全与其余”混合对比进行训练的监控器，大多仅学会识别“暴露”：它们会标记出所有被暴露的轨迹，无论智能体是否真正执行了相应操作，且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后，同一类探测器便能预测模型自身发出的不安全工具调用，时间延迟长达两秒。
arXiv：2610.36178v1 发布类型：新 摘要：我们无需抽样误差，即可测量当被要求生成一个随机数时，语言模型为1至N之间的每个整数所分配的概率。对于固定的提示词，模型会定义一个概率向量；我们通过累加每个整数的得分拼写来计算该向量，而非采用抽样估计，从而消除了限制早期研究[1, 4]的噪声。我们在两个推理栈上，针对多达N=100的五个范围，评估了18条开放权重模型系列，并采用了29种解码配置；其中15个模型同时拥有基础版和指令微调版的检查点，且两者均能给出可用的答案。指令微调使这15对模型中的分布更加不均匀，它引入了一种避免使用整数的启发式方法，并强化了另一种避免接近端点的启发式方法。基础检查点
arXiv:2610.36353v1 发布类型：新 摘要：大型语言模型（LLMs）常常将含糊的输入当作具有单一明确含义来回答。这存在严重问题，因为输入歧义是不确定性的一个上游来源：当一个提示可能存在多种有效解释时，关键问题在于模型是否应当直接作出回应。现有的输入不确定性方法通常依赖于由大型语言模型生成的语句或澄清，但这类转换可能在测量歧义之前就已经对输入进行了消歧。我们提出了一种保留标签的扰动框架，用于检测输入歧义，在该框架中，扰动保持与原始输入相近，同时保留其标签。我们通过两种检测器对该原则进行了具体实现：一种是基于规则的黑盒扰动库
arXiv：2610.32429v1 发布类型：新 摘要：大型语言模型（LLM）代理正越来越多地以异步方式执行任务：主代理在子代理运行的同时继续工作，而任务状态可能在其结果到达之前就已发生变化。主代理必须决定哪些工作需要更新或保留、哪些检查需要重复，同时避免进行被禁止的修改。仅凭最终任务的成功并不能说明这些结果是否被正确处理，而且自然的异步到达现象也难以复现。我们提出了 Async-RBench，一个用于评估 LLM 代理中异步任务执行的基准测试，包含涵盖八种场景的 200 个可执行任务。场景控制器通过预定义的任务状态条件来调控结果的交付，而事件响应契约（ERC）则规定了每种响应应满足的要求
arXiv:2610.31946v1 发布类型：新 摘要：三名学生亲手回答了同一道考试题目：“什么是幸福？你幸福吗？”他们在收集时的年龄分别为17岁、28岁和45岁。其中，17岁的学生的答案措辞谨慎、表达正式。在要求将每份答案匹配到特定年龄与性别标签的任务中，大多数前沿语言模型都自信地将其归为成年人。本文报告了一项针对这一失败现象的结构化案例研究，涉及六种模型：Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o（2024）以及 DeepSeek V4。我们共进行了1,081次API调用，在六个实验条件下对3,225条回复进行了评分，这些条件分别调整了表述方式、披露格式以及受众意识相关指令。在匹配任务中，六种模型中有三种的表现接近或处于随机水平（1/3），同时报告的准确率却高达73%至88%。
arXiv:2610.32026v1 发布类型：新 摘要：传统的神经网络训练通常遵循预先设定的优化方案，为此我们设计了一种LLM智能体，用于监控训练过程并随训练进展调整优化器参数；然而，固定不变的智能体策略无法在多次运行之间积累经验。我们提出了RSI-Opt，一种即插即用的递归自我改进优化器智能体，它能够不断演化指导这一过程的知识体系：包括一个提示、一套操作规程、一个经过验证的优化器代码库，以及一套决策节奏。一个元智能体基于先前运行中的证据重写这一策略，同时通过存档机制保留已评估的策略，以供后续进一步演化。在三项训练任务上历经五代迭代后，这些元智能体逐步形成了可复用的操作流程与代码，并自主开展其自身的…
arXiv:2610.32055v1 发布类型：新 摘要：大型语言模型（LLMs）常常表现出阿谀奉承的倾向，即使在客观的事实性和推理类任务上，也会调整其回答以迎合用户的暗示。然而，这种影响的量化形式——以及它是否与信息源的可靠性相匹配——仍然知之甚少。在本研究中，我们通过在MMLU问题上观察提示诱导的答案偏移来探究这一现象，评估了诸如“[信息源]认为答案是（X）”这类提示。我们在三个开源模型系列——Qwen、Gemma和SmolLM——中系统性地改变了提示所归因的信息源（教授、朋友或狗），并发现由提示引发的变化遵循一种可预测的结构，该结构可用指数倾斜很好地刻画：提示会诱发
arXiv:2610.31972v1 发布类型：新 摘要：评估那些基于实时、动态变化的企业数据运行的对话代理十分困难：由于后端状态不断更新，重放的会话会逐渐偏离真实情况；而今天构建的基准测试，随着其所描述的数据不断演进，也可能在不知不觉中变得过时。我们提出了一种针对生产级对话代理的离线评估框架，该框架能够在所操作的实时数据发生变化的情况下保持可复现性，并且在基准过时时能够按需重新生成。随后，我们将这一框架用作基于GEPA的提示优化的适应度函数，并通过一个正确性约束机制来防范奖励欺骗。将其应用于一款面向商家的生产级代理后，经过正确性约束的压缩处理，可在不降低保留任务正确率的前提下，将代理的完整提示空间缩小3.5%至7.6%。
arXiv：2610.32045v1 发布类型：新 摘要：面向科学的人工智能代理正越来越多地被用于提出科学假设、开展自主实验以及解读证据。这些代理通过将大型语言模型（LLM）集成到特定领域的代理框架中构建而成，而该框架又能提升LLM的科学能力，并使其能够协调运用各类科学工具。在本研究中，我们探讨了当大型语言模型被整合进面向科学的人工智能代理框架时，模型的安全性是否仍能得到有效保障。我们针对50个有害的化学相关请求，对五种代理框架进行了评估。具体而言，我们考察了在直接提示、两种简单的对抗性提示策略以及一种自适应攻击情境下，模型的安全行为如何发生变化。基于四种近期发布的GPT变体，我们的研究结果表明
arXiv论文（2610.31678v1）指出，在交互式大语言模型评估中，仅依赖自动评分器的整体准确率或F1分数会掩盖提示特定错误，导致对提示效应的误判；实证显示同一评分器在不同提示下的假阳性率差异巨大（2.6%–33.3%），且表面显著的9.3点效应在双LLM评审下缩至2.3点且不显著。
推荐理由：该研究基于真实实验数据（6个模型、180个虚构实体问题、6种提示条件），揭示了当前LLM评估中普遍存在的方法论漏洞——将 scorer 整体性能等同于其在关键对比任务中的可靠性。其核心主张（须分别审计各提示、纳入不确定性）具有明确实证支撑和可操作建议，时效性强（2026-10-26发布），来源可信（arXiv预印本平台）。
arXiv:2610.32087v1 发布类型：新 摘要：理解语言—智能体的行为，需要探究行动如何在时间轨迹中被组织，以及这种组织与情境和结果之间的关联。我们提出了一种通用框架，将数据驱动的行为发现与分析及实验研究相衔接。从记录的活动提炼出的类别界定了测量的内容；分析保留了行为在流程中的位置，并将其关系表述为可解释的假设；在预留的场景中进行的统计评估与检验，则用于考察证据的强度与适用范围；随后，通过包括提示引导在内的实验，测试在人为改变的条件下行为与结果的变化情况。一项关于迭代式自我反思的研究说明了如何
一项发表于2026年10月24日arXiv平台的研究（编号2610.31148v1）指出，在工具增强条件下，六种开源语言模型在五类领域、五种问题表述下的对比稳定性未提高；相反，工具虽提升程序可答问题的准确率，却扩大了不同措辞下模型排名变化的敏感性。
推荐理由：该研究采用新设计的匹配协议，解耦工具调用全流程中的关键环节（如调用决策、工具响应、无调用报告等），实证揭示‘准确率提升’不等于‘比较更稳定’，并指出接口设计与指令细节显著调节敏感性程度，对模型评估实践具直接指导价值。
一项发表于2026年10月24日arXiv的多语言实证研究发现，当前主流的提示策略（如思维链、角色设定）在LLM-as-a-Judge场景下不具备跨模型、跨语言的可迁移性；裁判模型的选择影响力远超提示策略本身，且策略效果甚至会在不同裁判模型间发生方向性反转。
推荐理由：该研究首次系统测量了9种提示策略、4个开源裁判模型、27种语言和13个数据集间的交互效应，产出超100万条经人工校验的点对点评分，填补了英语中心化提示研究与固定模板多语言研究之间的关键空白。
