arXiv AI 每日精选

扩散语言模型（DLMs）由于迭代去噪过程而产生高昂的推理成本，这推动了高效剪枝的研究。现有的剪枝启发式方法主要继承自自回归（AR）大型语言模型，通常会保留注意力汇聚标记，因为AR汇聚标记充当稳定的全局锚点。我们发现这一假设并不适用于DLMs：在整个生成轨迹中，注意力汇聚位置表现出显著更高的方差（通过主导汇聚位置在不同时间步的变化来衡量），表明汇聚标记在DLMs中往往是短暂的，其结构重要性低于AR模型。基于这一观察，我们提出了**汇聚感知剪枝（Sink-Aware Pruning）**，该方法能够自动识别并剪枝DLMs中的不稳定汇聚标记（先前的研究通常会为AR大型语言模型保留汇聚标记）。在不进行...

HIPE-2026是一个CLEF评估实验室，致力于从嘈杂的多语言历史文本中提取人物-地点关系。该实验室在HIPE-2020和HIPE-2022活动的基础上，通过针对多种语言和时间段中的人物-地点关联识别任务，将该系列扩展到语义关系提取领域。系统需要对两种类型的关系进行分类——$at$（“该人物是否曾到过这个地方？”）和$isAt$（“该人物在出版物出版时期是否位于这个地方？”）——这需要对时间和地理线索进行推理。该实验室引入了一个三重评估框架，联合评估准确性、计算效率和领域泛化能力。通过将关系提取与大规模历史数据处理相结合，HIPE-2026旨在支持数字人文领域中知识图谱构建、历史传记重建和空...

奖励建模是现代对齐流程（包括RLHF和RLAIF）的核心组件，为PPO和TRPO等策略优化方法提供支持。然而，训练可靠的奖励模型严重依赖人类标记的偏好数据，这类数据成本高且数量有限，因此激发了数据增强的应用。现有的增强方法通常在表示或语义层面操作，且不考虑奖励模型的估计难度。在本文中，我们提出了MARS，一种自适应的、边际感知的增强和采样策略，明确针对奖励模型的模糊和失效模式。我们提出的MARS框架将增强集中在低边际（模糊）的偏好对上，这些偏好对是奖励模型最不确定的地方，并通过难样本增强迭代优化训练分布。我们提供了理论保证，表明该策略增加了损失函数的平均曲率，从而增强了信息并改善了条件，同时实...

扩散语言模型（DLMs）由于迭代去噪过程而产生高昂的推理成本，这推动了高效剪枝的研究。现有的剪枝启发式方法主要继承自自回归（AR）大型语言模型，通常会保留注意力汇聚标记，因为AR汇聚标记充当稳定的全局锚点。我们发现这一假设并不适用于DLMs：在整个生成轨迹中，注意力汇聚位置表现出显著更高的方差（通过主导汇聚位置在不同时间步的变化来衡量），表明汇聚标记在DLMs中往往是短暂的，其结构重要性低于AR模型。基于这一观察，我们提出了**汇聚感知剪枝（Sink-Aware Pruning）**，该方法能够自动识别并剪枝DLMs中的不稳定汇聚标记（先前的研究通常会为AR大型语言模型保留汇聚标记）。在不进行...

奖励建模是现代对齐流程（包括RLHF和RLAIF）的核心组件，为PPO和TRPO等策略优化方法提供支持。然而，训练可靠的奖励模型严重依赖人类标记的偏好数据，这类数据成本高且数量有限，因此激发了数据增强的应用。现有的增强方法通常在表示或语义层面操作，且不考虑奖励模型的估计难度。在本文中，我们提出了MARS，一种自适应的、边际感知的增强和采样策略，明确针对奖励模型的模糊和失效模式。我们提出的MARS框架将增强集中在低边际（模糊）的偏好对上，这些偏好对是奖励模型最不确定的地方，并通过难样本增强迭代优化训练分布。我们提供了理论保证，表明该策略增加了损失函数的平均曲率，从而增强了信息并改善了条件，同时实...

对大型视觉语言模型（LVLMs）的黑盒对抗性攻击具有挑战性，因为缺乏梯度且存在复杂的多模态边界。虽然先前的最先进迁移式方法（如M-Attack）通过源图像和目标图像之间的局部裁剪级匹配表现良好，但我们发现这会导致跨迭代的高方差、近乎正交的梯度，违反了连贯的局部对齐并破坏了优化稳定性。我们将此归因于（i）ViT的平移敏感性导致尖峰状梯度，以及（ii）源裁剪和目标裁剪之间的结构不对称。我们将局部匹配重新表述为对源变换和目标语义的不对称期望，并构建了M-Attack的梯度去噪升级版本。在源端，多裁剪对齐（MCA）通过对每次迭代中多个独立采样的局部视图的梯度进行平均来减少方差。在目标端，辅助目标对齐（...

扩散语言模型（DLMs）由于迭代去噪过程而产生高昂的推理成本，这推动了高效剪枝的研究。现有的剪枝启发式方法主要继承自自回归（AR）大型语言模型，通常会保留注意力汇聚标记，因为AR汇聚标记充当稳定的全局锚点。我们发现这一假设并不适用于DLMs：在整个生成轨迹中，注意力汇聚位置表现出显著更高的方差（通过主导汇聚位置在不同时间步的变化来衡量），表明汇聚标记在DLMs中往往是短暂的，其结构重要性低于AR模型。基于这一观察，我们提出了**汇聚感知剪枝（Sink-Aware Pruning）**，该方法能够自动识别并剪枝DLMs中的不稳定汇聚标记（先前的研究通常会为AR大型语言模型保留汇聚标记）。在不进行...

HIPE-2026是一个CLEF评估实验室，致力于从嘈杂的多语言历史文本中提取人物-地点关系。该实验室在HIPE-2020和HIPE-2022活动的基础上，通过针对多种语言和时间段中的人物-地点关联识别任务，将该系列扩展到语义关系提取领域。系统需要对两种类型的关系进行分类——$at$（“该人物是否曾到过这个地方？”）和$isAt$（“该人物在出版物出版时期是否位于这个地方？”）——这需要对时间和地理线索进行推理。该实验室引入了一个三重评估框架，联合评估准确性、计算效率和领域泛化能力。通过将关系提取与大规模历史数据处理相结合，HIPE-2026旨在支持数字人文领域中知识图谱构建、历史传记重建和空...

对大型视觉语言模型（LVLMs）的黑盒对抗性攻击具有挑战性，因为缺乏梯度且存在复杂的多模态边界。虽然先前的最先进迁移式方法（如M-Attack）通过源图像和目标图像之间的局部裁剪级匹配表现良好，但我们发现这会导致跨迭代的高方差、近乎正交的梯度，违反了连贯的局部对齐并破坏了优化稳定性。我们将此归因于（i）ViT的平移敏感性导致尖峰状梯度，以及（ii）源裁剪和目标裁剪之间的结构不对称。我们将局部匹配重新表述为对源变换和目标语义的不对称期望，并构建了M-Attack的梯度去噪升级版本。在源端，多裁剪对齐（MCA）通过对每次迭代中多个独立采样的局部视图的梯度进行平均来减少方差。在目标端，辅助目标对齐（...

对大型视觉语言模型（LVLMs）的黑盒对抗性攻击具有挑战性，因为缺乏梯度且存在复杂的多模态边界。虽然先前的最先进迁移式方法（如M-Attack）通过源图像和目标图像之间的局部裁剪级匹配表现良好，但我们发现这会导致跨迭代的高方差、近乎正交的梯度，违反了连贯的局部对齐并破坏了优化稳定性。我们将此归因于（i）ViT的平移敏感性导致尖峰状梯度，以及（ii）源裁剪和目标裁剪之间的结构不对称。我们将局部匹配重新表述为对源变换和目标语义的不对称期望，并构建了M-Attack的梯度去噪升级版本。在源端，多裁剪对齐（MCA）通过对每次迭代中多个独立采样的局部视图的梯度进行平均来减少方差。在目标端，辅助目标对齐（...

在许多现实场景中，如环境监测、灾害响应或公共卫生领域，由于数据收集成本高、难度大且环境动态变化，在资源紧张的情况下，从未观测区域进行战略性采样对于高效发现隐藏目标至关重要。然而，稀疏且有偏差的地理空间地面真值限制了现有基于学习的方法（如强化学习）的适用性。为解决这一问题，我们提出了一个统一的地理空间发现框架，该框架整合了主动学习、在线元学习和概念引导推理。我们的方法基于“概念相关性”这一共享概念引入了两项关键创新，“概念相关性”捕捉了特定领域因素如何影响目标存在：一是“概念加权不确定性采样策略”，其中不确定性通过基于易获取的特定领域概念（如土地覆盖、污染源 proximity）学习到的相关性进...

图像复制检测（ICD）旨在通过鲁棒的特征表示学习识别图像对之间的篡改内容。虽然自监督学习（SSL）推动了ICD系统的发展，但现有的视图级对比方法由于缺乏足够的细粒度对应学习，难以应对复杂的编辑操作。我们通过两项关键创新，利用编辑内容中固有的几何可追溯性来解决这一限制。首先，我们提出PixTrace——一个像素坐标跟踪模块，能够在编辑变换过程中维持显式的空间映射。其次，我们引入CopyNCE，一种几何引导的对比损失，它利用PixTrace验证的映射所得到的重叠率来正则化补丁亲和力。我们的方法将像素级可追溯性与补丁级相似性学习相结合，抑制了SSL训练中的监督噪声。大量实验表明，该方法不仅实现了最先...

目前，4级自动驾驶汽车（AVs）的安全验证受到瓶颈限制，原因是无法使用传统基于规则的启发式方法来扩展对罕见、高风险长尾场景的检测。我们提出了Deep-Flow，这是一种用于安全关键异常检测的无监督框架，它利用最优传输条件流匹配（OT-CFM）来表征专家人类驾驶行为的连续概率密度。与在不稳定、高维坐标空间中运行的标准生成方法不同，Deep-Flow通过主成分分析（PCA）瓶颈将生成过程约束在低秩谱流形上。这通过设计确保了运动学平滑性，并能够计算精确的雅可比迹，以实现数值稳定、确定性的对数似然估计。为了解决复杂路口的多模态模糊性，我们采用了具有车道感知目标条件的早期融合Transformer编码器...

3D场景重建和渲染是计算机视觉的核心任务，其应用涵盖工业监控、机器人技术和自动驾驶等领域。近年来，3D高斯溅射（GS）及其变体的研究进展在保持高计算和内存效率的同时，实现了令人印象深刻的渲染保真度。然而，传统的基于视觉的GS流水线通常依赖足够数量的相机视图来初始化高斯基元并训练其参数，这在初始化过程中通常会产生额外的处理成本，并且在视觉线索不可靠的情况下（如恶劣天气、低光照或部分遮挡）表现不佳。为了应对这些挑战，并受射频（RF）信号对天气、光照和遮挡的鲁棒性启发，我们引入了一种多模态框架，将射频传感（如汽车雷达）与基于GS的渲染相结合，作为纯视觉GS渲染的更高效、更鲁棒的替代方案。所提出的方法...

计算机使用代理在嘈杂的感知、多窗口上下文和不断变化的环境状态下进行长期操作。现有的方法，从基于强化学习的规划器到轨迹检索，常常偏离用户意图并重复解决常规子问题，导致错误累积和效率低下。我们提出IntentCUA，这是一个多智能体计算机使用框架，旨在通过与意图对齐的计划记忆来稳定长期执行。规划器、计划优化器和评估器通过共享内存进行协调，该内存将原始交互轨迹抽象为多视图意图表示和可重用技能。在运行时，意图原型检索与子组对齐的技能，并将其注入部分计划中，减少冗余的重新规划，并减轻跨桌面应用程序的错误传播。在端到端评估中，IntentCUA实现了74.83%的任务成功率，步骤效率比为0.91，优于基于...

在大型语言模型（LLMs）中进行推理时，越来越多地在更广泛的验证循环中展开。在内部，系统使用成本较低的检查，例如自一致性或代理奖励，我们称之为弱验证。在外部，用户检查输出并通过反馈引导模型，直到结果可信，我们称之为强验证。这些信号在成本和可靠性上有显著差异：强验证可以建立信任，但资源密集；弱验证则快速且可扩展，但存在噪声且不完美。我们通过弱-强验证策略将这种张力形式化，该策略决定何时基于弱验证接受或拒绝，何时推迟到强验证。我们引入了衡量错误接受、错误拒绝和强验证频率的指标。在总体上，我们证明了最优策略具有双阈值结构，并且校准和锐度决定了弱验证器的价值。基于此，我们开发了一种在线算法，该算法在不...

大型语言模型（LLMs）的激增使得区分机器生成内容与人类文本的高效机制成为必要。尽管统计水印已成为一种有前景的解决方案，但现有方法存在两个关键局限性：缺乏选择采样分布的原则性方法，以及依赖固定时间范围的假设检验，这排除了有效的提前停止。在本文中，我们通过开发首个基于e值的水印框架——锚定电子水印（Anchored E-Watermarking）来弥合这一差距，该框架将最优采样与随时有效的推理相结合。与传统方法中选择性停止会使第一类错误保证失效不同，我们的框架通过为检测过程构建测试上鞅，实现了有效的随时推理。通过利用锚定分布来近似目标模型，我们根据最坏情况下的对数增长率确定了最优e值，并推导出了...

自蒸馏（SD）是指使用相同的架构和训练数据，在真实标签和教师模型自身预测的混合数据上重新训练学生模型的过程。尽管经验表明自蒸馏通常能提高泛化能力，但其形式化保证仍然有限。我们研究了无约束设置下的岭回归自蒸馏，其中混合权重$ξ$可能超出单位区间。在以训练数据为条件且不做任何分布假设的情况下，我们证明：对于任何平方预测风险（包括分布外风险），在教师岭风险$R(λ)$非平稳（即$R'(λ)≠0$）的每个正则化水平$λ>0$上，最优混合的学生模型都严格优于岭回归教师模型。我们得到了任意$λ$值下最优混合权重$ξ^\star(λ)$的闭式表达式，并证明它遵循符号规则：$\operatorname{sig...

我们提出了一个人工智能辅助框架，用于预测复杂量子实验的个体运行，包括情境性和因果性（自适应测量），这是我们发现扩展量子理论的局域隐变量理论长期计划的一部分。为了规避不可能定理，我们用一种较弱的、兼容主义版本的“偶然自由选择”取代了自由选择（测量独立性和参数独立性）的假设。我们的框架基于将复杂量子实验解释为观察者与宇宙之间类似国际象棋的博弈，其中宇宙被视为一个最小化作用量的经济主体。先前的工作描述了对应于一般实验（如固定因果顺序过程矩阵或因果情境性场景）的博弈结构，以及一种确定性非纳什分辨率算法，该算法放弃了单方面偏离假设（自由选择），并代之以完美预测假设。在这项新研究中，我们使用神经网络学习博...

在现实世界的多智能体学习中，反馈延迟是不可避免的。已知反馈延迟会严重降低性能，即使对于双线性博弈，反馈延迟下的收敛速度仍然不明确。本文推导了加权乐观梯度下降 - 上升（WOGDA）算法在无约束双线性博弈中的线性收敛速度，该算法通过额外的乐观性来预测未来奖励。为了分析该算法，我们将其解释为额外近似点（EPP）的近似，EPP基于比经典近似点（PP）更远的未来奖励进行更新。我们的定理表明，对于延迟m，经过t次迭代后，标准乐观性（预测下一步奖励）以$\exp(-\Theta(t/m^{5}))$的速度线性收敛到均衡点。此外，采用额外乐观性（预测更远的未来奖励）可以容忍更大的步长，并将收敛速度显著加快到...

算法合谋的威胁以及其是否值得监管干预仍存在争议，因为现有的对其出现的评估往往依赖于较长的学习周期、关于交易对手采用合谋策略的理性假设，以及参与者之间超参数和经济环境的对称性。为了研究合谋风险，我们引入了一种元游戏设计，用于在测试时约束下分析算法行为。我们将智能体建模为拥有具有不同战略特征（例如竞争性、天真合作性、稳健合谋性）的预训练策略，并将问题表述为选择一种元策略，该元策略将预训练的初始策略与游戏内适应规则相结合。我们旨在研究合谋是否能在理性选择下出现，以及智能体如何共同适应以走向合作或竞争。为此，我们对元策略配置文件上的标准型经验游戏进行采样，%在随机初始游戏状态下，计算相关的游戏统计数据...