幂律谱下的随机优化：紧确界与洗牌分析
研究人员将幂律谱条件理论推广至高维机器学习中的随机梯度下降（SGD），证明相同的谱指数支配着随机优化动力学。针对各向同性高斯数据，研究通过推导精确常数证明 Single Shuffle 洗牌策略严格优于 Flip-Flop 与 IID 采样。该成果打通了抽象谱理论与实际随机训练选择之间的鸿沟，揭示了数据几何对优化速度的驱动机制。
#数据/训练
#数据/训练
今日 0 条arXiv stat.MLAI 评分3434 arXiv stat.MLAI 评分3737 表征学习能否与损失最小化解耦？极化更新给出答案
矩阵 Muon 的极化归一化更新表明表征学习可与损失最小化解耦：在接近稳定性边缘时，即便全批次训练损失停滞或进入周期振荡，特征仍会持续与教师子空间对齐。在全部 33 种激活函数配置中，学生模型的平均梯度外积（AGOP）在损失平台期均持续有效对齐，且该现象在深度残差网络中亦能复现。
arXiv cs.AIAI 评分3333 Token 边界的代价：压缩证书与预测
研究量化了预分词边界对文本压缩的代价，证实切分边界使英语维基百科的最优 token 数量增加 28.3%–36.8%。BPE 高出无约束下界 10.9%，且在 85M 非嵌入参数模型中，无约束压缩会导致 12 种语言的预测位率上升。为此提出的边界许可机制仅放开 10% 词表预算，即可在英文和中文语料中分别恢复 85.2% 与 100.0% 的 token 缩减收益。
arXiv cs.LGAI 评分3333 基于行列尺度场的 Transformer 权重介观视角分析
该研究提出通过行列尺度场在介观层面分析 Transformer 权重，利用通道的中位数居中 log-RMS 概况结合全局尺度与平衡核心精确表征矩阵。在 4 种尺寸的 Pythia 检查点及 3 种初始化测试中，平衡后核心幅值概况高度相似，Query/Key 概况与 RoPE 频率对齐，且展平相对通道增益会导致分布内损失上升。
arXiv cs.AIAI 评分4444 有效的 LLM 微调必须依赖人类可读文本吗？
新研究提出连续合成输入嵌入向量优化方法 DASA，直接利用冻结参考模型的激活梯度反馈微调大语言模型，证明有效微调无需依赖人类可读文本。在 Llama 和 Qwen 系列 1B 至 32B 参数的 6 款模型测试中，DASA 在 LoRA 设置下性能媲美并多次超越源自然语言数据，多数对比优于 GRADMM。此外，DASA 相比 GRADMM 实现了 3.6-4.9x 提速，且峰值 GPU 显存相当。
arXiv cs.LGAI 评分2727 NASA C-MAPSS 上的 LSTM 故障检测器无服务器 Gossip 训练：与联邦、本地及集中式学习的对比研究
针对 NASA C-MAPSS 涡轮风扇基准上的堆叠 LSTM 故障检测，同步环形 Gossip 训练在无需中央服务器的情况下，于 FD001 取得 89.6 ± 1.3% 的终端窗口 F1 分数，性能比肩 FedAvg（89.9 ± 1.1%）。在 FD002-FD004 上该方法较本地训练将 F1 提升 13 至 28 个百分点，在数据异构性适中时是切实可行的无服务器替代方案。
arXiv cs.LGAI 评分3636 LLM 裁判二值化评判会压平分数空间
LLM 裁判若将奖励压缩为通过/未通过（{0, 1}）会压平分数空间，导致模型策略在不改变判定结果的前提下产生尺度仿射拉伸漏洞。在 MATH 与 SciBench 测试中，14 种尺度拉伸在二值化下完全隐形，而采用三档评分（{0, 0.5, 1}）在 n=1,024 时能以至少 96.5% 的功效检出异常并消除该歧义。
arXiv cs.LGAI 评分3939 GapFT：从 Pass@K 与 Pass@1 的差距中学习
研究者提出 GapFT 微调方法，利用单次采样失败但在 K 次采样内成功的样本训练大语言模型，将搜索能力内化至单次解码。在 LogiQA 2.0 和 ReClor 上，Llama-3.1-8B 的 Pass@1 较原模型分别提升 14.4 和 13.9 分，仅用三分之一数据即追平全量验证微调并达到 Pass@4 精度。该增益在 Qwen2.5-7B 上同样得到验证。
Apple ML ResearchAI 评分5353 Apple 提出持续学习智能体训练与评估底座 SCLATE
Apple 研究团队提出持续学习智能体训练与评估底座 SCLATE，支持将基准测试与未经修改的智能体接入统一的开放事件调度器中。框架采用混合模拟时钟在智能体工作时实时推进并跳过空闲间隙，将长达一个月的交互场景压缩至数小时，同时通过容器内代理完整记录所有调用的 token 与对数概率。
OpenAI NewsAI 评分4646 OpenAI 探索前沿 AI 训练安全案例
OpenAI 提出针对前沿 AI 训练安全案例（safety cases）的早期指南。该指南内容主要涵盖技术安全防护措施、运营实践，以及对模型对齐失效（misalignment）事件的调查规范。
Apple ML ResearchAI 评分2727 联邦变分不等式取得更快收敛速率
Apple 与佐治亚理工学院研究人员针对求解随机变分不等式（VI）的联邦优化问题，建立了一系列更快的收敛速率保证。研究指出经典 Local Extra SGD 算法在精细分析下具备更紧理论界，但存在导致过度客户端漂移的局限。为此团队提出新算法 LIPPAX，有效缓解客户端漂移，在多种设定及复合变分不等式中均实现更优收敛保证。
AWS Machine Learning BlogAI 评分3939 在 Amazon EKS 上借助 EFA 和 DeepEP 扩展 MoE 强化学习，吞吐量提升 40%
AWS 提出结合 Amazon EKS、EFA 与 DeepEP 的架构方案，针对 MoE 模型的 RLHF 和 GRPO 大规模强化学习后训练进行优化，实现训练吞吐量提升 40%。该方案解决了 Rollout 推理生成与策略训练之间的异构资源协同难题，并利用 DeepEP 优化专家并行（EP）在 EFA 上的跨节点动态 all-to-all 通信瓶颈。
AWS Machine Learning BlogAI 评分4343 在 Amazon SageMaker HyperPod 上借助 SkyRL 加速多模态强化学习训练
基于 Amazon SageMaker HyperPod 运行开源强化学习框架 SkyRL，可通过 GRPO 算法将 Qwen3-VL-8B 视觉语言模型的迷宫求解率从 43.75% 提升至 95% 以上。
Apple ML ResearchAI 评分3434 半监督联邦 ASR 实用方案：在线伪标签与服务端更新稳定化
Apple ML Research 提出一种半监督联邦语音识别（ASR）方案，通过协同设计客户端在线伪标签生成与服务端标注数据更新，解决序列误差累积导致的训练发散问题。该方案利用服务端持续训练稳定在线教师模型，在 11 组对比中有 9 组超越先前最强方法，域内平均提升 20.8%，跨域提升 10.0%，显著缩小了与全监督联邦学习的差距。
Together AI Blog精选AI 评分6666 如何以 17 美元微调并部署类似 Jev 的专用分类模型
Together AI 发布实战教程，指导用户基于 Qwen3.5 4B 基础模型和约 3.8 万条多源数据微调类似 Jev 的专用分类模型，并将其部署为 HTTP 端点。该微调流程耗时约 25 分钟、花费约 17 美元，模型可直接解析输入状态并输出规范的 JSON 结构化判定结果。相关数据采样、清洗与部署脚本均已在 GitHub 的 tev1 仓库开源。
推荐理由：文章给出了以约 17 美元微调并部署专用分类模型的完整代码与数据处理流程，展示了针对结构化任务低成本定制轻量模型的工程实践。
Google AI BlogAI 评分4646 Google 携手联合国让全球数据更易于探索
Google 与联合国系统联合推出了 UN System Data Commons 平台。这是一个全新的开放平台，旨在让全球统计数据更易于公开获取与检索。
Together AI Blog精选AI 评分6767 Together AI 升级微调服务：支持新开源模型、实时指标追踪与专家层 LoRA
Together AI 宣布扩展微调服务，新增对 GLM-5.3、Qwen 3.8、Gemma 4 等开源权重模型的支持，并下调多款模型 30% 至 70% 的训练价格。新版本加入实时训练指标追踪与面向 MoE 架构的 Expert LoRA 功能，支持验证集早停并自动退还未用步数费用。平台还提供训练前数据 Token 化预览、文件预检校验及样本权重调节能力。
推荐理由：微调平台引入专家层适配器与早停机制，为开发者提供了更精准控制 MoE 训练并降低试错成本的实现路径。
Berkeley AI ResearchAI 评分4444 教大语言模型更新信念以实现高效长程交互
研究人员提出 ABBEL 框架，通过监督自然语言信念状态替代传统上下文总结，解决大语言模型长程交互中的性能损耗问题。在协作编程基准 CollabBench 上，结合重构信念评分的 ABBEL-rec-BG 将与全上下文模型的性能差距缩小约 50%，训练步数减少 50%，并大幅降低峰值 token 占用。
Together AI BlogAI 评分5555 Together AI 联合 Y Combinator 为 YC 初创团队推出专属 GPU 集群
Together AI 宣布与 Y Combinator 合作推出面向 YC 初创团队的专属 GPU 集群，解决 AI 原生创业公司面临的算力获取瓶颈与资金压力。入选企业无需签订长期高额合同，即可通过 Together AI 自助门户在数分钟内弹性调配 GPU 用于推理与训练，并享受长期协议级别的优惠费率。该集群目前已处于全负荷运行状态，双方后续计划进一步扩大算力规模以支持企业持续扩张。
Together AI BlogAI 评分4242 Together AI 宣布与 Adaption 达成合作
Together AI 宣布与 Adaption 达成合作，将 Together Fine-Tuning 微调服务接入 Adaptive Data 平台。用户优化数据后可直接在其基础设施上运行 LoRA 或全量微调，支持 Kimi K2.5、GLM 5.1、Qwen 3.5-397B 等超 100B 参数开源模型，并可直接部署至高性能推理服务或导出至 Hugging Face Hub。
Together AI BlogAI 评分4545 分布感知投机解码 DAS 将强化学习 rollout 加速最高 50%
分布感知投机解码（DAS）框架针对强化学习后训练的长尾瓶颈，在不改变模型输出的前提下将 rollout 阶段最高提速 50%。系统结合免训练的自适应后缀树草稿器与长度感知调度，利用历史轨迹动态分配投机预算并平衡多 GPU 负载。DAS 在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen3-8B 评估中，分别减少超 50% 和约 25% 的 rollout 时间。
Google DeepMindAI 评分4949 Decoupled DiLoCo：高韧性分布式 AI 训练的新前沿
Google DeepMind 提出分布式训练架构 Decoupled DiLoCo，通过异步计算孤岛实现低带宽、高容错的跨数据中心大语言模型训练。团队在跨美国 4 个区域、仅 2-5 Gbps 广域网带宽下成功预训练 12B 参数模型，速度比传统同步方法快 20 倍以上，并在 Gemma 4 测试中保持了同等基准性能。
Together AI BlogAI 评分4646 Parcae：利用稳定循环架构以更少参数实现更高性能
Parcae 是一种稳定的循环层模型架构，通过让激活值多次穿过相同网络层增加计算量，有效解决了循环模型训练不稳定的问题。实验显示，Parcae 相比以往循环模型将验证困惑度最高降低 6.3%，其 770M 模型仅用约一半参数便打平了同等数据训练的 1.3B Transformer 性能。此外，该研究首次建立了循环架构的 Scaling Laws，证明计算最优训练需同步增加循环次数与数据量。
Together AI Blog精选AI 评分6767 Together AI 扩展微调服务，新增工具调用、推理及视觉模型微调支持
Together AI 宣布对其微调服务进行重大扩展，原生支持工具调用、链式推理思考轨迹以及视觉语言模型（VLM）微调。底层训练技术栈通过集成 SonicMoE 算子与定制 CUDA 内核，将 100B+ 参数模型的训练吞吐量最高提升至 6 倍，并支持最高 100GB 的数据集以及运行前的成本与耗时预估。
推荐理由：原文给出了工具调用、推理链与视觉微调的具体参数配置与吞吐量实测数据，读者可以据此评估复杂智能体工作流的后训练可行性与成本。
Berkeley AI ResearchAI 评分4646 大规模识别大语言模型中的相互作用
研究人员提出 SPEX 与 ProxySPEX 算法，用于在大规模大语言模型中高效识别特征、数据与组件间的关键相互作用。算法利用稀疏性与低阶性将交互搜索重构为稀疏恢复问题，其中 ProxySPEX 进一步结合层次特性，以少约 10 倍的消融次数达到 SPEX 的性能。该框架适用于特征归因、数据归因与机理可解释性分析，解决了交互数量随规模指数级增长的计算难题。
Together AI BlogAI 评分5555 Together AI 研究揭示语音模型在街道识别中的缺陷并提出跨语言合成数据解法
Together AI 研究发现主流语音识别模型在转录多语言背景发音的街道名称时平均错误率达 39%，非英语母语者的识别准确率比英语母语者低 18%。为此团队提出基于 XTTS 的跨语言风格迁移技术生成口音合成数据，仅使用不到 1,000 条训练样本就使 Whisper-Base 等模型的识别相对准确率提升最高 60%。
Together AI Blog精选AI 评分6666 Together AI 探究大模型在无明确提示词时的固有生成行为
Together AI 研究发现，在移除对话模板和具体指令的近无约束生成条件下，各大语言模型会展现出截然不同的知识先验与语义偏好。其中 GPT-OSS 输出中编程与数学占比超 50% 且深度更高，Llama 偏向文学叙事，DeepSeek 产生宗教内容比例较高，Qwen 则频繁生成考试选择题。研究还指出无约束下的退化文本具有明显结构特征，甚至暴露出潜在的个人隐私泄露风险。
推荐理由：研究通过移除提示词约束揭示了各模型家族固有的主题偏好与退化模式，为模型行为审计和隐私泄漏检测提供了新视角。
Berkeley AI ResearchAI 评分4242 无需 TD 学习的强化学习
研究人员提出一种基于分治法（divide and conquer）的离线策略强化学习方法，无需依赖传统时序差分（TD）学习即可扩展至长视距任务。该方法将轨迹划分为等长片段并通过组合局部价值进行更新，理论上能将 Bellman 递归次数降至对数级，从根本上缓解了误差累积难题。团队已将该机制应用于目标条件强化学习（goal-conditioned RL），成功实现了向复杂任务的有效扩展。
Berkeley AI ResearchAI 评分4646 word2vec 究竟学到了什么？
研究人员提出了针对 word2vec 学习过程的定量预测理论，证明该学习过程可简化为无权最小二乘矩阵分解，最终表征等价于对目标统计矩阵进行 PCA。在极小初始化条件下，模型通过离散步进逐次递增嵌入矩阵的秩，每一步都沿新的正交方向习得一个可解释的主题概念，直至模型容量饱和。