Artificial Analysis v5 与评测者的两难困境
Artificial Analysis 推出 Intelligence Index v5,在知识工作、编码、科学和通用能力四项各占 25% 权重的新体系下,头部闭源模型与开源权重模型的差距显著拉大。
Artificial Analysis 推出 Intelligence Index v5,在知识工作、编码、科学和通用能力四项各占 25% 权重的新体系下,头部闭源模型与开源权重模型的差距显著拉大。
作者通过实测检验 AI 生成论文能否穿透学术出版的审核机制,测试的伪造论文与自动化系统产出的论文均被 IEEE Access 编辑拦截。初版借助 ChatGPT 和 Gemini 生成的虚构论文因包含 12 处虚构引用被学术诚信工具查出;全自动科研系统 FARS 生成的论文虽文献真实,却因过度引用预印本和插图异常暴露了 AI 生成痕迹。
Linus Torvalds 于 10 月 18 日结束常规 9 周周期并发布 Linux 7.3 内核,该周期在大语言模型辅助贡献推动下打破了多项开发记录。该版本有望成为下一个 LTS 长期支持内核,LWN 统计了具体开发数据并分析了自动化补丁审查对减少内核漏洞的实际效果。
AI 基准测试不仅是衡量模型能力的度量标尺,也深刻主导着整个技术领域的发展方向。标准化测试的逻辑在于通过设计测试来评估 AI 能力,其历史可追溯至 1987 年 DARPA 推出的首个自动语音转文字基准,研究旨在推动基准测试从经验化的“黑魔法”转变为一门真正的科学。
The Verge 编辑实测了 Twin Health 的 AI 数字孪生服务,通过整合连续血糖监测、智能设备数据与验血报告构建虚拟代谢模型,预测饮食后的血糖反应并给出干预建议。
The Verge 对亚马逊生成式 AI 语音助手 Alexa Plus 进行了为期一年的实测,认为其在自然语言家居控制、多步骤指令及例程管理上显著进步,但在个人助理场景中仍不成熟。
作者将个人账户密码授权给 Meta 的 Muse 与 OpenAI 的 dots 智能体深度实测一周,对比两者在搬家杂务与账号代管中的实际能力。Muse 深度集成社交与银行等权限且能自主购买家具,但易受营销诱导并多次推销商品;OpenAI dots 擅长常识推理与垃圾邮件检索,却频繁触发第三方平台的防机器人封禁。