IT之家 4月12日消息,金融时报(FT)昨日(4月11日)发布博文,报道称OpenAI大幅压缩最新大型语言模型(LLM)安全测试时间,此前需要数月时间,而最新o3模型仅有几天时间。
竞争驱动,安全让步
据八位知情人士透露,OpenAI大幅压缩模型的安全测试时间,留给员工和第三方测试团队“评估”(evaluations,即测试模型风险和性能)时间仅有数天时间,而此前通常会耗时数月时间。
IT之家援引博文介绍,OpenAI面临来自Meta、Google及xAI等对手的激烈竞争,需快速推出新模型以维持市场优势。o3模型计划最早下周发布,留给测试者安全检查时间不到一周,而此前GPT-4的测试期长达六个月。
一位测试过GPT-4的人士透露,过去安全测试更彻底,某些危险能力在测试两个月后才被发现,而如今竞争压力迫使公司追求速度,忽视潜在风险。
测试不足,监管缺位
全球目前尚未统一AI安全测试标准,但欧盟《AI法案》将于今年晚些时候上线,要求企业对其最强大的模型进行安全测试。
AI Futures Project负责人Daniel Kokotajlo表示,由于缺乏强制监管,企业不会主动披露模型的危险能力,竞争压力进一步加剧了风险。
OpenAI曾承诺构建定制模型版本,测试其潜在滥用风险,例如是否能协助制造更具传染性的生物病毒。
这种测试需投入大量资源,包括聘请外部专家、创建特定数据集并进行“微调”(fine-tuning)。但OpenAI仅对较老旧的模型进行有限微调,最新模型如o1和o3-mini未全面测试。前OpenAI安全研究员Steven Adler批评,若不兑现测试承诺,公众有权知情。
另一问题在于,安全测试通常基于早期“检查点”(checkpoints),而非最终发布模型。一位前OpenAI技术人员表示,发布未经测试的更新模型是“不良做法”,而OpenAI辩称,其检查点与最终模型“基本一致”,并通过自动化测试提高效率,确保安全。
本文源自IT之家