币界网消息，Zapier与评测机构Artificial Analysis合作推出了SaaS工作流自动化评测基准AutomationBench-AA。该基准基于Zapier平台的线个模拟SaaS软件环境，进行客观评估。测试引入安全合规红线，模型必须在不违反企业业务规则的前提下完成操作，若触发合规违规，得分将直接清零。首期评测中，大模型因合规防线惩罚得分骤降，最终得分均未过半。Claude Fable 5在纯任务步骤上完成73%的目标，但综合得分仅48.6%Gemini 3.5 Flash与GPT-5.5分别完成68%和67%的目标，最终得分为42.6%和42.1%。开源模型GLM-5.2得分仅27.8%。测试表明，模型在自动操作中坚守安全防线是实战落地的关键挑战。