Mistral开源模型Shieldstral:以更小体积匹敌大型安全模型
Mistral推出30亿参数的安全模型Shieldstral,采用动态问答替代固定分类,在文本安全基准上媲美七倍大的模型,并支持多模态审核,已以Apache 2.0许可开源。
原贴
查看原文原文
中文翻译
一篇新论文提出用“是/否”问题替代固定的安全类别,操作人员可以在运行时定义这些问题,而无需重新训练分类器。论文显示,法国AI公司Mistral推出的30亿参数模型Shieldstral,在标准文本安全基准上媲美三倍于其规模的模型。Mistral表示,该模型还在文本与图像联合分类上创下新高。
许多护栏模型使用固定分类法对内容进行分类。论文作者(包括Mistral联合创始人Guillaume Lample)指出这种方法有两个问题:公共安全数据集对风险的划分差异过大,无法支持统一的分类法;而且同样的规则并不适用于所有用例。适合网络安全工具的内容,在心理健康平台上可能是有害的。
操作人员用“此内容是否宣扬暴力?”等通俗问题告诉Shieldstral要检查什么。模型仅回答“是”或“否”,系统利用每个回答的概率计算0到1之间的安全得分。
研究人员将约5410万个涵盖安全、有害内容和操纵企图的示例整合为一种格式。他们对定向操纵采用严格标准,对一般安全数据采用中等标准,对回答质量采用宽松标准。为了教会Shieldstral更细致的区分,团队使用另一个语言模型将安全文本改写为不安全变体。每个示例还包含一个相似但不同的、必须被拒绝的类别,这训练了模型区分紧密相关的规则,而不是只做出宽泛的安全或不安全判断。
作者独立于训练集创建了适应性测试类别,使用了不同的名称和详细程度。他们表示,细粒度测试类别没有一个直接匹配训练类别,尽管12个较广泛类别中有10个有粗略对应。
在组合文本基准上,Shieldstral的F1得分为84.9%。F1将精确率和召回率合并为一个指标,100%代表完美得分。这一结果与OpenAI的GPT-OSS-Safeguard-20B(大约大7倍)持平,并超过Qwen3Guard-8B的84.0%、Nemotron-3.5-Safety-4B的83.3%和LlamaGuard-4-12B的69.1%。在图像及图像-文本组合上,Shieldstral得分83.8%,领先OmniGuard-7B的77.6%和LlavaGuard-7B的71.6%。GPT-OSS-Safeguard-20B以94.1%领先适应性基准,而Shieldstral为91.3%。该测试使用了不同于训练类别或全新规则。作者仍然认为Shieldstral比GPT-OSS-Safeguard-20B和Nemotron-3.5-Safety更实用,因为后两者都会生成冗长的中间推理序列,提高计算成本,而Shieldstral只返回一个词。
Shieldstral基于Mistral的Ministral-3B,并配有Pixtral视觉编码器。在细粒度类别的验证测试中,合成类别数据将F1分数提高了23.3个百分点,研究人员称这是模型适应新规则能力的主要驱动因素。Shieldstral以Apache 2.0许可证作为开放权重模型提供。
核心信息
Mistral推出30亿参数的安全模型Shieldstral,采用动态问答替代固定分类,在文本安全基准上媲美七倍大的模型,并支持多模态审核,已以Apache 2.0许可开源。
- Mistral推出30亿参数的安全模型Shieldstral,采用动态问答替代固定分类,在文本安全基准上媲美七倍大的模型,并支持多模态审核,已以Apache 2.0许可开源。
- 原贴提到:A new paper proposes replacing fixed safety categories with yes or no qu
- 来源:the-decoder.com
成为会员查看完整内容
你已经看到了这篇内容的前置整理,剩余深度部分仅对会员开放。