Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
ISO/IEC TR 25219:2023 — 信息技术 — 生物特征识别 — 人脸识别性能测试
评估人脸识别系统准确性和鲁棒性的标准化方法
ISO/IEC TR 25219:2023 概述
ISO/IEC TR 25219:2023 为面部识别系统的性能测试提供了全面的技术框架。随着面部识别技术在安防、金融、边境管控和消费应用中的普及，对标准化、可重复测试方法的需求比以往任何时候都更加迫切。本技术报告涵盖了整个测试生命周期——从测试设计和数据集选择到指标计算和结果解释。
与专有测试方法不同，TR 25219 强调统计严谨性、人口统计代表性和操作相关性。它弥合了实验室评估与真实部署场景之间的差距。
该报告涵盖了验证（1:1匹配）和识别（1:N搜索）两种场景，为每种场景提供了不同的协议。它考虑了图像采集条件、人群人口统计和系统操作模式的变化——提供了全面的性能表征方法。
测试协议与关键性能指标
TR 25219 定义了三种主要测试体系：封闭集识别、开放集识别和验证测试。每种体系都需要特定的数据集特征和评估协议。下表总结了核心指标及其操作意义：
| 指标 | 定义 | 操作相关性 |
|---|---|---|
| 错误接受率 (FAR) | 冒名尝试被错误接受的比例 | 安全风险——对访问控制和金融交易至关重要 |
| 错误拒绝率 (FRR) | 真实尝试被错误拒绝的比例 | 用户体验——影响便利性和工作流程效率 |
| 等错误率 (EER) | FAR等于FRR时的阈值 | 单值系统比较基准 |
| Rank-1识别率 | 正确身份为最高匹配的查询比例 | 监视名单和识别场景的主要准确度指标 |
| 检测错误权衡曲线 | 所有阈值下FAR与FRR的图形关系 | 根据操作需求选择阈值 |
| 误报识别率 (FPIR) | 开放集中，非匹配搜索被错误匹配的比例 | 对必须最小化误报的监视名单应用至关重要 |
| 真正识别率 (TPIR) | 开放集中，匹配搜索被正确识别的比例 | 已注册人群覆盖范围的有效性度量 |
TR 25219 的一项重要贡献是要求在人口统计组（年龄、性别、族裔）之间进行分层性能报告。这使得算法偏差的检测和缓解成为可能——这是新兴人工智能治理框架下日益增长的监管要求。
工程洞见与实践实施
数据集设计与质量要求
TR 25219 对测试数据集施加了严格要求。图像必须在姿态角度（合作对象±15°，非合作对象可达±45°）、光照变化（至少5勒克斯到1000+勒克斯）、分辨率（验证用最小80像素瞳孔间距）和图像质量（JPEG质量80以下无压缩伪影）方面代表目标操作分布。该报告还要求数据集包含每个对象的多幅样本，以支持统计置信区间计算。
TR 25219 识别出的最常见测试陷阱之一是时间相关性——使用同一采集会话的多幅图像会人为地提高准确度估计。该报告要求测试图像和注册图像在不同会话中采集，理想情况下应有最小时时间隔。
人口统计学偏差评估协议
该报告引入了结构化的人口偏差分析协议。测试结果必须按至少三个维度进行分层，并进行统计显著性检验（例如95%置信区间）以比较组间性能。如果任意两个人口统计组之间的FAR或FRR差异超过1.5倍，则系统被标记为存在潜在偏差。该协议包括补救措施的指南，包括有针对性的重新训练、阈值调整或与互补模态的融合。
操作场景建模
TR 25219 引入了”操作场景配置文件”的概念——对影响面部识别性能的部署条件进行参数化描述。这些配置文件包括摄像头类型（可见光、近红外、热成像）、捕获距离（0.5米到10米以上）、对象配合程度、环境光照和人群特征。通过针对多种场景配置文件进行测试，采购方可以将系统能力与实际操作需求相匹配，而不是依赖单一数值的准确度声明。
通过符合TR 25219的测试项目验证的一个关键发现是，面部识别精度在理想的室内条件和具有挑战性的真实场景之间相差超过10倍。工程师必须设计具有场景感知性能缓冲的系统。
常见问题
问1：TR 25219 与 ISO/IEC 19795 系列有何关系？
答：TR 25219 是 ISO/IEC 19795（生物特征性能测试与报告）系列的专业扩展。19795 提供通用的生物特征测试方法，而 TR 25219 提供面部特有的指导，包括图像质量要求、人口统计分析协议和场景特定测试设计。
答：TR 25219 是 ISO/IEC 19795（生物特征性能测试与报告）系列的专业扩展。19795 提供通用的生物特征测试方法，而 TR 25219 提供面部特有的指导，包括图像质量要求、人口统计分析协议和场景特定测试设计。
问2：TR 25219 是否涉及形态攻击检测？
答：当前版本已确认但未全面解决形态攻击问题。该报告提供了关于演示攻击检测（PAD）评估的通用指导，但详细的PAD测试方法参照 ISO/IEC 30107。预计未来修订版将包括专门针对形态攻击的协议。
答：当前版本已确认但未全面解决形态攻击问题。该报告提供了关于演示攻击检测（PAD）评估的通用指导，但详细的PAD测试方法参照 ISO/IEC 30107。预计未来修订版将包括专门针对形态攻击的协议。
问3：TR 25219 推荐的最小数据集大小是多少？
答：对于验证测试，该报告建议至少300名对象，每名对象至少4个样本。对于识别测试，图库应包含至少1000个身份。这些最小值确保具有统计意义的结果，但强烈建议使用更大的数据集进行生产级评估。
答：对于验证测试，该报告建议至少300名对象，每名对象至少4个样本。对于识别测试，图库应包含至少1000个身份。这些最小值确保具有统计意义的结果，但强烈建议使用更大的数据集进行生产级评估。
问4：根据 TR 25219，应如何执行阈值选择？
答：阈值选择应基于操作需求，使用DET曲线。报告建议选择满足应用最大可容忍FAR（对于安全关键应用）或在给定FAR下最小可接受TAR（对于用户便利性应用）的阈值。阈值应使用开发过程中未使用的独立测试集进行验证。
答：阈值选择应基于操作需求，使用DET曲线。报告建议选择满足应用最大可容忍FAR（对于安全关键应用）或在给定FAR下最小可接受TAR（对于用户便利性应用）的阈值。阈值应使用开发过程中未使用的独立测试集进行验证。
