ISO/IEC TR 29198 — 生物特征识别 — 性能评估与测试方法

生物特征性能评估框架

ISO/IEC TR 29198建立了生物特征识别系统性能评估的标准化框架，特别关注在实际条件下运行的大规模识别系统。该技术报告扩展了ISO/IEC 19795（生物特征性能测试与报告）中定义的评估方法，针对一对多识别中的独特挑战：计算可扩展性、分箱策略、开放集识别的阈值选择以及图库规模对错误正识别率的影响。

报告定义了三种基本评估范式：技术评估（在受控条件下使用标准化数据集测试算法性能）、场景评估（在具有目标人群特征的模拟操作环境中测试端到端系统）和操作评估（在实际部署中测量系统性能，使用真实用户和环境条件）。每种范式在系统开发生命周期中服务于不同的目的，报告为每种范式提供了详细的协议，包括样本量要求、统计置信区间以及处理协变量因素（如人口统计特征、环境条件和注册后经过的时间）的方法。

识别系统的性能指标

ISO/IEC TR 29198引入了几个识别系统特有的、超越传统验证指标的度量标准。错误正识别率表示在非匹配探测试验中至少返回一个高于阈值的错误候选项的搜索交易比例。错误负识别率测量匹配探测试验中正确的注册信息未进入前k名候选的比例。这些指标与图库规模相关——这是一个关键洞察——报告提供了跨图库规模外推性能的数学模型。

累积匹配特征曲线是闭集识别的主要可视化工具，显示正确身份出现在前k名排序候选中的概率。对于开放集识别，更倾向于使用检测识别率曲线，该曲线绘制在给定错误报警率下的正确识别概率。报告还讨论了置信区间的重要性以及使用自助法进行非参数性能估计的方法。

报告中广泛讨论了”分箱”或”过滤”技术作为提高识别吞吐量的方法。通过基于粗粒度特征（如根据人脸图像估计的性别、种族，或指纹图案分类）预分组图库主体，系统可以将搜索限制在图库的子集中，显著降低计算成本。报告提供了分箱准确性（探测正确分配到正确分箱的比例）与吞吐量改进之间权衡的数学模型。

交叉操作性与长期性能

ISO/IEC TR 29198的一个重要贡献是它对交叉操作性的处理——即生物特征系统在不同传感器硬件、软件版本或环境条件下运行时保持性能的能力。报告定义了跨传感器评估协议，其中注册在一种传感器类型上执行，验证在另一种传感器上执行——这种场景在移动和基于云的生物特征应用中越来越常见。模板老化——由于生物特征本身随时间变化导致的识别准确率下降——通过关于纵向研究设计和分离老化效应与其他性能变异来源统计方法的具体指南得到解决。

报告最后提出了报告评估结果的实用建议，强调在描述测试条件、人群人口统计特征和报告指标的统计不确定性方面需要透明。它建议使用对数尺度上的最佳错误概率曲线和检测错误权衡图作为标准可视化工具，并提供评估报告模板以促进不同系统和研究之间的比较。