Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
ISO/IEC TR 29156 — 生物特征性能测试指南
技术报告 — IT 安全标准系列
ISO/IEC TR 29156 的目的与范围
ISO/IEC TR 29156 为测试生物特征系统性能提供了全面指南。与许多专注于特定算法或硬件的标准不同，本技术报告着眼于真实操作环境中生物特征系统的端到端评估。
其范围包括所有主要模态——指纹、人脸、虹膜、声纹等——并涵盖验证（一对一比对）和识别（一对多搜索）两种场景。报告强调了实验室测试与操作测试之间的关键区别。
实验室环境中测量的性能通常与操作性能存在显著差异。TR 29156 为两种环境提供了测试指南，并解释了如何在它们之间关联结果。
使用 TR 29156 所述方法进行定期性能测试对于维护生物特征系统的信任至关重要。实施持续监控计划而非一次性评估的组织通常能提前数月发现性能退化模式，并保持更一致的用户体验。该技术报告还强调了测试人口多样性的重要笥，建议在不同人口群体中分别进行验证，以确保系统在所有用户群体中都能提供一致的性能表现。
关键性能指标及其解读
报告定义并解释了基本的生物特征性能指标：误接受率、误拒绝率、等错误率、注册失败率和采集失败率。关键在于，它解释了这些指标之间的权衡关系，以及应用环境如何决定可接受的阈值。
对于识别系统，TR 29156 还涵盖了真正识别率和假正识别率，以及累积匹配特征曲线。这些指标考虑了针对大规模数据库进行搜索的额外复杂性。
| 指标 | 定义 | 应用指南 |
|---|---|---|
| FAR(误接受率) | 冒名者被错误接受的比例 | 根据安全需求设定阈值；高安全场景 FAR < 0.001% |
| FRR(误拒绝率) | 合法用户被错误拒绝的比例 | 便捷场景 FRR < 1%；高安全场景可接受较高 FRR |
| FTE(注册失败率) | 无法注册的用户比例 | 通用访问系统 FTE < 2% |
| EER(等错误率) | FAR = FRR 时的阈值点 | 单一比较指标；不足以单独评估系统 |
使用 TR 29156 所述方法进行定期性能测试对于维护生物特征系统的信任至关重要。实施持续监控计划而非一次性评估的组织通常能提前数月发现性能退化模式，并保持更一致的用户体验。该技术报告还强调了测试人口多样性的重要笥，建议在不同人口群体中分别进行验证，以确保系统在所有用户群体中都能提供一致的性能表现。
操作测试方法论
TR 29156 描述了多种测试方法：离线测试（使用预先收集的数据集）、在线测试（受控条件下的活体对象）和操作测试（使用真实用户的生产系统）。每种方法都有独特的优势和局限性。
操作测试最为真实但也最具挑战性。它需要仔细的统计设计来考虑人口统计学特征、环境条件和用户行为变化。报告根据性能估计所需的精度推荐了样本大小和置信区间。
每组人口统计学特征至少 1000 名受试者的操作测试，通常能在 95% 置信水平下产生 +/- 2% 以内的性能估计。
使用同质人口群体进行测试可能掩盖不同人群之间的显著性能差异。TR 29156 强调测试设计中的人口多样性。
生物特征测试中的常见陷阱
报告列举了常见测试错误，包括：使用同一设备进行注册和验证（高估性能）、单日测试（遗漏时间变化）、样本量不足（指标不可靠）、忽略人口协变量。每个陷阱均解释了其对结果的影响。
生物特征测试中最常见的关键错误是模型过拟合——使算法在特定测试数据集上表现良好，但对真实世界条件的泛化能力很差。始终保留一个独立的测试集。
TR 29156 还讨论了模板老化问题——随着生理特征变化，比对精度随时间推移而下降。建议开展 2-5 年的纵向研究来描述老化效应。
使用 TR 29156 所述方法进行定期性能测试对于维护生物特征系统的信任至关重要。实施持续监控计划而非一次性评估的组织通常能提前数月发现性能退化模式，并保持更一致的用户体验。该技术报告还强调了测试人口多样性的重要笥，建议在不同人口群体中分别进行验证，以确保系统在所有用户群体中都能提供一致的性能表现。
常见问题解答
问：具有统计意义的生物特征测试需要多大的样本量？
TR 29156 建议每组人口特征至少 300 名受试者用于基本测试，高置信度操作性能估计需要 1000 名以上。具体数量取决于预期的 FAR/FRR 和所需置信区间。
TR 29156 建议每组人口特征至少 300 名受试者用于基本测试，高置信度操作性能估计需要 1000 名以上。具体数量取决于预期的 FAR/FRR 和所需置信区间。
问：实验室结果能否预测操作性能？
实验室结果提供了有用的上限，但不应用作操作性能预测的直接依据。TR 29156 提供了相关系数，并建议在全面部署前进行操作试点研究。
实验室结果提供了有用的上限，但不应用作操作性能预测的直接依据。TR 29156 提供了相关系数，并建议在全面部署前进行操作试点研究。
问：生物特征系统性能应多久重新评估一次？
报告建议在每次重大算法更新、模板数据库迁移或用户群体人口特征变化后进行重新评估。年度操作测试是最低最佳实践。
报告建议在每次重大算法更新、模板数据库迁移或用户群体人口特征变化后进行重新评估。年度操作测试是最低最佳实践。
