概述

验证与测试模块是 ThreatZ 平台的安全测试管理层。它使汽车网络安全团队能够按照 ISO/SAE 21434 和 UN R155 的合规要求,规划、执行、监控和报告安全测试活动。该模块将上游威胁分析和风险处置的输出,通过结构化的测试执行连接到下游的合规证据。

核心概念

测试用例

测试用例是基本的工作单元。每个测试用例包括标题、描述、类别、STRIDE 分类、详细步骤和可配置参数。测试用例可以手动创建、从外部来源导入或通过 AI 推荐生成。每个测试用例都可以关联到一个或多个网络安全需求、声明或安全目标,从而实现完整的可追溯性。

测试台架

测试台架代表执行测试的物理或虚拟环境。每个测试台架运行一个轻量级代理,该代理向平台注册、报告健康状态并接收测试任务分配。测试台架可以配置 ARXML 定义、CAN 数据库文件以及工具特定路径(例如 CANoe/CANalyzer)。测试台架可以处于以下四种状态之一:在线、离线、异常或已锁定。

测试活动

测试活动是将测试用例分组以进行特定测试运行的执行单元。测试活动被分配到一个测试台架,并可以配置:

  • 执行模式:顺序执行或并行执行
  • 失败行为:首次失败时停止或继续执行
  • 超时和重试:单个测试和整个活动的限制
  • 协议包:预定义的测试向量集合可供导入
  • 攻击向量:带有参数覆盖的特定攻击
  • 模糊测试配置:模式(探索、定向、回归、最小化)、策略(随机、覆盖率引导、基于语法、变异、混合)、迭代限制、持续时间上限以及语料库管理
  • 安全约束:最大总线负载百分比、错误帧阈值以及自动终止条件

测试活动类型包括:渗透测试、模糊测试、鲁棒性测试、合规测试、系统测试、Service Pack 以及通用测试用例。

工作流

测试规划

  1. 从风险处置模块审查网络安全需求和声明
  2. 创建或导入针对每个需求的测试用例
  3. 将测试用例关联到需求、声明和安全目标
  4. 审查覆盖率指标以识别差距
  5. 使用 AI 驱动的建议为未覆盖的区域生成测试用例

测试执行

  1. 创建测试活动并选择测试用例
  2. 分配测试台架并配置执行参数
  3. 可选地添加协议包和攻击向量
  4. 启动测试活动——平台通过 WebSocket 与测试台架代理进行协调
  5. 在实时仪表板上监控进度
  6. 审查发生的安全事件(严重级别:致命、警告、信息)
  7. 完成后收集结果和制品

覆盖率分析

该模块在多个维度上计算覆盖率:

  • 需求覆盖率:至少关联了一个测试用例的需求百分比
  • 声明覆盖率:通过测试执行验证的声明百分比
  • 通过率:通过与失败的测试执行比率
  • 差距识别:没有关联或执行测试的需求/声明列表

安全特性

该模块包含内置的安全机制,以在执行期间保护测试资产:

  • 总线负载监控:当 CAN 总线负载超过配置的阈值时发出警报并自动停止
  • 错误帧检测:跟踪错误帧,当阈值被突破时触发安全事件
  • 终止条件:可配置的规则,当关键安全边界被越过时自动终止测试活动
  • 测试台架锁定:当发现安全问题时,能够阻止测试台架接收新的任务分配

测试台架设置

将测试台架连接到平台的步骤:

  1. 在目标机器上安装测试台架代理
  2. 配置网络访问(CAN 接口、以太网)
  3. 安装所需工具(CANoe/CANalyzer、Python 依赖)
  4. 使用 API 密钥将代理注册到平台
  5. 通过健康检查机制验证连接性
  6. 分配测试用例并开始执行

制品管理

所有测试执行制品都被集中收集和存储,包括:

  • 执行日志
  • 网络追踪(CAN、以太网)
  • 工具特定的报告
  • 截图和证据文件

这些制品作为合规证据,可以在监管提交中被引用。

TestBench Agent

对于需要直接在硬件上执行安全测试的组织,ThreatZ TestBench Agent 是一款生产级测试客户端,在您的测试台架上运行,针对真实ECU和车辆网络执行测试活动。它配备36+协议模糊测试器(CAN 2.0、CAN FD、CAN XL、LIN、FlexRay、DoIP、SOME/IP、UDS等)、供应商中立的硬件抽象层(Vector、Peak、Kvaser、Intrepid、SocketCAN)、CWE驱动的攻击智能5级安全升级系统。所有发现和制品都流回验证与测试模块,实现完整的TARA可追溯性。

阅读完整的TestBench Agent知识库文章 →

与其他支柱的集成

方向支柱数据流
入站TARA需求、声明、安全目标
入站治理来自安全目录的协议包、攻击向量
入站TARA攻击路径、威胁场景
入站AI 助手测试用例推荐
出站合规测试结果、覆盖率指标、制品
出站运维安全事件、测试发现