概述
验证与测试模块是 ThreatZ 平台的安全测试管理层。它使汽车网络安全团队能够按照 ISO/SAE 21434 和 UN R155 的合规要求,规划、执行、监控和报告安全测试活动。该模块将上游威胁分析和风险处置的输出,通过结构化的测试执行连接到下游的合规证据。
核心概念
测试用例
测试用例是基本的工作单元。每个测试用例包括标题、描述、类别、STRIDE 分类、详细步骤和可配置参数。测试用例可以手动创建、从外部来源导入或通过 AI 推荐生成。每个测试用例都可以关联到一个或多个网络安全需求、声明或安全目标,从而实现完整的可追溯性。
测试台架
测试台架代表执行测试的物理或虚拟环境。每个测试台架运行一个轻量级代理,该代理向平台注册、报告健康状态并接收测试任务分配。测试台架可以配置 ARXML 定义、CAN 数据库文件以及工具特定路径(例如 CANoe/CANalyzer)。测试台架可以处于以下四种状态之一:在线、离线、异常或已锁定。
测试活动
测试活动是将测试用例分组以进行特定测试运行的执行单元。测试活动被分配到一个测试台架,并可以配置:
- 执行模式:顺序执行或并行执行
- 失败行为:首次失败时停止或继续执行
- 超时和重试:单个测试和整个活动的限制
- 协议包:预定义的测试向量集合可供导入
- 攻击向量:带有参数覆盖的特定攻击
- 模糊测试配置:模式(探索、定向、回归、最小化)、策略(随机、覆盖率引导、基于语法、变异、混合)、迭代限制、持续时间上限以及语料库管理
- 安全约束:最大总线负载百分比、错误帧阈值以及自动终止条件
测试活动类型包括:渗透测试、模糊测试、鲁棒性测试、合规测试、系统测试、Service Pack 以及通用测试用例。
工作流
测试规划
- 从风险处置模块审查网络安全需求和声明
- 创建或导入针对每个需求的测试用例
- 将测试用例关联到需求、声明和安全目标
- 审查覆盖率指标以识别差距
- 使用 AI 驱动的建议为未覆盖的区域生成测试用例
测试执行
- 创建测试活动并选择测试用例
- 分配测试台架并配置执行参数
- 可选地添加协议包和攻击向量
- 启动测试活动——平台通过 WebSocket 与测试台架代理进行协调
- 在实时仪表板上监控进度
- 审查发生的安全事件(严重级别:致命、警告、信息)
- 完成后收集结果和制品
覆盖率分析
该模块在多个维度上计算覆盖率:
- 需求覆盖率:至少关联了一个测试用例的需求百分比
- 声明覆盖率:通过测试执行验证的声明百分比
- 通过率:通过与失败的测试执行比率
- 差距识别:没有关联或执行测试的需求/声明列表
安全特性
该模块包含内置的安全机制,以在执行期间保护测试资产:
- 总线负载监控:当 CAN 总线负载超过配置的阈值时发出警报并自动停止
- 错误帧检测:跟踪错误帧,当阈值被突破时触发安全事件
- 终止条件:可配置的规则,当关键安全边界被越过时自动终止测试活动
- 测试台架锁定:当发现安全问题时,能够阻止测试台架接收新的任务分配
测试台架设置
将测试台架连接到平台的步骤:
- 在目标机器上安装测试台架代理
- 配置网络访问(CAN 接口、以太网)
- 安装所需工具(CANoe/CANalyzer、Python 依赖)
- 使用 API 密钥将代理注册到平台
- 通过健康检查机制验证连接性
- 分配测试用例并开始执行
制品管理
所有测试执行制品都被集中收集和存储,包括:
- 执行日志
- 网络追踪(CAN、以太网)
- 工具特定的报告
- 截图和证据文件
这些制品作为合规证据,可以在监管提交中被引用。
TestBench Agent
对于需要直接在硬件上执行安全测试的组织,ThreatZ TestBench Agent 是一款生产级测试客户端,在您的测试台架上运行,针对真实ECU和车辆网络执行测试活动。它配备36+协议模糊测试器(CAN 2.0、CAN FD、CAN XL、LIN、FlexRay、DoIP、SOME/IP、UDS等)、供应商中立的硬件抽象层(Vector、Peak、Kvaser、Intrepid、SocketCAN)、CWE驱动的攻击智能和5级安全升级系统。所有发现和制品都流回验证与测试模块,实现完整的TARA可追溯性。