-
0 引言
-
飞行模拟器是一种人在回路的实时飞行模拟仿真设备，对于航空工业的发展至关重要。通常情况下，飞行模拟器按照特定型号的飞机进行驾驶舱一比一复制，主要分为工程模拟器和飞行训练模拟器。工程模拟器[1]是一种提供给飞行器研究设计人员使用的综合设备，通过把设计概念转变为系统样机，对飞机设计开展飞行员在环的工程模拟验证，广泛应用于飞机设计研制的各个阶段。它可以将许多问题暴露在生产制造之前，是不可或缺的设计及验证试验设备，在军用飞机的定型以及民用飞机的取证过程中具有非常重要的作用，同时支持机组初步培训和飞机改型设计。
-
飞行模拟的逼真度定义为飞行模拟器与真实飞机特性的匹配程度，逼真度越高代表模拟器与真实飞机的特性一致性程度越高。高逼真度的模拟器不仅可以模拟复现飞机执行飞行任务的场景，还能提供给驾驶员视觉、听觉、姿态、操纵感等生理感受上真实的实时反馈[2]，对飞行器的设计验证十分重要。根据中国民用航空局颁布的规定和国际通行标准，飞行模拟器逼真度评估方法包括:分析指示、客观评估和主观评估。其中客观评估是指按照性能规范试验项目对模拟机逐项进行测试，采集数据，并与真实飞行数据进行比较，以评估模拟机在误差允许范围内的准确性。模拟器客观评估测试需要耗费大量的时间和资源。由于飞机研制过程中设计成熟度不断提升和改型设计的原因，伴随飞机构型的变化，工程模拟器在生命周期中也会经常更改。同时，测试用例也可能会根据更改的范围和用例呈现出很大的变化。
-
考虑到工程模拟器生命周期中不可避免的更改和测试用例的可变性，以及现代民用飞机技术复杂性，研制成本的高昂和取证周期的紧迫性，开发高效客观的评估测试方法十分必要。为此，本文提出一种新的路径，将已在软件测试中广泛应用，但尚未推广于建模仿真中的基于模型的测试方法（model-based testing，简称MBT）[3]引入飞行模型器的客观评估测试中。该方法可以从测试规范（也称为测试模型）自动生成测试用例，而无需手动编码，不仅实现了测试过程的自动化，进一步通过测试用例设计自动化，增强了客观评估测试的灵活性和适应性。
-
1 基于模型测试的基本原理
-
1.1 MBT方法简介
-
MBT通常以被测系统（system under test，简称SUT）的功能测试为目标。将被测系统视为一个不知道内部结构的黑盒子，只测试它的输入/输出。
-
系统和测试模型驱动MBT的一般方法如图1所示。
-
图1 MBT方法
-
左边的路径描述了SUT的生成过程。根据系统需求派生正式的系统模型，它表示组件的结构和行为关系，进一步由正式的系统模型生成构成SUT的可执行的组件。
-
右边的路径描述了测试用例的生成过程。根据同样的系统需求派生正式的测试模型（model under test，简称MUT）。它描述了需要测试的被测系统的预期行为。从测试模型中进一步生成特定的测试用例或称为测试套件的测试用例集合。简单来说，测试用例抽象到一个测试模型中，然后使用一个MBT工具从这个模型中生成一组测试用例。根据Weissleder[4]，测试用例被定义为测试输入和SUT的预期行为，图2展示了这一通用测试用例的结构框架。其中测试输入为输入到SUT的输入激励序列，预期行为通常由测试源产生，测试源还包含一个决定单元来判断测试是否通过。
-
图2 通用测试用例结构
-
1.2 实验框架
-
实验框架（experimental frame，简称EF）这一概念最初是由Zeigler[5-6]在离散事件系统规范的背景下引入。目的是明确区分动态模型或系统及其实验。此外，实验框架指定了观察模型的一组有限的环境。框架的正式规范由7个元组给出:
-
式（1）中，T是时间基准，I是输入变量集，O是输出变量集，C是控制变量集，Ωi是容许输入集，Ωc是容许控制集，SU是映射总和集。
-
根据Zeigler[5]的方法，实验框架被作为耦合模型来实现，由生成器（generator，简称 G）、接收器（acceptor，简称A）和转换器（transducer，简称T）组成，并连接到MUT上。这一耦合过程的实现如图3所示。结合图2的通用测试用例结构，测试输入由生成器（G）产生。接收器（A）和转换器（T）构成一个测试源。转换器基于MUT的输出变量，以性能指标、比较值、统计等形式计算结果。接收器对应决定单元，通过监控这一输出并将其映射到指定的容许控制集，从而判断一个实验是否有效，即当偏离容许控制集时，该实验无效。
-
图3 实验框架的实现
-
1.3 系统实体结构/模型库框架
-
系统实体结构/模型库（system entity structure/model base，简称SES/MB）框架同样由Zeigler[5-6]在离散事件系统规范的背景下引入。图4为这一框架的基本结构。它将SES本体与经典的模块化层次系统建模和仿真流程相结合。此外还定义了自动生成可执行仿真模型的方法。
-
图4 SES/MB框架
-
如Zeigler[6]所述，基础模型（basic models，简称BM）描述动态行为并表示原子或耦合系统，将具有预定义输入/输出接口的基础模型组织在模型库中，用来组成模块化、层次化的系统。
-
SES是一个高级本体，由一个有向标签树表示，包含有到模型库中的基础模型的链接，最初由Zeigler[7]引入，用于规范建模和仿真中的系统结构和参数设置。在SES中提供了一组元素和公理来描述系统结构。这些元素包括四种节点类型:（1）实体（entity）;（2）方面（aspect）;（3）特化（specialization）;（4）多方面（multiple aspect）。除实体表示真实的或人工的系统组件外，其他节点分别描述父实体和子实体之间的关系。方面节点表示实体的分解关系，特化节点表示实体的分类，多方面节点表示一个多重关系，该关系指定父实体是多个相同类型实体的组合。除实体节点无后缀外，其它节点类型分别以特定的后缀来区分，方面节点后缀为Dec，特化节点后缀为Spec，多方面节点后缀为MAsp。
-
如图4所示，修剪是从SES中派生出不同系统结构的操作，生成修剪实体结构（pruned entity structure，简称PES）。SES变量分为两类，一类与系统结构有关; 另一类与节点参数设置有关，代表了一种用户界面，是修剪操作的基础。修剪后，根据PES信息对模型库中的基础模型进行转换操作，生成可执行的仿真模型（executable simulation model，简称EM）。
-
1.4 SES/MB框架在MBT中的应用
-
进一步构造一个SES来指定基于EF的测试用例结构。基于Durak[8]提出的顶层系统实体结构如图5所示。节点测试场景Dec表示将测试场景（test scenario，简称TS）分解为两个实体MUT和EF。根据图3，实验框架由生成器（G）、接收器（A）和转换器（T）组成。在SES中，属性可以附加到任何节点上。方面节点，例如EFDec，将它们的父节点和子节点之间的耦合关系定义为属性。元组（MUT.out，EF.in）表示MUT的输出与EF的输入相连接等。实体节点G、A和T需要由它们的子节点专门化，GSpec、ASpec和TSpec以及应用特定的生成器、接收器和转化器需要定义为叶节点。这些叶节点需要定义引用模型库中基础模型的属性和参数设置。
-
图5 EF的SES结构
-
模型库将提供一组基础模型，映射不同类型的生成器（G），接收器（A）和转换器（T）。模型库还将包含生成可执行TS的MUT。
-
如图6所示，测试源文件（source test files，简称STF）作为测试环境（test environment，简称TE）的脚本接口被引入。使用STF，用户可以指定MUT和需在MUT上执行的测试用例。通过对源文件中SES的变量赋值来选择特定的MUT和EF。然后TE将解释每个测试用例的源文件。首先，对于每个MUTi，将标识相应的EFs集。然后，对于这个集合中的每个EFj，将挑选一个特定的SES变量配置，并将其发送到SES/MB框架。该框架将生成一个可执行的TS作为MUT和EF的耦合系统。然后TE将执行相应的TS，收集实际的测试结果并继续下一个EF。在MUT上执行所有指定的EF之后，将从STF中选择下一个模型和框架集，测试周期将再次运行。最后，测试评估器将解释所有测试的结果。这个组件用来计算额外的统计数据，准备文档并向用户展示结果。
-
图6 基于SES/MB框架的测试基础架构[9]
-
2 基于模型的测试在客观测试中的应用
-
在客观评估测试中应用上述方法，构造一个客观测试系统实体框架。对于工程模拟器，本文选取典型的几个客观测试科目的应用作为样例加以阐述，如图7所示。
-
图7 客观测试SES应用示例
-
图中实体G特定为地面加速（ground acceleration，简称GA）、自动着陆（autopilot landing，简称AL）或巡航性能（cruise performance，简称CP），A特定为初始值（initial）或常量（constant），T特定为地面加速时间（GA_Time）或地面加速距离（GA_Distance）。
-
CCAR-60-R1[10]规定的测试用例在SES中使用生成器、转化器和接收器进行构造。生成器引用模型库中的基础模型，该模型库基本上用明确的配平文件初始化模型，并将确定的输入应用到模型。虽然对模型库的引用被指定为G的属性，但输入和配平文件在叶节点中被引用。对于GA输入是属性Omega_i，引用文件为ga_input.mat，配平文件是属性Trim_State，引用文件为ga_trim.mat。
-
转换器解释模型输出和计算结果度量用于验证比较，由于在CCAR-60-R1中的每个测试用例都拥有独自的结果度量，在SES中为每个测试用例定义了一个转换器。GA_Time是用于地面加速度测试的转换器，计算从刹车释放到达到旋转速度Vr的时间。进行此计算的基础模型为GA_Time，在GA_Time实体的模型库属性中引用。
-
接收器通过比较结果度量与容许控制集来决定实验的有效性。在飞行模拟情况下，容许控制集是飞行试验数据，并在CCAR-60-R1中定义了要检查的容差。图7介绍了两种应用广泛的接收器。初始值是指与初始值比较的基础模型，常数是指与常数值比较的基础模型。
-
在这些实体的特定中，容许控制集和容差被定义为属性。例如，接收器GA_Time_ABS表示控制集由属性Omega_c的ga_time_abs.mat文件给出。参照前面对地面加速时间与距离测试的解释，将容差类型设置为绝对值，TolType属性设置为1，通过Tol属性将容差数值设置为1.5，即模拟器与真机的时间一致性在±1.5 s内。
-
如前所述，SES变量作为修剪操作的一种用户界面。修剪操作的目标是从SES获得一个无决策的树，称为PES，具有相应的SES设置参数。在进行修剪操作之前，所有的SES变量都必须从语义条件中指定的范围集合中赋值。通过对SES变量和选择规则的评估，可以通过修剪得到结构和参数设置的所有变化。以式（2）中给出的SES变量配置为例，将得到图8所示的修剪实体结构。
-
图8 修剪实体结构（PES）应用示例
-
生成可执行TS所需的信息，例如对模型库中基础模型的引用、它们的参数设置、模块化、分层结构以及耦合关系，都可以在得到的PES中获得。转换操作由脚本执行，这些脚本从PES树中访问所有必需的信息，并使用以模型库为单位的基础模型来生成可执行的TS。使用图8所示的PES生成的可执行TS的代表结构如图9所示。
-
图9 根据PES和对应MB生成可执行测试场景应用示例
-
图9为可执行的测试用例，被测模型为工程模拟器的飞行动力学模型，测试科目为地面加速，测试目的为验证工程模拟器与真机在地面加速科目中的时间一致性。测试输入为ga_trim.mat和ga_input.mat，其中ga_trim.mat的作用为初始化配平飞机，ga_input.mat为飞机输入，转换器GA_Time_T计算从刹车释放到达到旋转速度Vr的时间作为比较值，验证数据为ga_time_abs.mat，验证方式为绝对值比较，容差范围为±1.5 s，即工程模拟器与真机在地面加速科目的测试时间误差在±1.5 s内代表通过逼真度的客观评估测试。
-
3 结论
-
本文提出了一种基于模型测试的工程模拟器逼真度客观评估方法。该方法基于实验框架EF以及系统实体结构和模型库框架SES/MB综合实施，测试模型通过系统实体结构SES指定，经由实验框架的基本块组成的模型库组件，转换为可执行的测试用例。最后，基于CCAR-60-R1中的典型客观测试科目作为应用样例，介绍了该方法的具体实施流程。由此可见，基于该方法，可以实现从测试用例的生成到测试用例的执行的自动化，大大提升了工程模型器逼真度客观评估测试的效率，在军用飞机的定型或民用飞机的取证过程中，具有广阔的应用前景。
-
参考文献
-
[1] 赵旭东,贾荣珍.ARJ21飞机工程模拟器关键技术研究[J].系统仿真学报,2009,21(21):6856-6858;6864.
-
[2] 赵国昌,周文藻.飞行模拟器逼真度评估方法研究进展[J].机床与液压,2020,48(23):176-183.
-
[3] HOLLMANN D A,CRISTIÁ M,FRYDMAN C.Adapting model-based testing techniques to DEVS models validation[C]//Proceedings of the 2012 Symposium on Theory of Modeling and Simulation-DEVS Integrative M&S Symposium.[S.l.:s.n.],2012.
-
[4] WEISSLEDER S.Test models and coverage criteria for automatic model-based test generation with UML state machines[D].Berlin:Humboldt University of Berlin,2010.
-
[5] ZEIGLER B P.Multifacetted modelling and discrete event simulation[M].London Orlando:Academic Press Professional,Inc.,1984.
-
[6] ZEIGLER B P,MUZY A,KOFMAN E.Theory of modeling and simulation:discrete event & iterative system computational foundations[M].S.l.:Academic Press,2018.
-
[7] ZEIGLER B P,HAMMONDS P E.Modeling & simulation-based data engineering:introducing pragmatics into ontologies for net-centric information exchange[M].S.l.:Academic Press,2007.
-
[8] DURAK U,SCHMIDT A,PAWLETTA T.Ontology for objective flight simulator fidelity evaluation[J].SNE Simulation Notes Europe,2014,24(2):69-78.
-
[9] SCHMIDT A,DURAK U,RASCH C,et al.Model-based testing approach for MATLAB/simulink using system entity structure and experimental frames[C]//Proceedings of the Symposium on Theory of Modeling & Simulation:DEVS Integrative M&S Symposium.2015:69-76.
-
[10] 飞行模拟训练设备管理和运行规则[J].中华人民共和国国务院公报,2019(31):31-46.
-
摘要
逼真度反映飞行模拟器与真实飞机特性的一致性程度。客观评估是一种通过模拟器与系统实际行为的测试比较来评估逼真度的工程方法。飞行模拟器分为工程模拟器和训练模拟器。用于飞行训练的训练模拟器构型很少变化,其测试用例由适航标准指导,而用于设计验证的工程模拟器,根据飞机研制进展经常需要升级或更改,其测试用例也会随之变化。在当今民用飞机技术日趋复杂的背景下,亟需高效方法开展这一类型模拟器的逼真度客观评估测试。在实验框架和系统实体结构和模型库框架的基础上,提出了一种基于模型测试的方法,在工程模拟器的客观评估的应用中,该方法可以实现测试用例的自动生成和执行,工作效率提升,流程具备灵活性和适应性,有助于在研飞机的定型或取证。
Abstract
Fidelity reflects the consistency between flight simulator and real aircraft characteristics. Objective evaluation is an engineering method to evaluate the fidelity by comparing the simulator with the actual behavior of the system.Flight simulators are divided into engineering simulators and training simulators. The configuration of the training simulator used for flight training rarely changes, and its test cases are guided by airworthiness standards. However, the engineering simulator used for design verification often needs to be upgraded or changed according to the aircraft development progress, and its test cases will also change. Under the background of the increasingly complex technology of civil aircraft, it is urgent to develop an efficient method to objectively evaluate the fidelity of this type of simulator. Under the background of the increasingly complex technology of civil aircraft, it is urgent to carry out the objective evaluation and test of the fidelity of this type of simulator.Based on the experimental framework, system entity structure and model base framework, this paper proposes a model-based testing method. In the application of objective evaluation of engineering simulator, this method can realize the automatic generation and execution of test cases, improve the work efficiency, and have flexibility and adaptability in the process. It is helpful to the finalization or certification of aircraft under development.
Keywords
model-based testing ； engineering simulator ； fidelity ； objective evaluation ； test case
