产品
【摘要】
随着人工智能(AI)技术的发展，以智能驾驶汽车、智能机器人为代表的智能系统逐渐代替或辅助人类从事各种场景中简单或复杂的工作。该文从智能汽车中的智能算法出发，总结了在智能汽车中人工智能感知算法、决策算法的研究进展；讨论了智能算法的不确定性问题；并从智能算法的不确定性带来的安全问题角度，讨论了预期功能安全的意义及发展，最后讨论了人机共驾对当前智能驾驶汽车解决预期功能安全的必要性。
关 键 词 人工智能；人机共驾；智能驾驶；预期功能安全；统计模式识别
近年来，智能化革命席卷全球，以深度学习为核心的AI 技术取得了重大突破。在机器人[1]、语音识别[2-3]、图像识别[4-7]、自然语言处理[8-9]等多个任务上，人工智能技术的识别能力和决策水平已经追平甚至超越人类，如以AlphaGo 为代表的人工智能机器人击败人类职业围棋冠军，以Google、百度等工业界为代表的无人驾驶汽车已经开始实际道路上路测试等。
美国斯坦福大学尼尔逊教授将人工智能定义为：“人工智能是关于知识的学科—怎样表示知识以及怎样获得知识并使用知识的科学”[10]。麻省理工学院温斯顿教授认为：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作”。这些说法[10-11]反映了人工智能学科的基本思想和基本内容，以及其他诸多对人工智能的理解[12-14]。这些观点都反应了人工智能是通过研究人类智能活动规律，构造具有一定智能的人工系统，研究如何应用计算机的软硬件技术来模拟和代替人类某些智能行为(如学习、推理、思考、规划、控制等)的基本理论、方法和技术。
人工智能技术的发展受到了广泛的重视，并在机器人、控制系统中得到了广泛应用，为传统制造业提供了前所未有的发展机遇。汽车行业作为传统制造业的龙头之一，也立足自身发展，结合智能化技术，展开了传统汽车面向智能化革新的进程。智能汽车以汽车为载体，应用一系列高精尖信息化技术和智能化技术(传感器感知技术、V2X 网联通讯技术、驾驶决策技术等)，即代表了汽车技术产业化进程的重要方向，也是汽车技术创新发展的主流趋势。我国工信部把智能汽车定义为：搭载先进的车载传感器、控制器、执行器等装置，并融合现代通讯与网络技术，实现车与车、人、路、云等智能信息的交换、共享，具备复杂环境感知、智能决策、协同控制等功能，可实现安全、高效、舒适、节能行驶，并最终可实现代替人来操作的新一代汽车。
智能汽车中的智能化技术，可分为3 个模块：环境感知层、决策规划层和运动控制层。环境感知层利用环境感知传感器(视觉传感器、激光雷达、毫米波雷达、超声波雷达、里程计、GPS 等)感知车辆行驶环境信息，利用车辆自身状态传感器(如轮速检测等)感知车辆自身状态。经过智能化模型处理后，感知出车辆周围环境(如绝对位置、车道线、周围车辆相对位置、行人位置、动态静态障碍物类型和位置、行为预测等)，决策规划层按照驾驶决策算法将空间、时间上的独立信息、互补信息和冗余信息进行理解，根据实时感知到的车辆周围环境信息，实时决策车辆可执行的驾驶指令并规划出行程轨迹。运动控制层接收决策规划层的驾驶指令，控制车辆稳定运行的同时保证车辆的控制精度。
随机性和模糊性导致不确定性是人类思维活动中最基本的特性。对人类思维模拟、研究的人工智能技术，也具有不确定性的特点。随着科学技术不断深入发展，需要学者们研究的变量越来越多，而且变量之间的关系也越来越复杂，对系统的判别和推理的精确性要求也越来越高。实践告诉我们：复杂的系统往往难以精确化。这就使得人们对系统精确性的需求和问题本身的复杂性之间形成矛盾。复杂性越高，有意义的精确化能力就越低，而复杂性意味着因素众多，使人们在求解这类复杂问题时，只能抓住问题的主要部分，忽略次要部分，而这又常常使本身明确的概念变得模糊起来，从而导致不确定性。
因人为主观因素导致的安全问题，往往通过政府部门健全法律、法规，引导、管理人工智能技术健康发展，本文将焦点放在因客观技术问题引起的安全问题方面。目前，智能车的安全性问题越来越受到社会重视。国务院于2017 年发布的《新一代人工智能发展规划》中明确指出：“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展”[15]。基于上述原因，预期功能安全(safety of the intended functionality, SOTIF)的研究应运而生。预期功能安全在ISO/PAS 21448 中首次给出定义[16]，关注由功能不足或者由可合理预见的人员误用所导致的危害和风险。例如，传感系统在暴雨、积雪等天气情况下，传感器本身功能未发生故障，但智能车是否仍能按预期行驶。
本文总结智能汽车研究中的环境感知算法、智能决策算法、智能化算法的不确定性以及不确定性带来的安全问题等4 个方面的研究情况，以期引起相关研究者的关注并提供指导。
智能汽车环境感知算法作为智能汽车规划决策和控制执行的基础环节，是智能汽车研究的关键技术之一，也是智能汽车当前研究的热点问题。本文对智能车中的环境感知算法进行综述，其次总结了当前决策规划层的研究情况。
1) 目标检测算法
目标检测的任务是找出图像或视频中的感兴趣物体，同时检测出它们的位置和大小，是机器视觉领域的核心问题之一，至今已有将近二十年的研究历史。作为计算机视觉的基本问题，目标检测构成了许多计算机视觉任务的基础，目前目标检测算法已广泛应用于许多现实世界的应用，如智能驾驶、机器人视觉、视频监控等。从2012 年开始，因大数据技术和硬件计算能力的提升，卷积神经网络(convolutional neural networks, CNN)再一次受到研究者的关注，CNN 提取到的特征和传统手工特征[17-21]相比，具有更鲁棒和更深层的特性，这也引导研究者将CNN 应用到目标检测领域中。用深度学习解决目标检测算法，可被分为两组[22]：两阶段法和一阶段法。两阶段法采用“由粗到细”的检测策略，而一阶段法利用神经网络模型，一步完成检测任务。
R-CNN[23]是第一个将深度学习用于目标检测的网络，其训练过程展示了最初的两阶段法的思路：首先通过一组网络提取目标的候选框，然后每个候选框内的图像会缩放至相同尺度，并输入至一个CNN 网络中提取特征，最后利用SVM[24]等分类器对每个区域的特征进行学习分类，完成检测识别。具有代表性的工作是R-CNN，其mAP(mean average precision)指标在VOC07 数据集上从33.7%提升至58.5%。Fast R-CNN[25]改善了R-CNN 计算冗余的问题，其在训练检测器时同时回归边框，mAP 指标从58.5%进一步提升至70%，并且检测速度比R-CNN 高近200 倍，同时Fast R-CNN 也进一步优化了两阶段法训练过程，将SVM 分类器替换为softmax 分类器，将分类过程和网络训练融合一体。
一阶段法对目标的检测更直接，一般采用端到端网络，有代表性的工作是文献[26]提出的YOLO(you only look once)网络，这是第一个采用深度学习方案的一阶段检测网络，尽管YOLO 的检测速度非常快，但和两阶段法相比，其对目标位置的定位精度下降了，尤其是对一些小目标。后来作者继续在YOLO 的基础上进行改进，提出了YOLO_v2[27]和YOLO_v3[28]，进一步提升了检测精度，在位置定位精度上也有所考虑。SSD(single shot multibox detector[29]网络引入多引用和多分辨率检测技术，对小目标的检测精度提升明显。
2) 车道线检测算法
基于视觉的车道线检测技术已经广泛应用于辅助驾驶系统，如驾驶员熟悉的私家车车道保持功能，驾驶车辆时，如果车辆压在车道线上太久，则驾驶辅助系统会提醒驾驶员调整车辆位置。
近年来，基于深度学习的车道线检测算法被引入到智能驾驶领域，并表现出强大的检测性能。文献[30]使用一个8 层的卷积神经网络训练端到端车道线检测模型。随着YOLO[26]等目标检测网络的精度和效率越来越好，研究者们逐渐把目标检测网络引入到车道线检测系统中。文献[31]搭建了用于在单次正向推断中执行车道线检测的CNN 模型，该模型用于回归车道线两个端点及其深度。然而，上述方法在车道线占比过小、遮挡等条件下检测性能并不理想，研究者们借鉴传统车道线检测算法在消影点、车道形状、轨迹等领域的研究成果[32]，并将这类方法和神经网络结合起来，一定程度上抑制了漏检和误检问题。文献[33]提出用15 个点对车道线进行建模，以避免车道线边界检测不准确。从人类感知车道环境的经验中得到启发，文献[34]设计了多任务网络来检测车道线消影点，提高了检测精度。文献[35]设计了特征图逐层卷积网络，在CNN 框架中加入像素之间的约束，学习车道线的结构信息。
3) 目标跟踪算法
视觉跟踪通过在连续的视频图像序列中估计感兴趣目标的位置或所在区域，结合历史运动信息，预测其未来的运动信息，对智能车分析理解其周围环境至关重要。在线视觉跟踪的基本框图如图1所示。
图1 视觉跟踪基本框图
近年来，神经网络技术借助其优秀的特征建模能力，在目标跟踪领域取得了巨大成功。基于滤波的目标跟踪受关注最多，其算法核心思想是将待跟踪目标的模板与待搜索区域(候选区域)内的图像进行相似度匹配，匹配度最高的位置即为跟踪到的目标图像块。经深度神经网络提取到的特征和传统特征相比具有更鲁棒的表征能力，但是由于网络的复杂性，往往无法实时提取图像特征，因此基于滤波的深度神经网络具有实用的研究价值。文献[36]设计了多层卷积网络用于视觉跟踪，认为深层特征具有良好的语义表述能力，但其空间位置信息较弱，而浅层特征恰好弥补了这一不足，其主要思路是将不同层特征分别用于训练滤波器，最终在定位目标位置时，将待搜索区域的滤波器响应加权形成响应图像，最终按响应最大值区域作为目标所在位置。和文献[36]的多层网络处理方式类似，文献[37]提出强化深度跟踪算法，采用了6 层网络特征代替文献[36]中的3 层特征，同时将固定权重优化为自适应学习权重。
神经网络除了应用于特征提取和滤波计算，还可以作为辅助网络提取图像中的显著性区域。文献[38]提出了基于循环神经网络(recurrent neural networks, RNN)的目标强化跟踪算法，使用RNN提取显著性图，将其和滤波器系数相融合，以增强滤波器对于背景干扰信息的抑制能力。也有文献将注意力机制与滤波网络相融合，提出了注意力机制相关滤波网络(attentional correlation filter network,AFCN)，利用注意力机制对图像的特征和滤波器进行选择，判断区域的可靠部分，进而引导下一帧图像中的目标定位[39]。
4) 行为预测算法
行为预测功能会根据当前以及历史感知来预测智能车周围其他运动物体(如其他车辆、行人、非机动车等)的未来运动轨迹。为使智能车在道路上安全有效地行驶，智能汽车不仅应感知其周围其他运动元素的状态，还应主动预测其未来的运动轨迹，有助于智能车提前做出最优决策。机器学习尤其是深度学习的最新进展为解决智能车行为预测提供了有力工具。一般地，行为预测算法可以划分为如下3 类解决方案：基于循环神经网络的解决方案、基于卷积神经网络(convolutional neural networks,CNN)的解决方案以及其他方案。文献[40]使用一组LSTMS 来建模个体车辆的轨迹；另一组用来建模对交互的作用。文献[41-43]提出了多层长短期记忆网络(long short-term memory, LSTM)用于序列分类器。文献[44]提出用于估计加速度的两层LSTM 网络。文献[45]提出多个RNN 网络，一组LSTM 网络用于建模个体车辆的轨迹，另一组网络用于建立当前智能车与其他元素的交互模型。在卷积神经网络解决方案里，文献[46]提出一个包含卷积层和全连接层的6 层网络，用于预测周围车辆的意图。文献[47-48]使用MobileNet V2[49]作为特征提取器，提取到的特征用来预测周围车辆意图。文献[50]先利用两个骨干CNN 网络来提取激光雷达和栅格化地图的特征，然后将3 个不同的网络分别生成检测、意图和轨迹模型。也有学者把RNN 网络和CNN 网络相结合用于行为预测。文献[51]从CNN 中提取图像空间特征，将特征输入到LSTM 中，最后馈送至反卷积网络，输出和原始输入同大小的预测图。
5) 导航与定位
除了上面讨论的感知信息外，智能车要实现全局路径规划，还需要通过定位系统精准的知道自身在全局环境中的位置。即时定位与建图(simultaneous localization and mapping, SLAM)技术借助视觉传感器、惯性测量单元(inertial measurement unit, IMU)等传感器设备，在智能车驾驶的过程中完成全局地图的构建，同时定位出自身在全局地图中的位置。总结SLAM 的研究历史，其研究思路可以归纳为两类：基于扩展卡尔曼滤波的SLAM 框架[52-53]以及基于图优化的SLAM 框架[54-58]。
扩展卡尔曼滤波算法是卡尔曼滤波算法在非线性系统下的推广，基于扩展卡尔曼滤波的SLAM框架较简单，且较容易适配多传感器融合，因此这类SLAM 框架运算效率一般都较快，但由于其相机参数是依靠滤波估计得出的，故无法得到精确、平滑的相机姿态。基于图优化的SLAM 框架避免了借助图优化理论，前端完成相机跟踪，确定定位任务，后端实现建图与地图优化，后端一般会将相机姿态和地图优化至局部或全局最优处，因而基于图优化的SLAM 跟踪到的相机轨迹会比较平滑，地图也更精细。PTAM[54]是第一个可以接近实时运行的图优化SLAM 框架，其基本思想是前端利用跟踪算法完成相机的位姿跟踪，当前端触发关键帧(key frame)生成条件时，激活后端建图任务。ORB-SLAM 将前端跟踪算法替换为ORB 描述符[20]，并提供了可以商业化的开源代码[59]，不过由于ORB-SLAM 使用的是稀疏特征点，建立的地图也是稀疏的。SVO[57]、DSO[56]为半稠密地图、稠密地图提供了解决方案。为了适应一些复杂环境，多传感器融合也经常应用到SLAM 中，视觉传感器和IMU 组合使用可以解决纯视觉SLAM 在估计深度时容易出现误差的问题。VINS[58]成功的融合了视觉和IMU，能够长时在户外建立大规模地图。
回环检测用于判断智能车是否曾经到访过当前所处的位置。在智能车三维重建周围环境的过程中，由于累计数值误差的存在，导致尺度漂移是SLAM 至今为止都未完全攻克的问题。闭环检测可以减弱累计误差对整个三维重建过程的影响，增加收敛性。在传统机器学习时代，大量的方法使用词袋模型[60](bag of words, BoW)实现闭环检测。近年来，以深度学习为代表的方法得到很多研究者的关注，这类方法以图像检索的思路解决回环检测任务，文献[61]首次用神经网络从视觉地点识别的角度建立网络模型。受BoW 和神经网络启发，NetVLAD[62]利用网络学习类别中心残差系数，大幅提升了检索性能，研究视觉地点识别的还有文献[63-66]。
决策算法设计的目的是在驾驶决策过程中引入高级认知能力，进而能驾驭复杂驾驶环境，其研究可以追溯至20 世纪80 年代，智能车决策算法可以分为3 类：基于行为认知的方法、基于数据挖掘的方法和基于机器学习的方法。
基于行为认知的决策方法模仿、加工人类对事物的认知和抽象能力，形成可供智能车识别、执行的决策规则。研究思路是根据交通法律法规、人类驾驶经验建立驾驶决策规则库，在不同的驾驶环境下，按照规则库中的逻辑确定车辆驾驶行为[67]。这种方法在封闭道路环境下能够很好的完成决策任务，但智能车面临的驾驶环境是开放的，往往无法预估，因此这种方法在实际研究中应用有限。普林斯顿大学利用知觉匹配来设计智能决策算法，借助深度学习技术，将输入图像和关键的知觉指标进行匹配，通过基于车辆动力学模型决策驾驶行为。卡耐基梅隆大学在设计决策算法时采用了行为推理的方式[68]。文献[69-70]使用贝叶斯方法对驾驶员数据进行分析，使车辆能够在车道数减少时对车流汇入情形下的车辆意图进行预测。
基于数据挖掘的决策方法利用大数据技术对海量数据进行清洗、分析、特征提取、挖掘数据背后的价值内容(如驾驶经验、判断知识等)，并将挖掘到的内容形式化成智能车可以执行的决策指令。这类方法对数据规模依赖较大，研究中往往数据不足成为影响决策算法性能的瓶颈。文献[71]建立了用于预测换道时的决策行为的隐马尔科夫模型。
基于机器学习的决策方法是目前研究的热点，这类方法借助人工智能技术，从人类思维的源头出发模拟人类，借助强大的硬件处理能力以及神经网络自学习能力，通过在实际驾驶环境或仿真驾驶环境中的大量训练，使智能汽车自主的学习到正确的驾驶决策指令。北京理工大学构建了换道规则数据库，该工作首先进行人工数据标定，再利用神经网络学习利用规则数据库换道规则。该研究成果在比亚迪自动驾驶平台上验证测试，测试结果和人类驾驶员的驾驶决策相比，相似度高达80.4%[72]。工业界也在智能决策领域做了大量的工作，科技巨头如谷歌、百度、小鹏、Drive.ai 等企业用人工智能技术来解决决策问题，一般采用端到端的方式，从环境感知开始，使用深度学习模型直接对智能车行为进行决策，以期实现用驾驶脑代替人类大脑。
霍金曾指出不确定性是我们在其中生活的宇宙的一个基本特征[73]。随着智能技术研究的深入，智能技术的研究对象—人类智能的不可形式化形象思维成为智能技术发展的瓶颈。尽管当前的计算机软硬件技术拥有强大的计算、存储和搜索能力，但对于非形式化问题却难以下手。在人工智能技术的研究过程中，考虑确定性因素对真实世界进行模拟，抓住主要部分，忽略次要部分。因此，在智能技术的研究中，考虑真实世界的不确定性因素，是模拟、延伸人类智能必不可少的环节。
从1956 年的达特茅斯会议上“人工智能”正式被提出以来[74]，发展仅有60 余年的历史。学者们往往将人工智能技术与哲学、脑科学、计算机技术、心理学等学科联系在一起研究，这也导致了人工智能算法的不确定性反应在诸多方面。如从哲学的角度推理人工智能算法的认知不确定性问题[75]，从脑科学的角度推理人工智能的内在生成机制的不确定性问题[76]。本文由于篇幅有限，且将讨论聚焦在计算机技术角度，即主要讨论人工智能技术研究的不确定性问题。
1) 信息获取的不确定性
尽管人类利用多种感觉器官(如视觉、听觉、嗅觉、触觉等)获取信息，然而仍然不能把握全部信息。Shannon 信息论指出：信息是消除不确定性的东西[77]。但是在人类主体筛选信息的过程中已经出现了不确定性。在智能车中，主流的信息获取依靠各类传感器来模拟人类感官，如视觉摄像头模拟人眼，麦克风和扬声器分别模拟耳朵和嘴巴。各种传感器的设计和人类主体感觉器官之间又进一步增大了信息获取的不确定性。
2) 信息理解的不确定性
信息理解是人类大脑对信息的加工和理解过程。尽管在信息获取阶段已经引入不确定性信息，但这部分信息对于人工智能算法依然足够丰富。在人工智能算法的研究过程中，由于原始特征和存储能力、计算能力之间的矛盾，研究者们往往会对信息进行加工，提取最具代表原始信息的特征。如利用智能算法取得巨大成功的图像识别领域，往往不会利用原始图像作为特征进行评比，而是对原始图像进行加工、处理；主成分分析(principal component analysis, PCA)也是信息加工常用的技术手段[78]。这种智能算法中的常见技术手段也会引入不确定性。
3) 主体决策的不确定性
在从信息获取、理解到智能决策的过程中，主体往往从多个方案中选择一个最优的，从形式上看，这是一个概率问题，必然伴随着不确定性。智能策略的生成离不开对问题的充分分析和对环境信息的充分理解，同一智能主体在不同时刻、不同环境的情况下，可能做出迥异的决策。
随着驾驶辅助系统(advanced driver assistance systems, ADAS)越来越复杂，尽管引入的各种复杂传感器(如激光雷达、超声波雷达)在一定程度上弥补了信息获取的不确定性，但是却增加了信息理解的难度，导致智能车的预期功能在某些情况下无法达到要求。2018 年3 月，Uber 自动驾驶汽车在美国意外撞击致死一名行人，在所有传感系统正常工作的情形下，行人被识别成未知物体，导致悲剧发生。基于上述背景，预期功能安全应运而生。
预期功能安全的定义首次在2015 年被提出，ISO/PAS 21448 标准将预期功能安全定义为：由功能不足、或由可合理预见的人员误用所导致的危害和风险[16]。例如，传感系统在暴雨、积雪等天气情况下，本身并未发生故障，但是否仍能执行预期功能。
预期功能安全基于场景来进行分析，ISO/PAS 21448 标准将场景划分为如图2 所示的4 个区间，分别为：1)已知-安全场景；2)已知-危险场景；3)未知-危险场景；4)未知-安全场景。预期功能安全研究的目的是将已知危险区域和未知危险区域缩小至可接收的范围内，即保证场景尽可能控制在安全区域。
图2 ISO/PAS 21448 对场景的划分
当前对智能驾驶汽车预期功能的安全研究尚处于起步阶段。ISO/PAS 21448 规范了预期功能安全的基本实现思路和流程[16]，为预期功能安全的研究工作提供了指导性研究思路。
研究者在场景的理解领域做了大量工作。文献[79]把物理对象的空间-时间排列当做场景。文献[80]认为场景包含环境的动态元素以及一些指定的驾驶指令，用场景片段的思路分析预期功能安全问题，场景的起点是前一场景的终点。文献[81]提出场景树的思想，将场景分解为简单元素并用树状结构排列。文献[82]总结了前人的研究成果，将环境的快照信息，如动态元素(如车、人等)、静态元素(建筑、风景等)以及这些实体之间的关系定义为场景。
除了对场景理解的研究工作外，文献[83]梳理了信息安全、功能安全和预期功能安全三者之间的联系和区别。文献[84]报告了功能安全和预期功能安全之间的关系。文献[85]深入分析了预期功能安全研究的挑战，并提出了相应的风险评估框架。
在预期功能理论和定性定量方面也得到了学者的关注。博世公司借助V 模型把预期功能安全用于ADAS 系统的开发过程，并利用性能故障树分析DA/AD 系统[86]。TNO 融合场景和数据驱动，提出了用于构建和维护真实场景数据库的StreetWise方法，为智能驾驶提供了真实的测试场景用例[87]。文献[88]为预期功能安全测试提供了参考，提出了一些新的贝叶斯停止规则。文献[89]将信息论中熵的概念引入到预期功能安全研究中，引入安全熵的概念，提出基于安全熵的预期功能安全度的量化分析方法。
MIT 认为自动驾驶应该分为两个等级：人机共驾(shared autonomy)以及全自动驾驶(full autonomy)[90]。这样的分类方式为研究者提供了指导方针，在研究过程中添加必要的限制条件有助于研究工作的顺利开展。完全自动驾驶无人的智能汽车要解决预期功能的安全问题，该时机尚未成熟，因此人机共驾是一个和现实研究情况很契合的路线。
在传统汽车驾驶中，人作为控制车辆的主体，具有高度的智能性，智能汽车的目标是要用计算机代替传统的驾驶员。然而在智能算法的研究进程中，从目前的研究进展看，无论是采用何种传感器、算法多么鲁棒，都无法100%弥补智能算法的不确定性因素，如果在智能车行驶的极端条件下辅以人类智慧，利用人类智慧弥补智能算法的不确定性，是值得关注的研究方向。
人机共驾通常被分为3 个层次：信息感知层的人机交互、规划决策层的人机协同以及执行控制层的人机交互[91]。信息感知层人机交互主要依靠人的感官系统对智能车的感知器进行补充，从而弥补智能算法信息获取的不确定性问题。规划决策层的人机协同弥补了信息理解和主体决策的不确定性，由于智能车系统是非线性系统，智能算法求解的绝大多数最优解仅仅是局部最优解，辅以人类决策，如转弯、速度控制等。执行控制层人机交互则是借助人类经验和智能控制算法对智能汽车进行精确控制。
本文首先从智能感知、智能决策两个角度总结了智能算法在智能汽车领域的应用和研究进展。其次，还从信息获取、信息理解、智能决策3 个角度分析了智能算法研究的不确定性特性，并介绍了解决因智能算法不确定性带来的安全问题的研究方法—预期功能安全，并总结了预期功能安全的研究情况，最后总结了用于实现预期功能安全的人机共驾方案的研究情况。
免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删
155-2731-8020
