捕鱼游戏下载_捕鱼达人网页版

WEB'S LEGEND

人工智能测试:关于无人车测试的案例研究

  • 案例分类:案例中心
  • 时间:2018-12-29
  • 点击:

织梦模板版权所有,禁止个人及商业使用,违者必究。

客户简介

雷锋网新智驾按:近日,清华大学自动化系系统工程研究所副教授李力作为第一作者以及林懿伦,郑南宁,王飞跃,

就像前文所述的,现在有越来越多的方法来测试智能性,但是这些测试方法的落地还需要很长一段时间。我们把这一落地过程称之为“终生测试”(Life-long Testing)。我们应该把AI机器的研发和测试当作一个整体来考虑,随着测试的不断深入,机器的智能性也会因此而提升。

不过,这里还存在一个问题:通过测试任务,仍然不能说明被测系统具备了无人驾驶智能和驾驶能力。驾驶能力一般指的是完成某种特定驾驶行为的能力。完成一个特定的驾驶任务通常需要受试车辆具有多种驾驶能力。不同于场景和任务,每项驾驶能力可以被量化评估。进一步将各个能力进行汇总,即可定量评估整个无人驾驶车辆的驾驶能力。

同时必须注意到的是,为测试智能性所选择的任务也是有特定针对性的,不同的任务测试不同方面的智能性,例如,一个文盲可能能成为一个很好的司机,但是一个眼盲的饱学之士却无法开车。

1) 首先在真实环境下建立有多种交通元素(十字路口,交通灯)的场景,对应的在虚拟空间内,根据不同的测试目标,可以把该场景细分成不同的任务,功能团,单个功能;

包括图灵在内的大部分研究者都认为人能够按照自己的经验做出正确的决定,而智能机器也应该和人类一样来完成这些决定,因此我们的工作就简化成为在智能测试中去判断智能机器是否完成了和人类一样的决定。

*图9. 智能车比赛测试项

4.3. 驾驶员在环测试

人工智能测试:关于无人车测试的案例研究

鉴于目前大部分AI的程序都是在电脑中通过编程完成,所以测试实现AI的软件显得尤为重要,所以我们需要建立一套完善的对这些软件的测试体系。例如测试驱动型开发(TDD)就在当今工业界被广为接受:TDD最基础的思路是首先把需求分解转换成相应的测试用例,然后不停的优化软件让其通过这些测试。在这种研发思路中,我们能很好的保证软件的质量并能让软件有更好的可读性。

人工智能测试:关于无人车测试的案例研究

目前的AI革命正在极大的改变我们的生活,有很多人类的工作正在或者在不就的将来就会被机器代替。同时,新的AI领域也催生了一大批新的工作,智能性测试当然也在其中之列,例如我们现在需要非常多的人来标定视频数据来训练我们的深度学习模型。

在2009年-2015年的比赛中,比赛由裁判来人工打分,这种方式比较主观,也非常耗时。在2017年比赛中,大部分的任务可以通过回传过来的数据实现自动打分。我们同样能够通过深度学习的方式用视觉的方式来检查车辆是否有压线,来实现自动打分,如图11所示。

但是在某些情况下,哪怕是人类也很难确定什么是正确的,例如著名的铁轨问题:你是一辆刹车失灵的火车司机,在你前面的铁轨上有5个人被绑在轨道上,你可以选择切换到另外轨道,另外那条轨道上只有1个人绑在铁轨上,那么请问你会选择撞死5个人还是切换轨道撞死1个人?对于这个问题本文中不做更多的讨论,即使是人类,在这个问题上都很难做出“正确的”决定,更何况智能机器?所以在本文中我们不去讨论这些问题,我们也不会为伦理问题设置智能性测试。

在当今工业界,我们更多的是把多种“低级别”的简单机器进行组合来制造“高级别”机器。很难想象,我们400年前只能制造一些很小的玩具,而如今我们却有着十分复杂的GPU,CPU等。同样的,我们相信在AI领域,也会是如此,会有更多的“高智能性”机器从“低智能性”机器中衍生而来,我们可以一起见证这一时刻的到来。

3.1.3. 仿真测试的设计

2.平行系统是一种自我学习的系统,一些在虚拟环境中的关键元素是数据驱动型,这使得平行系统比那些基于随机模型的系统要更加自动化,可信度也更高。

与此类似的,如图6(b)所示,智能车的智能性测试也有着类似的流程。第一阶段是创建新的测试任务。在这个过程中,在场景中的测试任务都会被逐步分解成为细化的功能。第二阶段是在第一阶段创建的测试任务中选取有挑战性的部分(测试取样)。最后一个阶段是测试的执行,也就是在前两个阶段创建的任务中观察智能车的表现。在这个阶段,我们需要从测试结果中得到两类关联信息,第一类是车辆智能性和其在我们搭建的测试环境中的表现的关联,这种关联对于我们在新的测试任务中取样有很大的帮助;第二种关联是测试本身和测试环境的关联,我们需要从不同的测试环境中学习到如何更好的创建测试任务。

再者,测试标准的设定也是研究者探讨的热点之一。对于驾驶这类典型的多目标问题,如何评价不同算法的优劣并设计适应不同用户要求的测试标准尚有很大的难度。

而沿着从能力、任务直到场景之间的反向连接,我们可以根据功能测试需求,自动产生合理的驾驶任务乃至驾驶场景,解决测试配套的驾驶环境自动设计问题。待驾驶场景确定之后,便可以自动化虚拟生成配套驾驶环境,用于无人驾驶智能的仿真测试和实路测试。

智能机器在特定的领域越来越智能,甚至在某些领域(比如围棋领域的阿法狗,射击领域的Top Gun)已经超过了人类。也许在未来的某一天,机器能够取代人成为智能性水平的最终定义者。

SAE把汽车自动化水平分为从无自动化到完全自动化六个级别,但是在该分级体系中并没有给出明确的需要完成的任务。现在有更多人认为,只有明确了分级系统中的测试任务,才能更好的对汽车智能性水平进行分级。

人工智能测试:关于无人车测试的案例研究

3)如何保证虚拟测试中场景和任务的覆盖性;

5. 结论

*图4. 传统汽车测试V字形开发流程

返回列表