摘要

本文介绍了一种自动驾驶汽车环境感知系统，其应用如下：

在本项目中使用了多种神经网络和机器学习算法，以及经典的计算机视觉技术，如HUFF算法和透视变换矩阵。

所有权利归“熊猫”团队所有，您也可以在我们的GitHub上找到完整的项目。pandas GitHub

交通标志检测

YOLO5网络已用于检测交通标志。此外，此部分使用的数据集是Vicos数据集和清华数据集，其详细信息如下：YOLO5 Vicos Tsinghua

2.清华数据集包含10万幅图像和3万多个交通标志，其中包括200类不同的交通标志。

项目的这一部分使用的数据集是上述数据集的1 GB组合。

下面可以看到一些输出图像：

红绿灯、汽车和行人检测

对于这些部件，除了使用YOLO5网络进行检测外，还使用YOLO本身使用的默认数据集COCO来微调模型。COCO

人行道检测

要检测人行道，我们需要有一个语义分割的图像。在这一部分中，使用了SGDepth网络。SGDepth

此外，在本节中还使用了Kitti和CITYSCAPES数据集来讲授SGDepth网络。Kitti Cityscapes

人行横道检测

为了检测本项目中的人行横道，使用了OpenCV python库提供的等高线。OpenCV

车道检测

在这一部分中，使用了基于关键点估计和实例分割方法的Pinet网络。PINet

使用Culane和TuSimple数据集训练网络。库兰数据集包含安装在北京不同司机驾驶的六辆不同车辆上的摄像头收集的超过55个小时的视频。CULane TuSimple

TuSimple数据集包含3626个持续时间为1秒的视频剪辑。

测距

在这一部分，再次使用SGDepth网络来检测与相邻车辆的距离，不同的是，与人行道检测路段不同的是，使用了网络结构中的粉色部分。

网络根据人行道检测部分中提到的相同数据集进行训练。

此部分中的网络输出是相邻车辆的差异。利用立体摄像机的几何形状，可以通过计算视差来计算到汽车的距离。

推理

要运行该程序，首先请转到github项目页面(https://github.com/Pandas-Team/Autonomous-Vehicle-Environment-Perception)，然后使用以下代码安装需求：https://github.com/Pandas-Team/Autonomous-Vehicle-Environment-Perception

$ pip install -r requirements.txt

然后在主目录中创建一个名为‘Weight’的文件夹，并下载这个共享的Google驱动器文件夹中的所有权重。this

然后，将您的视频放在此回放的主文件夹中，然后运行以下命令。

$ python main.py --video yourvideoname.mp4 [--save] [--noshow] [--output-name myoutputvideo.mp4] [--fps]

-save参数将保存输出视频。

-noshow不会向您显示输出的预览。

-output-name将确定您想要的输出视频的名称

-fps将在输出帧上绘制fps结果

“youVideoname.mp4”是添加到主文件夹的视频文件的名称。“myoutputVideo.mp4”是您想要的输出视频的名称。

之后，程序开始运行，输出的视频将保存在指定的目录中。要在运行时查看输出，请不要使用‘-no-show’参数。

结果

下面是一些最终输出的图片：

合著者

Abbasomidi：GitHub，LinkedIn，电子邮件Abbasomidi Github Linkedin Email

Amirhossein Kazerooni：GitHub，LinkedIn，电子邮件Github Linkedin Email

米拉德·索尔塔尼(Milad Soltany)：GitHub、LinkedIn、电子邮件Milad Soltany Github Linkedin Email

Aida Mohammadshahi：GitHub，LinkedIn，电子邮件Github Linkedin Email

Amirhossein Heydarian：GitHub，LinkedIn，电子邮件Amirhossein Heydarian Github Linkedin Email