极端天气下的目标检测与测距算法

id="article_content" class="article_content clearfix" style="height: 2000px; overflow: hidden;"> id="content_views" class="markdown_views prism-atom-one-dark">

更多视觉额自动驾驶项目请见：
小白学视觉
自动驾驶项目
计算机视觉项目大集合-附代码

本文主要工作：

  • 科技的发展与进步促使自动驾驶车辆逐渐成为全球汽车产业发展的重要战略 方向。但自动驾驶车辆面对如：大雨、大雾、大雪等极端环境时，智能汽车图像采集与处理系统将面临巨大挑战。

  • 并且自动驾驶需要实时关注周围物体的威胁， 实时进行目标检测以及精确测量周围目标的距离是提高汽车安全性的可行之策。

  • **本文首先训练出一种天气分类模型，实时识别当下天气情况。

  • 其次针对不同天气 情况则采取不同的图像去噪方法来提高图像质量。

  • 天气前处理完成后将采取改进 的 Yolo 模型对前方行人、车辆等道路环境目标进行目标检测。

  • 最后对目标检测定 位到的物体采用改进目标点的测距方法进行距离测量，为自动驾驶主动安全行为 提供支持。**

  • 总结：本文完成了去雾、去雨、去雪，目标检测与车辆距离测量。运用了yoloV3目标检测，单目测距，prescan仿真。本文代码分享与论文撰写相关的同学可以一起交流。如果对你有用，欢迎私聊点赞交流–

接下来进入正文，准备发车----------->

1.天气分类

为了实时识别出当下的天气情况，利用卷积神经网络搭建了天气分类模型。 针对搜集到的天气图像数量少且不具代表性的问题，通过改进 mosaic 和图像合成 手段进行数据增强与扩充。为了提升模型精度，将数据集划分成 6 种大小不同的 批尺寸，改进激活函数并引入模型优化方案。最终将数据集输送到天气分类模型 训练后得到了良好的权重系数。该模型可以对实时出现的晴天、雨天、雾天、雪 天四种天气进行识别分类，分类精确度可达 93.46%。

mosic天空区域图像增强：

​

在这里插入图片描述

数据增强主要代码部分：

def readxml(image_file):
    

    if image_file.split(".")[1] == 'png':
        xml_path = os.path.join(path_origin_xml, image_file.replace('png', 'xml'))
    else:
        xml_path = os.path.join(path_origin_xml, image_file.replace('jpg', 'xml'))

    root = ET.parse(xml_path).getroot()
    bb = []
    for obj in root.iter('object'):  # 获取object节点中的name子节点

        bbox = obj.find('bndbox')

        xmin = int(float(bbox.find('xmin').text.strip()))
        ymin = int(float(bbox.find('ymin').text.strip()))
        xmax = int(float(bbox.find('xmax').text.strip()))
        ymax = int(float(bbox.find('ymax').text.strip()))
####-----------------非常重要----------------########  下面的1需要修改     具体修改见链接
        bb.append(np.array([xmin, ymin, xmax, ymax, 1]))

    return np.array(bb)


if __name__ == "__main__":


    lines = []

    for filename in os.listdir(os.path.join(image_path, '')):
        if filename.endswith(".jpg") or filename.endswith(".JPG") or filename.endswith(".png"):
            lines.append(filename)
    print(lines)

    list1 = list(range(0,len(lines)))

    print("list1:",list1)

 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38

四种天气数据集：**

当涉及到自动驾驶技术时，天气数据的作用更加显著。以下是天气数据在自动驾驶中的几个重要作用：

  • 预测能见度和道路状况：天气数据可以提供当前和未来的能见度信息以及道路的湿滑程度、积雪情况等。这对于自动驾驶车辆的感知和决策非常重要，因为它们需要根据道路状况调整行驶速度和操控方式，以确保安全驾驶

。

  • 优化路径规划和行驶策略：天气数据可以为自动驾驶车辆提供实时的气象信息，例如风速、降水情况和温度变化等。基于这些数据，自动驾驶系统可以选择最佳的路径规划和行驶策略，以应对不同的天气条件，并提供更加安全和高效的驾驶体验。
  • 调整车辆控制系统：天气数据还可以帮助自动驾驶车辆调整其控制系统，以适应不同的天气条件。例如，在下雨或结冰的天气中，车辆可能需要调整制动和驱动力分配，以确保更好的牵引力和稳定性。
  • 提供实时警报和建议：通过实时监测天气数据，自动驾驶系统可以向驾驶员或乘客提供相关的警报和建议。例如，在遇到暴风雨或冰雪道路条件时，系统可以提醒驾驶员减速或寻找安全停靠地点。

在这里插入图片描述

天气分类代码部分：

--------------qq1309399183---------------
data_transforms = {
    'train': transforms.Compose([
        transforms.RandomResizedCrop(224),
        transforms.RandomHorizontalFlip(),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ]),
    'val': transforms.Compose([
        transforms.Resize(256),
        transforms.CenterCrop(224),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ]),
}

data_dir = 'data/weather_data'
image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x),
                                          data_transforms[x])
                  for x in ['train', 'val']}
dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=4,
                                             shuffle=True, num_workers=4)
              for x in ['train', 'val']}
dataset_sizes = {x: len(image_datasets[x]) for x in ['train', 'val']}
class_names = image_datasets['train'].classes

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27

2.极端天气下图像前处理**

（1）去雾*

  • 针对不同的天气则采取不同的图像前处理方法来提升图像质量。
  • 雾天天气 时，针对当下求解的透射率会导致去雾结果出现光晕、伪影现象，本文采用加权最小二乘法细化透射率透。
  • 针对四叉树法得到的大气光值不精确的问题，改进四叉树法来解决上述问题。将上述得到的透射率和大气光值代入大气散射模型完成去雾处理；下图为去雾前后对比图。

去雾前：
​
在这里插入图片描述
去雾后：
去雾后

去雾关键代码

ef Transmission(src_img):
    
    temp = np.min(src_img,2)
    r1=1   
    s = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (r1,r1))

    dst = cv2.erode(temp, s)
    
    h,w=temp.shape
    window=np.zeros((h,w))
    r=1
    for i in range(r,h-r,1):
        for j in range(r,w-r,1):

            window[i-r:i+r+1,j-r:j+r+1]=dst[i-r:i+r+1,j-r:j+r+1]

            sum_=np.sum(window[i-r:i+r+1,j-r:j+r+1])
            devide=sum_/((2*r+1)*(2*r+1))
            window[i-r:i+r,j-r:j+r]=devide
    darkChannel=cv2.dilate(window,np.ones((r1,r1)))
    darkChannel=(1-darkChannel)*255.0
    return darkChannel
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

（2）去雨*

  • 面对雨天环境则采取主成分分析方法获取雨线图中雨线噪声的大小和形状信息，并将其与自适应阈值进行比较。
  • 当满足条件时，利用一种方法将雨线与之邻近的无雨背景层进行关联来达到去雨目的；

​去雨流程图：
在这里插入图片描述

去雨关键代码：

ef pre_mark(I,b,g,r):
    
    w1=w2=7
    K_Left_Up = np.zeros((2*w1-1, 2*w2-1))
    K_Right_Up = np.zeros((2*w1-1, 2*w2-1))
    K_Center = 1/(w1*w2)*np.ones((w1, w2))
    K_Left_Down =np.zeros((2*w1-1, 2*w2-1))
    K_Right_Down = np.zeros((2*w1-1, 2*w2-1))

    K_Left_Up[0:w1, 0:w2] = 1/(w1*w2)*np.ones((w1, w2))
    # print(K_Left_Up.shape)
    K_Right_Up[0:w1,w2-1:2*w2] = 1/(w1*w2)*np.ones((w1, w2))
    # print(K_Right_Up)
    K_Left_Down[w1-1:2*w1, 0:w2] = 1/(w1*w2)*np.ones((w1, w2))
    K_Right_Down[w1-1:2*w1, w2-1:2*w2] = 1/(w1*w2)*np.ones((w1, w2))
    #LU
    b1=scipy.ndimage.filters.convolve(b, K_Left_Up, mode='nearest')
    g1=scipy.ndimage.filters.convolve(g, K_Left_Up, mode='nearest')
    r1=scipy.ndimage.filters.convolve(r, K_Left_Up, mode='nearest')
    I_LU=cv2.merge((b1,g1,r1))
    #RU
    b2=scipy.ndimage.filters.convolve(b, K_Right_Up, mode='nearest')
    g2=scipy.ndimage.filters.convolve(g, K_Right_Up, mode='nearest')
    r2=scipy.ndimage.filters.convolve(r, K_Right_Up, mode='nearest')
    I_RU=cv2.merge((b2,g2,r2))
    #C
    b3=scipy.ndimage.filters.convolve(b, K_Center, mode='nearest')
    g3=scipy.ndimage.filters.convolve(g, K_Center, mode='nearest')
    r3=scipy.ndimage.filters.convolve(r, K_Center, mode='nearest')
    I_C=cv2.merge((b3,g3,r3))
    #LD
    b4=scipy.ndimage.filters.convolve(b, K_Left_Down, mode='nearest')
    g4=scipy.ndimage.filters.convolve(g, K_Left_Down, mode='nearest')
    r4=scipy.ndimage.filters.convolve(r, K_Left_Down, mode='nearest')
    I_LD=cv2.merge((b4,g4,r4))
    #RD
    b5=scipy.ndimage.filters.convolve(b, K_Right_Down, mode='nearest')
    g5=scipy.ndimage.filters.convolve(g, K_Right_Down, mode='nearest')
    r5=scipy.ndimage.filters.convolve(r, K_Right_Down, mode='nearest')
    I_RD=cv2.merge((b5,g5,r5))

 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

去雨结果：

在这里插入图片描述

（3）去雪*

去雪前后对比图：
在这里插入图片描述

去雪关键代码：

def refine_mark(I):
    T1=0.04
    T2=0.04
   
    L,num = measure.label(I, neighbors = None, background = None, return_num = True, connectivity = 2)

    Theta_cluster = []
    for i in range(1,num,1):
        b=np.argwhere(L==i)
        h,_=b.shape
        c=b-np.mean(b,0)

        c_T=c.T
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

3.目标检测**

在这里插入图片描述

4.测距研究**

为了得到距离，进行了precan仿真验证。并完成10-100m的图像采集，利用测距模型进行测量。在prescan进行了如下操作。

Prescan单目测距仿真研究

![presacn](https://img-blog.csdnimg.cn/fb9f55858cb54dbf8fef1e4d774e6319.jpeg#pic_center

上图采集到的目标框将可以用于自己模型的计算验证。

精确的对目标进行测距可以提高汽车安全性能。为了测量出目标检测得到的物体距离，本文首先完成了世界坐标到图像坐标系的公式推导，标定了相机内外参数。针对当下侧向物体测距时测量精确度不高的问题，进行了改进。得到了以下结果：
在这里插入图片描述

数据集介绍在我的博客有提到：
数据集介绍（一）
数据集介绍（二）

需要数据以及其他帮助可以DD

5 总结/更多视觉相关项目见专栏

本文完成了去雾、去雨、去雪，目标检测与车辆距离测量。运用了yoloV8目标检测，单目测距，prescan仿真。

更多视觉相关项目见专栏！。如果对你有用，欢迎私聊点赞交流

id="blogExtensionBox" style="width:400px;margin:auto;margin-top:12px" class="blog-extension-box"> class="blog_extension blog_extension_type4" id="blog_extension"> class="extension_official" data-report-click="{"spm":"1001.2101.3001.6471"}"> class="blog_extension_card_left"> class="blog_extension_card_cont"> 代码获取/论文辅导/作业帮助 class="blog_extension_card_cont_r"> QQ名片
注：本文转载自blog.csdn.net的阿利同学的文章"https://blog.csdn.net/ALiLiLiYa/article/details/124267758"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！