Python之迭代器

Python之迭代器

文章目录

1.1 可迭代对象 Iterable

  • 可迭代对象 Iterable：表示该对象可迭代，其并不是指某种具体数据类型。
  • 简单来说只要是实现了__iter__方法的类就是可迭代对象。
from collections.abc import Iterable, Iterator

class A(object):
    def __init__(self):
        self.a = [1, 2, 3]

    def __iter__(self):
        # 此处返回啥无所谓
        return self.a

cls_a = A()
#  True
print(isinstance(cls_a, Iterable))

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

但是对象如果是 Iterable 的，看起来好像也没有特别大的用途，因为你依然无法迭代，实际上 Iterable 仅仅是提供了一种抽象规范接口(下方的报错原因更详细解释：

for a in cls_a:
    print(a)

# 程序报错，iter()返回了不是迭代器的 'list'
#但如果变为return iter(self.a)，就可以了：显式调用列表的__iter__方法返回一个迭代器
TypeError: iter() returned non-iterator of type 'list'

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

1.2 迭代器 Iterator

迭代器 Iterator：其和 Iterable 之间是一个包含与被包含的关系，如果一个对象是迭代器 Iterator，那么这个对象肯定是可迭代 Iterable；但是反过来，如果一个对象是可迭代 Iterable，那么这个对象不一定是迭代器 Iterator，可以通过接口协议看出：

class Iterator(Iterable):

    # 迭代具体实现
    @abstractmethod
    def __next__(self):
        'Return the next item from the iterator. When exhausted, raise StopIteration'
        raise StopIteration

    # 返回自身，因为自身有 __next__ 方法(如果自身没有 __next__，那么返回自身没有意义)
    def __iter__(self):
        return self

    @classmethod
    def __subclasshook__(cls, C):
        if cls is Iterator:
            return _check_methods(C, '__iter__', '__next__')
        return NotImplemented

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 可以发现：实现了__next__和__iter__方法的类才能称为迭代器，就可以被 for 遍历了。到目前为止这句话是正确的，但是当你读到后面就知道这句话不严谨。
  • (其实上面就剧透了，从理论上讲__iter__方法只要返回一个包含__next__方法的对象就行了，不一定要是迭代器；上面的list 内部的__iter__方法内部返回了具备__next__方法的类，或者说调用 iter() 后返回的对象本身就是一个迭代器，当然也可以 for 循环了)
class A(object):
    def __init__(self):
        self.index = -1
        self.a = [1, 2, 3]

    # 必须要返回一个实现了 __next__ 方法的对象，否则后面无法 for 遍历
    # 因为本类自身实现了 __next__，所以通常都是返回 self 对象即可
    def __iter__(self):
        return self

    def __next__(self):
        self.index += 1
        if self.index < len(self.a):
            return self.a[self.index]
        else:
            # 抛异常，for 内部会自动捕获，表示迭代完成
            raise StopIteration("遍历完了")

cls_a = A()
print(isinstance(cls_a, Iterable)) # True 
print(isinstance(cls_a, Iterator)) # True  从这里可以看出来同时具有__iter__和__next__的类，是Iterator
print(isinstance(iter(cls_a), Iterator)) # True 这里加不加iter()都一样，因为这个类里面的iter也是直接返回自身(self)

#另外补充一点这个a和上面类里面的a是不一样的；这里的用i(任意字母都可以)也能
for a in cls_a:
    print(a)
# 打印 1 2 3

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27

1.3 for … in … 本质流程

for … in … 也就是常见的迭代操作了，其被 python 编译器编译后，实际上代码是：

# 实际调用了 __iter__ 方法返回自身，包括了 __next__ 方法的对象
cls_a = A()
cls_a = iter(cls_a)
while True:
    try:
        # 然后调用对象的 __next__ 方法，不断返回元素
        value = next(cls_a)
        print(value)
    # 如果迭代完成，则捕获异常即可
    except StopIteration:
        break

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 可以看出，任何一个对象如果要能够被 for 遍历，必须要实现__iter__和__next__方法，缺一不可。
  • 同样的，这句话在我们已经解读过的知识下是正确的，但是不够严谨，甚至表述有点问题，因为该对象不需要直接实现这两个方法也可以得到一个迭代器，后面会说。
  • 严谨说法应该是该对象直接或者间接实现了这两个方法都可以返回迭代器(或者说：__iter__返回的对象实现了__next__就可以正常迭代)**，例如后面要讲的高级语法糖功能。

明白了上述流程，那么迭代器对象 A，我们可以采用如下方式进行遍历：

myiter = iter(cls_a)
print(next(myiter))
print(next(myiter))
print(next(myiter))
# 因为遍历完了，故此时会出现错误： StopIteration: 遍历完了
print(next(myiter))

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

我们再来思考 python 内置对象 list 为啥可以被迭代？

b=list([1,2,3])
print(isinstance(b, Iterable)) # True
print(isinstance(b, Iterator)) # False

  • 1
  • 2
  • 3

可以发现 list 类型是可迭代对象，但是其不是迭代器(即 list 没有 __next__ 方法)，那为啥 for … in … 可以迭代呢？

原因是 list 内部的 __iter__ 方法内部返回了具备 __next__方法的类，或者说调用 iter() 后返回的对象本身就是一个迭代器，当然可以 for 循环了。

b=list([1,2,3])
print(dir(b)) # 可以发现其存在 __iter__ 方法，不存在 __next__

b=iter(b) # 调用 list 内部的 __iter__，返回了具备 __next__ 的对象
print(isinstance(b, Iterable)) # True
print(isinstance(b, Iterator)) # True
print(dir(b)) # 同时具备 __iter__ 和 __next__ 方法

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

基于上述理解我们可以对 A 类代码进行改造(不需要自己再写一遍next)，使其更加简单：

class A(object):
    def __init__(self):
        self.a = [1, 2, 3]
    # 我们内部又调用了 list 对象的 __iter__ 方法，故此时返回的对象是迭代器对象
    def __iter__(self):
        return iter(self.a)

cls_a = A()
print(isinstance(cls_a, Iterable)) # True
print(isinstance(cls_a, Iterator)) # False

for a in cls_a:
    print(a)
# 输出： 1 2 3

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

如果你想理解的更加透彻，那么可以看下面例子：

下面这个例子告诉我们的就是__iter__返回的对象实现了__next__就可以正常迭代，因为A类里面并没有写__next__方法，但它调用了勒B，同样可以做到“返回的对象实现了__next__”

# 仅仅实现 __iter__ 
class A(object):
    def __init__(self):
        self.b = B()

    def __iter__(self):
        return self.b

# 仅仅实现 __next__
class B(object):
    def __init__(self):
        self.index = -1
        self.a = [1, 2, 3]

    def __next__(self):
        self.index += 1
        if self.index < len(self.a):
            return self.a[self.index]
        else:
            # 内部会自动捕获，表示迭代完成
            raise StopIteration("遍历完了")


cls_a = A()
cls_b = B()
print(isinstance(cls_a, Iterable)) # True
print(isinstance(cls_a, Iterator)) # False
print(isinstance(cls_b, Iterable)) # False
print(isinstance(cls_b, Iterator)) # False

print(type(iter(cls_a))) # B 对象
print(isinstance(iter(cls_a), Iterator)) # False

for a in cls_a:
    print(a)

# 输出： 1 2 3

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37

除了上述这两种实现，还有其他高级语法糖，可以进一步精简代码。

1.4 getitem理解

  • 上面说过 for … in … 的本质就是调用对象的 __iter__ 和 __next__ 方法，但是有一种更加简单的写法，通过仅仅实现 __getitem__ 方法就可以让对象实现迭代功能。
  • 实际上任何一个类，如果实现了__getitem__ 方法，那么当调用 iter(类实例) 时候会自动具备__iter__ 和 __next__方法，从而可迭代了。

通过下面例子可以看出，__getitem__ 实际上是属于 __iter__和__next__方法的高级封装，也就是我们常说的语法糖，只不过这个转化是通过编译器完成，内部自动转化，非常方便。

class A(object):
    def __init__(self):
        self.a = [1, 2, 3]

    def __getitem__(self, item):
        return self.a[item]

cls_a = A()
print(isinstance(cls_a, Iterable))  # False
print(isinstance(cls_a, Iterator))  # False
print(dir(cls_a))  # 仅仅具备 __getitem__ 方法

#——————————————————————————————————————————————————————————————————————————#
cls_a = iter(cls_a) #这应该就是编译器完成，内部自动转化；__getitem__又被拆成__iter__ 和 __next__ 方法了。
#因为我们在这里的类A中并没有看到__iter__ 和 __next__ 方法
print(dir(cls_a))  # 具备 __iter__ 和 __next__ 方法

print(isinstance(cls_a, Iterable))  # True
print(isinstance(cls_a, Iterator))  # True

# 等价于 for .. in ..
while True:
    try:
        # 然后调用对象的 __next__ 方法，不断返回元素
        value = next(cls_a)
        print(value)
    # 如果迭代完成，则捕获异常即可
    except StopIteration:
        break

# 输出： 1 2 3

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

而且 __getitem__ 还可以通过索引直接访问元素，非常方便

a[0] # 1
a[4] # 错误，索引越界

  • 1
  • 2

如果你想该对象具备 list 等对象一样的长度属性，则只需要实现 __len__ 方法即可

class A(object):
    def __init__(self):
        self.a = [1, 2, 3]

    def __getitem__(self, item):
        return self.a[item]

    def __len__(self):
        return len(self.a)

cls_a = A()
print(len(cls_a)) # 3

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

到目前为止，我们已经知道了第一种高级语法糖实现迭代器功能，下面分析另一个更简单的可以直接作用于函数的语法糖。

1.5 yield 生成器

生成器是一个在行为上和迭代器非常类似的对象，二者功能上差不多，但是生成器更优雅，只需要用关键字 yield 来返回，作用于函数上叫生成器函数，函数被调用时会返回一个生成器对象，生成器本质就是迭代器，其最大特点是代码简洁。

def func():
    for a in [1, 2, 3]:
        yield a

cls_g = func()
print(isinstance(cls_g, Iterator))  # True
print(dir(cls_g))  # 自动具备 __iter__ 和 __next__ 方法

for a in cls_g:
    print(a)

# 输出: 1 2 3

# 一种更简单的写法是用 ()
cls_g = (i for i in [1,2,3])

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 直观感觉和 __getitem__ 一样，也是高级语法糖，但是比 __getitem__ 更加简单，更加好用。
  • 使用 yield 函数与使用 return 函数，在执行时差别在于：包含 yield 的方法一般用于迭代，每次执行时遇到 yield 就返回 yield 后的结果，但内部会保留上次执行的状态，下次继续迭代时，会继续执行 yield 之后的代码，直到再次遇到 yield 后返回。
  • 生成器是懒加载模式，特别适合解决内存占用大的集合问题。假设创建一个包含10万个元素的列表，如果用 list 返回不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了，这种场景就适合采用生成器，在迭代过程中推算出后续元素，而不需要一次性全部算出。

总结

最后放上一个总结的图。

在这里插入图片描述

在这里插入图片描述

《AUTOSAR谱系分解(ETAS工具链)》之总目录

id="article_content" class="article_content clearfix" style="height: 2000px; overflow: hidden;"> id="content_views" class="htmledit_views">

Python 【大模型】之 使用千问Qwen2-VL 多模型大模型进行训练并识别图像

目录

Python 【大模型】之 使用千问Qwen2-VL 多模型大模型进行训练并识别图像

一、简单介绍

二、PyTorch

三、千问Qwen2-VL

四、环境准备

1、环境

2、 pip 安装的一些主要 package

3、创建一个虚拟环境

五、图片数据准备，模型下载、训练、和测试

1、用于训练的图片数据下载与归档

2、Qwen2-VL  模型下载、训练、和测试

六、工程下载

附录

一、简单介绍

Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。

       Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。Python 是一种功能强大且易于学习和使用的编程语言，因此成为了机器学习领域的首选语言之一。Python 提供了丰富的机器学习库，如Scikit-learn、TensorFlow、Keras、PyTorch等，这些库包含了许多常用的机器学习算法和深度学习框架，使得开发者能够快速实现、测试和部署各种机器学习模型。

通过 Python 进行机器学习，开发者可以利用其丰富的工具和库来处理数据、构建模型、评估模型性能，并将模型部署到实际应用中。Python 的易用性和庞大的社区支持使得机器学习在各个领域都得到了广泛的应用和发展。

二、PyTorch

PyTorch是一个开源的深度学习框架，以其出色的灵活性和易用性而著称。它是由Facebook AI Research及其他几个实验室的开发者共同开发的，将高效的GPU加速后端库Torch与直观的Python前端相结合，专注于快速原型设计、代码可读性，并支持广泛的深度学习模型。

使用PyTorch实现猫狗分类的原理

    1、动态计算图

    PyTorch使用动态计算图来定义和跟踪计算操作。与传统的静态计算图相比，动态计算图允许在执行过程中动态地构建计算图，使得可以使用常规的编程控制流语句（如if和while）来定义计算图的结构，实现更灵活和高效的模型构建和训练。

    2、自动微分

    PyTorch通过自动微分机制，实现了对计算图中各个操作的梯度自动计算。用户只需要定义计算图和前向传播过程，PyTorch会自动追踪计算图中的每个操作，并在需要时计算各个操作的梯度，大大简化了深度学习模型的训练过程。

    3、张量计算

    PyTorch的张量计算是其核心功能之一，提供了类似于NumPy的API，但可以在GPU上进行计算，从而加速大规模数值计算。

    4、高效的并行计算

    PyTorch支持高效的并行计算，可以利用多GPU进行训练，加速模型的训练过程。

    5、构建模型的五要素

    在PyTorch中实现猫狗分类，需要关注以下五个要素：

        数据：包括数据读取、清洗、划分和预处理。
        模型：包括构建模型模块、组织复杂网络、初始化网络参数和定义网络层。
        损失函数：创建损失函数，设置超参数，并根据不同任务选择合适的损失函数。
        优化器：根据梯度使用某种优化器更新参数，管理模型参数，调整学习率。
        迭代训练：组织上述四个模块进行反复训练，观察训练效果，绘制Loss/Accuracy曲线或用TensorBoard进行可视化分析。

    6、模型训练步骤

    使用PyTorch实现猫狗分类的步骤通常包括：

        数据预处理：包括数据增强，如随机裁剪、旋转、水平翻转等，以提高模型的泛化能力。
        模型定义：定义CNN模型，可以是自定义的或基于预训练模型的结构。
        损失函数与优化器：选择合适的损失函数（如交叉熵损失）和优化器（如Adam）。
        训练循环：进行模型训练，包括前向传播、计算损失、反向传播和参数更新。
        评估与测试：在独立的验证集和测试集上评估模型性能，使用准确率等指标。

    通过上述原理和步骤，PyTorch提供了一个强大而灵活的平台，用于实现猫狗分类等深度学习任务。

三、千问Qwen2-VL

2023 年 8 月，通义千问开源第一代视觉语言理解模型 Qwen-VL，成为开源社区最受欢迎的多模态模型之一。短短一年内，模型下载量突破 1000 万次。目前，多模态模型在手机、车端等各类视觉识别场景的落地正在加速，开发者和应用企业也格外关注 Qwen-VL 的升级迭代。

相比上代模型，Qwen2-VL 的基础性能全面提升，可以读懂不同分辨率和不同长宽比的图片，在 DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现；可以理解 20 分钟以上长视频，支持基于视频的问答、对话和内容创作等应用；具备强大的视觉智能体能力，可自主操作手机和机器人，借助复杂推理和决策的能力，Qwen2-VL 可以集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作；能理解图像视频中的多语言文本，包括中文、英文，大多数欧洲语言，日语、韩语、阿拉伯语、越南语等

千问Qwen2-VL是阿里通义千问推出的新一代视觉语言模型，具备以下特点和功能：

1. 强大的视觉理解能力：

  • Qwen2-VL能够识别任意分辨率的图像，无论图像的清晰度或大小如何，都能轻松识别。其独特的naive dynamic resolution支持将任意分辨率的图像映射成动态数量的视觉token，模拟人类视觉感知的自然方式。
  • 该模型还能理解超过20分钟的长视频，通过在线流媒体能力，支持高质量的视频问答、对话和内容创作等应用。

2. 多语言支持：

  • Qwen2-VL支持英语、中文以及包括欧洲语言、日语、韩语、阿拉伯语、越南语在内的多语言上下文理解，打破了语言障碍，为多语言环境下的应用提供了便利。

3. 视觉智能体能力：

  • Qwen2-VL凭借先进的推理和决策能力，可以与手机、机器人等设备集成，实现基于视觉输入和文本指令的自主操作。

4. 模型架构：

  • Qwen2-VL延续了ViT加Qwen2的串联结构，三个尺寸的模型都采用了600M规模大小的ViT，支持图像和视频统一输入。在架构上进行了升级，包括实现了对原生动态分辨率的全面支持和使用了多模态旋转位置嵌入（M-RoPE）方法，使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息。

5. 模型性能：

  • 在多个权威测评中，Qwen2-VL创造了同等规模开源模型的最佳成绩。在mathvista、docvqa、realworldqa、mtvqa等基准测试中创下全球领先的表现，在文档理解方面优势尤其明显。与GPT-4O和Claude3.5-Sonnet等闭源模型相比，Qwen2-VL在大部分指标上都达到了最优。

6. 模型下载与推理：

  • Qwen2-VL进行了开源，包含两个尺寸的模型，分别是Qwen2-VL-2B-Instruct以及Qwen2-VL-7B-Instruct，并提供了其GPTQ和AWQ的量化版本。模型可以通过ModelScope CLI进行下载，并提供了详细的安装依赖和模型推理步骤。

Qwen2-VL的发布为多模态技术的发展注入了新的活力，其在图像和视频理解方面取得了显著的突破，并具备强大的视觉智能体能力，能够与各种设备进行交互，为用户带来全新的体验。

四、环境准备

1、环境

案例环境：1） Windows 10；2）Python 3.11

构建虚拟环境，安装相关包，主要是：torch、torchvision、transforms

如果使用 cuda 进行训练，查看自己的 cuda 版本对应安装 torch 相关

案例中 cuda 版本为 12.3，所以对应安装 torch 如下命令：

pip install torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html

2、 pip 安装的一些主要 package

python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install modelscope==1.18.0
pip install transformers==4.46.2
pip install sentencepiece==0.2.0
pip install accelerate==1.1.1
pip install datasets==2.18.0
pip install peft==0.13.2
pip install swanlab==0.3.27
pip install qwen-vl-utils==0.0.8
pip install pandas==2.2.2
pip install oss2==2.19.1
pip install addict==2.4.0
pip install pillow==11.0.0

下面是对应解释：

  1. python -m pip install --upgrade pip

    • 这个命令用于升级pip工具本身到最新版本。保持pip更新可以确保您使用的是最新特性和安全修复。

  2. pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

    • 这个命令将pip的默认源更换为清华大学提供的PyPI镜像源。这样做可以加速库的安装，因为清华大学的镜像源在国内访问速度较快，可以减少下载时间。

  3. pip install modelscope==1.18.0

    • 安装ModelScope库的特定版本1.18.0。ModelScope是一个提供多种预训练模型的平台，用于机器学习和深度学习任务。

  4. pip install transformers==4.46.2

    • 安装transformers库的特定版本4.46.2。这个库由Hugging Face提供，包含了大量的预训练模型，如BERT、GPT等，用于自然语言处理任务。

  5. pip install sentencepiece==0.2.0

    • 安装SentencePiece库的特定版本0.2.0。SentencePiece是一个用于文本分词的库，支持多种语言，常用于机器学习和自然语言处理任务。

  6. pip install accelerate==1.1.1

    • 安装Accelerate库的特定版本1.1.1。Accelerate是一个由Hugging Face提供的库，用于简化深度学习模型的分布式训练。

  7. pip install datasets==2.18.0

    • 安装datasets库的特定版本2.18.0。datasets库提供了一个简单的接口来加载、处理和分享数据集，常用于机器学习项目。

  8. pip install peft==0.13.2

    • 安装peft库的特定版本0.13.2。peft是一个轻量级的Python配置文件处理库，用于处理配置文件。

  9. pip install swanlab==0.3.27

    • 安装SwanLab库的特定版本0.3.27。SwanLab是一个用于机器学习和深度学习的库，提供了一些工具和功能来简化开发流程。

  10. pip install qwen-vl-utils==0.0.8

    • 安装qwen-vl-utils库的特定版本0.0.8。这个库可能与Qwen-VL模型相关，提供了一些工具和实用程序来支持Qwen-VL模型的使用。

  11. pip install pandas==2.2.2

    • 安装pandas库的特定版本2.2.2。pandas是一个强大的数据分析和操作库，提供了DataFrame等数据结构，广泛用于数据处理和分析。

  12. pip install oss2==2.19.1

    • 安装oss2库的特定版本2.19.1。oss2是阿里云对象存储服务（OSS）的Python SDK，用于在Python程序中操作阿里云OSS服务。

  13. pip install addict==2.4.0

    • 安装addict库的特定版本2.4.0。addict是一个轻量级的Python字典对象，可以像访问属性一样访问字典的键值。

  14. pip install pillow==11.0.0

    • 安装Pillow库的特定版本11.0.0。Pillow是Python Imaging Library（PIL）的一个分支，用于图像文件的打开、操作和保存。

注意：记得根据需要安装 torch，以及相关

3、创建一个虚拟环境

命令：virtualenv xxxxxProject

可以先切换到自己需要创建文件夹路径，创建管理自己的虚拟环境

(也可以使用Anacoda 管理虚拟环境)

五、图片数据准备，模型下载、训练、和测试

1、用于训练的图片数据下载与归档

1.1、这里使用的是 coco_2014_caption 数据集

coco_2014_caption下载地址：魔搭社区

1.2、数据下载方式

  1.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1">
class="hljs-ln-code"> class="hljs-ln-line">from modelscope.msdatasets import MsDataset
  • class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2">
    • class="hljs-ln-code"> class="hljs-ln-line">ds = MsDataset.load("coco_2014_caption", namespace="modelscope", split="train")
  • class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="3"> class="hljs-ln-code"> class="hljs-ln-line">print(ds[0])
    •  class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

    1.3、使用 Pycharm 创建一个工程，并且使用上之前创建的，安装过对应 package 的虚拟环境

    1.4、编写脚本，下载与归档 coco_2014_caption 图片集

    实现脚本 ImageDataDownloadThenDataToCSV.py （主要是下载图片，把图片一些相关数据转为 csv）

    1.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1"> class="hljs-ln-code"> class="hljs-ln-line"># 导入所需的库
    2.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2"> class="hljs-ln-code"> class="hljs-ln-line">from modelscope.msdatasets import MsDataset  # 从modelscope库中导入MsDataset类，用于加载数据集
    3.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="3"> class="hljs-ln-code"> class="hljs-ln-line">import os  # 导入os库，用于操作文件和目录
    4.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="4"> class="hljs-ln-code"> class="hljs-ln-line">import pandas as pd  # 导入pandas库，用于数据处理和CSV文件操作
    5.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="5"> class="hljs-ln-code"> class="hljs-ln-line"> 
    6.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="6"> class="hljs-ln-code"> class="hljs-ln-line">MAX_DATA_NUMBER = 1000  # 定义处理数据的最大数量
    7.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="7"> class="hljs-ln-code"> class="hljs-ln-line"> 
    8.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="8"> class="hljs-ln-code"> class="hljs-ln-line">DIR = '../../data/coco_2014_caption/images'  # 定义保存图片的目录路径
    9.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="9"> class="hljs-ln-code"> class="hljs-ln-line">SAVED_CSV_PATH = "../../data/coco_2014_caption/coco-2024-dataset.csv"  # 定义保存CSV文件的路径
    10.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="10"> class="hljs-ln-code"> class="hljs-ln-line"> 
    11.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="11"> class="hljs-ln-code"> class="hljs-ln-line"># 检查目录是否已存在
    12.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="12"> class="hljs-ln-code"> class="hljs-ln-line">if not os.path.exists(DIR):
    13.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="13"> class="hljs-ln-code"> class="hljs-ln-line">    # 如果目录不存在，则从modelscope下载COCO 2014图像描述数据集
    14.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="14"> class="hljs-ln-code"> class="hljs-ln-line">    ds = MsDataset.load('modelscope/coco_2014_caption', subset_name='coco_2014_caption', split='train')
    15.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="15"> class="hljs-ln-code"> class="hljs-ln-line">    print(len(ds))  # 打印数据集的大小
    16.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="16"> class="hljs-ln-code"> class="hljs-ln-line">    # 设置处理的图片数量上限
    17.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="17"> class="hljs-ln-code"> class="hljs-ln-line">    total = min(MAX_DATA_NUMBER, len(ds))
    18.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="18"> class="hljs-ln-code"> class="hljs-ln-line"> 
    19.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="19"> class="hljs-ln-code"> class="hljs-ln-line">    # 创建保存图片的目录
    20.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="20"> class="hljs-ln-code"> class="hljs-ln-line">    os.makedirs(DIR, exist_ok=True)  # 如果目录不存在，则创建它
    21.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="21"> class="hljs-ln-code"> class="hljs-ln-line"> 
    22.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="22"> class="hljs-ln-code"> class="hljs-ln-line">    # 初始化存储图片路径和描述的列表
    23.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="23"> class="hljs-ln-code"> class="hljs-ln-line">    image_paths = []  # 用于存储图片路径的列表
    24.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="24"> class="hljs-ln-code"> class="hljs-ln-line">    captions = []  # 用于存储图片描述的列表
    25.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="25"> class="hljs-ln-code"> class="hljs-ln-line"> 
    26.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="26"> class="hljs-ln-code"> class="hljs-ln-line">    # 遍历数据集中的样本
    27.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="27"> class="hljs-ln-code"> class="hljs-ln-line">    for i in range(total):
    28.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="28"> class="hljs-ln-code"> class="hljs-ln-line">        # 获取每个样本的信息
    29.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="29"> class="hljs-ln-code"> class="hljs-ln-line">        item = ds[i]
    30.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="30"> class="hljs-ln-code"> class="hljs-ln-line">        image_id = item['image_id']  # 获取图片ID
    31.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="31"> class="hljs-ln-code"> class="hljs-ln-line">        caption = item['caption']  # 获取图片描述
    32.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="32"> class="hljs-ln-code"> class="hljs-ln-line">        image = item['image']  # 获取图片对象
    33.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="33"> class="hljs-ln-code"> class="hljs-ln-line"> 
    34.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="34"> class="hljs-ln-code"> class="hljs-ln-line">        # 保存图片并记录路径
    35.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="35"> class="hljs-ln-code"> class="hljs-ln-line">        image_path = os.path.abspath(f'{DIR}/{image_id}.jpg')  # 构建图片的完整路径
    36.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="36"> class="hljs-ln-code"> class="hljs-ln-line">        image.save(image_path)  # 保存图片到指定路径
    37.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="37"> class="hljs-ln-code"> class="hljs-ln-line"> 
    38.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="38"> class="hljs-ln-code"> class="hljs-ln-line">        # 将路径和描述添加到列表中
    39.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="39"> class="hljs-ln-code"> class="hljs-ln-line">        image_paths.append(image_path)  # 添加图片路径到列表
    40.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="40"> class="hljs-ln-code"> class="hljs-ln-line">        captions.append(caption)  # 添加图片描述到列表
    41.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="41"> class="hljs-ln-code"> class="hljs-ln-line"> 
    42.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="42"> class="hljs-ln-code"> class="hljs-ln-line">        # 每处理50张图片打印一次进度
    43.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="43"> class="hljs-ln-code"> class="hljs-ln-line">        if (i + 1) % 50 == 0:
    44.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="44"> class="hljs-ln-code"> class="hljs-ln-line">            print(f'Processing {i + 1}/{total} images ({(i + 1) / total * 100:.1f}%)')  # 打印进度信息
    45.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="45"> class="hljs-ln-code"> class="hljs-ln-line"> 
    46.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="46"> class="hljs-ln-code"> class="hljs-ln-line">    # 将图片路径和描述保存为CSV文件
    47.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="47"> class="hljs-ln-code"> class="hljs-ln-line">    df = pd.DataFrame({
    48.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="48"> class="hljs-ln-code"> class="hljs-ln-line">        'image_path': image_paths,  # 创建DataFrame，包含图片路径列
    49.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="49"> class="hljs-ln-code"> class="hljs-ln-line">        'caption': captions  # 创建DataFrame，包含图片描述列
    50.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="50"> class="hljs-ln-code"> class="hljs-ln-line">    })
    51.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="51"> class="hljs-ln-code"> class="hljs-ln-line"> 
    52.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="52"> class="hljs-ln-code"> class="hljs-ln-line">    # 将数据保存为CSV文件
    53.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="53"> class="hljs-ln-code"> class="hljs-ln-line">    df.to_csv(SAVED_CSV_PATH, index=False)  # 保存DataFrame到CSV文件，不包含索引
    54.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="54"> class="hljs-ln-code"> class="hljs-ln-line"> 
    55.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="55"> class="hljs-ln-code"> class="hljs-ln-line">    print(f'数据处理完成，共处理了{total}张图片')  # 打印处理完成的信息
    56.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="56"> class="hljs-ln-code"> class="hljs-ln-line"> 
    57.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="57"> class="hljs-ln-code"> class="hljs-ln-line">else:
    58.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="58"> class="hljs-ln-code"> class="hljs-ln-line">    print(f'{DIR}目录已存在,跳过数据处理步骤')  # 如果目录已存在，则跳过数据处理步骤
     class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

    生成的 csv 数据内容如下图：

    1.5 把归档的图片数据进行json 数据整理

    进行处理和格式调整，目标是组合成如下格式的json文件：

    1.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1"> class="hljs-ln-code"> class="hljs-ln-line">[
    2.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2"> class="hljs-ln-code"> class="hljs-ln-line">{
    3.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="3"> class="hljs-ln-code"> class="hljs-ln-line">    "id": "identity_1",
    4.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="4"> class="hljs-ln-code"> class="hljs-ln-line">    "conversations": [
    5.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="5"> class="hljs-ln-code"> class="hljs-ln-line">      {
    6.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="6"> class="hljs-ln-code"> class="hljs-ln-line">        "from": "user",
    7.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="7"> class="hljs-ln-code"> class="hljs-ln-line">        "value": "COCO Yes: <|vision_start|>图像文件路径<|vision_end|>"
    8.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="8"> class="hljs-ln-code"> class="hljs-ln-line">      },
    9.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="9"> class="hljs-ln-code"> class="hljs-ln-line">      {
    10.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="10"> class="hljs-ln-code"> class="hljs-ln-line">        "from": "assistant",
    11.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="11"> class="hljs-ln-code"> class="hljs-ln-line">        "value": "A snow skier assessing the mountain before starting to sky"
    12.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="12"> class="hljs-ln-code"> class="hljs-ln-line">      }
    13.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="13"> class="hljs-ln-code"> class="hljs-ln-line">    ]
    14.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="14"> class="hljs-ln-code"> class="hljs-ln-line">},
    15.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="15"> class="hljs-ln-code"> class="hljs-ln-line">...
    16.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="16"> class="hljs-ln-code"> class="hljs-ln-line">]
     class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

    其中，"from"是角色（user代表人类，assistant代表模型），"value"是聊天的内容，其中<|vision_start|>和<|vision_end|>是Qwen2-VL模型识别图像的标记，中间可以放图像的文件路径，也可以是URL。

    实现脚本 ImageDataCSVToJson.py

    1.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1"> class="hljs-ln-code"> class="hljs-ln-line">import pandas as pd  # 导入pandas库，用于数据处理和CSV文件操作
    2.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2"> class="hljs-ln-code"> class="hljs-ln-line">import json  # 导入json库，用于处理JSON数据
    3.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="3"> class="hljs-ln-code"> class="hljs-ln-line"> 
    4.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="4"> class="hljs-ln-code"> class="hljs-ln-line">SAVED_CSV_PATH = "../../data/coco_2014_caption/coco-2024-dataset.csv"  # 定义CSV文件的路径，该文件包含COCO数据集的图片路径和描述
    5.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="5"> class="hljs-ln-code"> class="hljs-ln-line">SAVED_JSON_PATH = "../../data/coco_2014_caption/coco-2024-dataset_vl.json"  # 定义将要保存的JSON文件路径
    6.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="6"> class="hljs-ln-code"> class="hljs-ln-line"> 
    7.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="7"> class="hljs-ln-code"> class="hljs-ln-line"># 载入CSV文件
    8.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="8"> class="hljs-ln-code"> class="hljs-ln-line">df = pd.read_csv(SAVED_CSV_PATH)  # 使用pandas的read_csv函数读取CSV文件，并存储在DataFrame中
    9.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="9"> class="hljs-ln-code"> class="hljs-ln-line"> 
    10.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="10"> class="hljs-ln-code"> class="hljs-ln-line">conversations = []  # 初始化一个空列表，用于存储对话数据
    11.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="11"> class="hljs-ln-code"> class="hljs-ln-line"> 
    12.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="12"> class="hljs-ln-code"> class="hljs-ln-line"># 遍历DataFrame中的每一行数据
    13.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="13"> class="hljs-ln-code"> class="hljs-ln-line">for i in range(len(df)):
    14.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="14"> class="hljs-ln-code"> class="hljs-ln-line">    conversations.append({
    15.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="15"> class="hljs-ln-code"> class="hljs-ln-line">        "id": f"identity_{i+1}",  # 为每个对话分配一个唯一的ID
    16.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="16"> class="hljs-ln-code"> class="hljs-ln-line">        "conversations": [  # 定义对话内容的列表
    17.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="17"> class="hljs-ln-code"> class="hljs-ln-line">            {
    18.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="18"> class="hljs-ln-code"> class="hljs-ln-line">                "from": "user",  # 指定消息来源为用户
    19.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="19"> class="hljs-ln-code"> class="hljs-ln-line">                "value": f"COCO Yes: <|vision_start|>{df.iloc[i]['image_path']}<|vision_end|>"  #
    20.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="20"> class="hljs-ln-code"> class="hljs-ln-line">                # 用户发送的消息，包含图片路径，使用特定的标记来指示视觉信息的开始和结束
    21.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="21"> class="hljs-ln-code"> class="hljs-ln-line">            },
    22.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="22"> class="hljs-ln-code"> class="hljs-ln-line">            {
    23.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="23"> class="hljs-ln-code"> class="hljs-ln-line">                "from": "assistant",  # 指定消息来源为助手
    24.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="24"> class="hljs-ln-code"> class="hljs-ln-line">                "value": df.iloc[i]['caption']  # 助手的回复，即图片的描述
    25.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="25"> class="hljs-ln-code"> class="hljs-ln-line">            }
    26.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="26"> class="hljs-ln-code"> class="hljs-ln-line">        ]
    27.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="27"> class="hljs-ln-code"> class="hljs-ln-line">    })  # 将对话内容添加到conversations列表中
    28.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="28"> class="hljs-ln-code"> class="hljs-ln-line"> 
    29.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="29"> class="hljs-ln-code"> class="hljs-ln-line"># 保存为Json
    30.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="30"> class="hljs-ln-code"> class="hljs-ln-line">with open(SAVED_JSON_PATH, 'w', encoding='utf-8') as f:  # 打开文件用于写入，指定编码为utf-8
    31.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="31"> class="hljs-ln-code"> class="hljs-ln-line">    json.dump(conversations, f, ensure_ascii=False, indent=2)  # 使用json.dump函数将conversations列表转换为JSON
    32.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="32"> class="hljs-ln-code"> class="hljs-ln-line">    # 格式并写入文件，ensure_ascii=False允许写入非ASCII字符，indent=2使输出的JSON文件格式化，便于阅读
     class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

    生成的 json 文件内容如下：

    最后训练图片下载和json 数据工程结构如下

    总之，数据集下载与处理方式

    主要做了四件事情：

    1. 通过Modelscope下载coco_2014_caption数据集
    2. 加载数据集，将图像保存到本地
    3. 将图像路径和描述文本转换为一个csv文件
    4. 将csv文件转换为json文件

    2、Qwen2-VL  模型下载、训练、和测试

    2.1 Qwen2-VL  模型

     Qwen/Qwen2-VL-2B-Instruct网址：魔搭社区汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。icon-default.png?t=O83Ahttps://modelscope.cn/models/Qwen/Qwen2-VL-2B-Instruct

    这里还用到 SwanLab 进行数据可视化展示，所以需要注册安装 SwanLab

    SwanLab是一个类似Tensorboard的开源训练图表可视化库，有着更轻量的体积与更友好的API。除了能记录指标，还能自动记录训练的logging、硬件环境、Python环境、训练时间等信息。

    Swanlab 官网：https://swanlab.cn/

    Swanlab Github ：https://github.com/SwanHubX/SwanLab

        注意：记得 pip install swanlab  安装工具

    （如果不想使用的话，把train训练脚本中对应 Swanlab 的相关代码删除即可）

    2.2 Qwen2-VL  模型下载、以及集合图片数据进行训练

    实现脚本 Qwen2VLDownloadToTrain.py

    1.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1"> class="hljs-ln-code"> class="hljs-ln-line">from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
    2.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2"> class="hljs-ln-code"> class="hljs-ln-line">from qwen_vl_utils import process_vision_info
    3.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="3"> class="hljs-ln-code"> class="hljs-ln-line">from peft import PeftModel, LoraConfig, TaskType
    4.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="4"> class="hljs-ln-code"> class="hljs-ln-line"> 
    5.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="5"> class="hljs-ln-code"> class="hljs-ln-line">from datetime import datetime
    6.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="6"> class="hljs-ln-code"> class="hljs-ln-line">import time
    7.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="7"> class="hljs-ln-code"> class="hljs-ln-line"> 
    8.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="8"> class="hljs-ln-code"> class="hljs-ln-line">MODEL_NAME = "Qwen/Qwen2-VL-2B-Instruct"
    9.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="9"> class="hljs-ln-code"> class="hljs-ln-line">CACHE_DIR = "../../data"
    10.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="10"> class="hljs-ln-code"> class="hljs-ln-line">MODEL_SAVED_PATH = CACHE_DIR + "/" + MODEL_NAME
    11.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="11"> class="hljs-ln-code"> class="hljs-ln-line">MODEL_TRAIN_RESULT_OUTPUT_PATH = "../../output/Qwen2-VL-2B/"
    12.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="12"> class="hljs-ln-code"> class="hljs-ln-line">CHECKPOINT_NAME = "checkpoint-124"
    13.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="13"> class="hljs-ln-code"> class="hljs-ln-line">TEST_IMAGE_PATH = "../../data/test_images/TestImage.jpg"
    14.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="14"> class="hljs-ln-code"> class="hljs-ln-line"> 
    15.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="15"> class="hljs-ln-code"> class="hljs-ln-line">config = LoraConfig(
    16.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="16"> class="hljs-ln-code"> class="hljs-ln-line">    task_type=TaskType.CAUSAL_LM,
    17.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="17"> class="hljs-ln-code"> class="hljs-ln-line">    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    18.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="18"> class="hljs-ln-code"> class="hljs-ln-line">    inference_mode=True,
    19.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="19"> class="hljs-ln-code"> class="hljs-ln-line">    r=64,  # Lora 秩
    20.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="20"> class="hljs-ln-code"> class="hljs-ln-line">    lora_alpha=16,  # Lora alaph，具体作用参见 Lora 原理
    21.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="21"> class="hljs-ln-code"> class="hljs-ln-line">    lora_dropout=0.05,  # Dropout 比例
    22.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="22"> class="hljs-ln-code"> class="hljs-ln-line">    bias="none",
    23.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="23"> class="hljs-ln-code"> class="hljs-ln-line">)
    24.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="24"> class="hljs-ln-code"> class="hljs-ln-line"> 
    25.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="25"> class="hljs-ln-code"> class="hljs-ln-line"># default: Load the model on the available device(s)
    26.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="26"> class="hljs-ln-code"> class="hljs-ln-line">model = Qwen2VLForConditionalGeneration.from_pretrained(
    27.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="27"> class="hljs-ln-code"> class="hljs-ln-line">    MODEL_SAVED_PATH, torch_dtype="auto", device_map="auto"
    28.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="28"> class="hljs-ln-code"> class="hljs-ln-line">)
    29.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="29"> class="hljs-ln-code"> class="hljs-ln-line">model = PeftModel.from_pretrained(model, model_id=MODEL_TRAIN_RESULT_OUTPUT_PATH+"/"+CHECKPOINT_NAME, config=config)
    30.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="30"> class="hljs-ln-code"> class="hljs-ln-line">processor = AutoProcessor.from_pretrained(MODEL_SAVED_PATH)
    31.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="31"> class="hljs-ln-code"> class="hljs-ln-line"> 
    32.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="32"> class="hljs-ln-code"> class="hljs-ln-line">messages = [
    33.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="33"> class="hljs-ln-code"> class="hljs-ln-line">    {
    34.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="34"> class="hljs-ln-code"> class="hljs-ln-line">        "role": "user",
    35.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="35"> class="hljs-ln-code"> class="hljs-ln-line">        "content": [
    36.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="36"> class="hljs-ln-code"> class="hljs-ln-line">            {
    37.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="37"> class="hljs-ln-code"> class="hljs-ln-line">                "type": "image",
    38.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="38"> class="hljs-ln-code"> class="hljs-ln-line">                "image": TEST_IMAGE_PATH,
    39.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="39"> class="hljs-ln-code"> class="hljs-ln-line">            },
    40.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="40"> class="hljs-ln-code"> class="hljs-ln-line">            {"type": "text", "text": "描述一下图片是什么"},
    41.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="41"> class="hljs-ln-code"> class="hljs-ln-line">        ],
    42.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="42"> class="hljs-ln-code"> class="hljs-ln-line">    }
    43.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="43"> class="hljs-ln-code"> class="hljs-ln-line">]
    44.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="44"> class="hljs-ln-code"> class="hljs-ln-line"> 
    45.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="45"> class="hljs-ln-code"> class="hljs-ln-line"># start_time = datetime.now()  # 记录开始时间
    46.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="46"> class="hljs-ln-code"> class="hljs-ln-line">start_time = time.time()  # 记录开始时间
    47.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="47"> class="hljs-ln-code"> class="hljs-ln-line"> 
    48.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="48"> class="hljs-ln-code"> class="hljs-ln-line"> 
    49.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="49"> class="hljs-ln-code"> class="hljs-ln-line"># Preparation for inference
    50.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="50"> class="hljs-ln-code"> class="hljs-ln-line">text = processor.apply_chat_template(
    51.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="51"> class="hljs-ln-code"> class="hljs-ln-line">    messages, tokenize=False, add_generation_prompt=True
    52.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="52"> class="hljs-ln-code"> class="hljs-ln-line">)
    53.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="53"> class="hljs-ln-code"> class="hljs-ln-line">image_inputs, video_inputs = process_vision_info(messages)
    54.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="54"> class="hljs-ln-code"> class="hljs-ln-line">inputs = processor(
    55.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="55"> class="hljs-ln-code"> class="hljs-ln-line">    text=[text],
    56.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="56"> class="hljs-ln-code"> class="hljs-ln-line">    images=image_inputs,
    57.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="57"> class="hljs-ln-code"> class="hljs-ln-line">    videos=video_inputs,
    58.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="58"> class="hljs-ln-code"> class="hljs-ln-line">    padding=True,
    59.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="59"> class="hljs-ln-code"> class="hljs-ln-line">    return_tensors="pt",
    60.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="60"> class="hljs-ln-code"> class="hljs-ln-line">)
    61.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="61"> class="hljs-ln-code"> class="hljs-ln-line">inputs = inputs.to("cuda")
    62.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="62"> class="hljs-ln-code"> class="hljs-ln-line"> 
    63.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="63"> class="hljs-ln-code"> class="hljs-ln-line"># Inference: Generation of the output
    64.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="64"> class="hljs-ln-code"> class="hljs-ln-line">generated_ids = model.generate(**inputs, max_new_tokens=128)
    65.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="65"> class="hljs-ln-code"> class="hljs-ln-line">generated_ids_trimmed = [
    66.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="66"> class="hljs-ln-code"> class="hljs-ln-line">    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
    67.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="67"> class="hljs-ln-code"> class="hljs-ln-line">]
    68.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="68"> class="hljs-ln-code"> class="hljs-ln-line">output_text = processor.batch_decode(
    69.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="69"> class="hljs-ln-code"> class="hljs-ln-line">    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
    70.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="70"> class="hljs-ln-code"> class="hljs-ln-line">)
    71.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="71"> class="hljs-ln-code"> class="hljs-ln-line"> 
    72.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="72"> class="hljs-ln-code"> class="hljs-ln-line"># end_time = datetime.now()  # 记录结束时间
    73.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="73"> class="hljs-ln-code"> class="hljs-ln-line">end_time = time.time()  # 记录结束时间
    74.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="74"> class="hljs-ln-code"> class="hljs-ln-line">execution_time = end_time - start_time  # 计算执行时间
    75.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="75"> class="hljs-ln-code"> class="hljs-ln-line">print(f"Execution time: {execution_time}, output:{output_text}")
     class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

    训练过程如下图：

    训练测试集结果：

    SwanLab 进行训练结果展示如下图：

    2.3 加载上一步训练 lora 微调后的保存的结果模型，然后进行图片识别测试

    实现脚本 TestQwen2VLPracticeResult.py

    1.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="1"> class="hljs-ln-code"> class="hljs-ln-line">from transformers import Qwen2VLForConditionalGeneration, AutoProcessor  # 从transformers库中导入模型和处理器类
    2.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="2"> class="hljs-ln-code"> class="hljs-ln-line">from qwen_vl_utils import process_vision_info  # 从qwen_vl_utils库中导入视觉信息处理函数
    3.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="3"> class="hljs-ln-code"> class="hljs-ln-line">from peft import PeftModel, LoraConfig, TaskType  # 从peft库中导入PeftModel、LoraConfig和TaskType
    4.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="4"> class="hljs-ln-code"> class="hljs-ln-line"> 
    5.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="5"> class="hljs-ln-code"> class="hljs-ln-line">from datetime import datetime  # 导入datetime模块，用于时间操作
    6.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="6"> class="hljs-ln-code"> class="hljs-ln-line">import time  # 导入time模块，用于时间操作
    7.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="7"> class="hljs-ln-code"> class="hljs-ln-line"> 
    8.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="8"> class="hljs-ln-code"> class="hljs-ln-line"># 定义模型和路径变量
    9.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="9"> class="hljs-ln-code"> class="hljs-ln-line">MODEL_NAME = "Qwen/Qwen2-VL-2B-Instruct"  # 定义模型名称
    10.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="10"> class="hljs-ln-code"> class="hljs-ln-line">CACHE_DIR = "../../data"  # 定义缓存目录
    11.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="11"> class="hljs-ln-code"> class="hljs-ln-line">MODEL_SAVED_PATH = CACHE_DIR + "/" + MODEL_NAME  # 定义模型保存路径
    12.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="12"> class="hljs-ln-code"> class="hljs-ln-line">MODEL_TRAIN_RESULT_OUTPUT_PATH = "../../output/Qwen2-VL-2B/"  # 定义模型训练结果输出路径
    13.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="13"> class="hljs-ln-code"> class="hljs-ln-line">CHECKPOINT_NAME = "checkpoint-124"  # 定义检查点名称
    14.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="14"> class="hljs-ln-code"> class="hljs-ln-line">TEST_IMAGE_PATH = "../../data/test_images/TestImage.jpg"  # 定义测试图像路径
    15.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="15"> class="hljs-ln-code"> class="hljs-ln-line"> 
    16.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="16"> class="hljs-ln-code"> class="hljs-ln-line"># 配置LoRA
    17.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="17"> class="hljs-ln-code"> class="hljs-ln-line">config = LoraConfig(
    18.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="18"> class="hljs-ln-code"> class="hljs-ln-line">    task_type=TaskType.CAUSAL_LM,  # 设置任务类型为因果语言模型
    19.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="19"> class="hljs-ln-code"> class="hljs-ln-line">    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],  # 设置LoRA目标模块
    20.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="20"> class="hljs-ln-code"> class="hljs-ln-line">    inference_mode=True,  # 设置为推理模式
    21.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="21"> class="hljs-ln-code"> class="hljs-ln-line">    r=64,  # 设置LoRA秩
    22.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="22"> class="hljs-ln-code"> class="hljs-ln-line">    lora_alpha=16,  # 设置LoRA alpha，具体作用参见LoRA原理
    23.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="23"> class="hljs-ln-code"> class="hljs-ln-line">    lora_dropout=0.05,  # 设置Dropout比例
    24.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="24"> class="hljs-ln-code"> class="hljs-ln-line">    bias="none",  # 设置偏置类型
    25.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="25"> class="hljs-ln-code"> class="hljs-ln-line">)
    26.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="26"> class="hljs-ln-code"> class="hljs-ln-line"> 
    27.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="27"> class="hljs-ln-code"> class="hljs-ln-line"># 加载模型
    28.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="28"> class="hljs-ln-code"> class="hljs-ln-line">model = Qwen2VLForConditionalGeneration.from_pretrained(  # 从预训练路径加载模型
    29.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="29"> class="hljs-ln-code"> class="hljs-ln-line">    MODEL_SAVED_PATH, torch_dtype="auto", device_map="auto"
    30.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="30"> class="hljs-ln-code"> class="hljs-ln-line">)
    31.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="31"> class="hljs-ln-code"> class="hljs-ln-line">model = PeftModel.from_pretrained(  # 加载PeftModel
    32.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="32"> class="hljs-ln-code"> class="hljs-ln-line">    model, model_id=MODEL_TRAIN_RESULT_OUTPUT_PATH+"/"+CHECKPOINT_NAME, config=config
    33.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="33"> class="hljs-ln-code"> class="hljs-ln-line">)
    34.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="34"> class="hljs-ln-code"> class="hljs-ln-line">processor = AutoProcessor.from_pretrained(MODEL_SAVED_PATH)  # 从预训练路径加载处理器
    35.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="35"> class="hljs-ln-code"> class="hljs-ln-line"> 
    36.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="36"> class="hljs-ln-code"> class="hljs-ln-line"># 定义消息，包含用户输入的图像和文本
    37.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="37"> class="hljs-ln-code"> class="hljs-ln-line">messages = [
    38.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="38"> class="hljs-ln-code"> class="hljs-ln-line">    {
    39.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="39"> class="hljs-ln-code"> class="hljs-ln-line">        "role": "user",
    40.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="40"> class="hljs-ln-code"> class="hljs-ln-line">        "content": [
    41.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="41"> class="hljs-ln-code"> class="hljs-ln-line">            {
    42.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="42"> class="hljs-ln-code"> class="hljs-ln-line">                "type": "image",
    43.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="43"> class="hljs-ln-code"> class="hljs-ln-line">                "image": TEST_IMAGE_PATH,
    44.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="44"> class="hljs-ln-code"> class="hljs-ln-line">            },
    45.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="45"> class="hljs-ln-code"> class="hljs-ln-line">            {"type": "text", "text": "描述一下图片是什么"},
    46.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="46"> class="hljs-ln-code"> class="hljs-ln-line">        ],
    47.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="47"> class="hljs-ln-code"> class="hljs-ln-line">    }
    48.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="48"> class="hljs-ln-code"> class="hljs-ln-line">]
    49.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="49"> class="hljs-ln-code"> class="hljs-ln-line"> 
    50.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="50"> class="hljs-ln-code"> class="hljs-ln-line"># 记录开始时间
    51.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="51"> class="hljs-ln-code"> class="hljs-ln-line"># start_time = datetime.now()  # 使用datetime记录开始时间
    52.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="52"> class="hljs-ln-code"> class="hljs-ln-line">start_time = time.time()  # 使用time记录开始时间
    53.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="53"> class="hljs-ln-code"> class="hljs-ln-line"> 
    54.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="54"> class="hljs-ln-code"> class="hljs-ln-line"># 准备推理
    55.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="55"> class="hljs-ln-code"> class="hljs-ln-line">text = processor.apply_chat_template(  # 使用处理器应用聊天模板
    56.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="56"> class="hljs-ln-code"> class="hljs-ln-line">    messages, tokenize=False, add_generation_prompt=True
    57.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="57"> class="hljs-ln-code"> class="hljs-ln-line">)
    58.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="58"> class="hljs-ln-code"> class="hljs-ln-line">image_inputs, video_inputs = process_vision_info(messages)  # 处理视觉信息
    59.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="59"> class="hljs-ln-code"> class="hljs-ln-line">inputs = processor(  # 使用处理器处理输入
    60.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="60"> class="hljs-ln-code"> class="hljs-ln-line">    text=[text],
    61.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="61"> class="hljs-ln-code"> class="hljs-ln-line">    images=image_inputs,
    62.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="62"> class="hljs-ln-code"> class="hljs-ln-line">    videos=video_inputs,
    63.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="63"> class="hljs-ln-code"> class="hljs-ln-line">    padding=True,
    64.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="64"> class="hljs-ln-code"> class="hljs-ln-line">    return_tensors="pt",
    65.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="65"> class="hljs-ln-code"> class="hljs-ln-line">)
    66.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="66"> class="hljs-ln-code"> class="hljs-ln-line">inputs = inputs.to("cuda")  # 将输入数据移动到CUDA设备
    67.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="67"> class="hljs-ln-code"> class="hljs-ln-line"> 
    68.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="68"> class="hljs-ln-code"> class="hljs-ln-line"># 推理：生成输出
    69.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="69"> class="hljs-ln-code"> class="hljs-ln-line">generated_ids = model.generate(**inputs, max_new_tokens=128)  # 使用模型生成输出ID
    70.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="70"> class="hljs-ln-code"> class="hljs-ln-line">generated_ids_trimmed = [  # 修剪输出ID
    71.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="71"> class="hljs-ln-code"> class="hljs-ln-line">    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
    72.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="72"> class="hljs-ln-code"> class="hljs-ln-line">]
    73.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="73"> class="hljs-ln-code"> class="hljs-ln-line">output_text = processor.batch_decode(  # 使用处理器批量解码输出ID
    74.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="74"> class="hljs-ln-code"> class="hljs-ln-line">    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
    75.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="75"> class="hljs-ln-code"> class="hljs-ln-line">)
    76.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="76"> class="hljs-ln-code"> class="hljs-ln-line"> 
    77.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="77"> class="hljs-ln-code"> class="hljs-ln-line"># 记录结束时间并计算执行时间
    78.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="78"> class="hljs-ln-code"> class="hljs-ln-line"># end_time = datetime.now()  # 使用datetime记录结束时间
    79.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="79"> class="hljs-ln-code"> class="hljs-ln-line">end_time = time.time()  # 使用time记录结束时间
    80.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="80"> class="hljs-ln-code"> class="hljs-ln-line">execution_time = end_time - start_time  # 计算执行时间
    81.  class="hljs-ln-numbers"> class="hljs-ln-line hljs-ln-n" data-line-number="81"> class="hljs-ln-code"> class="hljs-ln-line">print(f"Execution time: {execution_time}, output:{output_text}")  # 打印执行时间和输出结果
     class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)">

    测试的图片：

    执行脚本的测试结果：

    Qwen2VL下载训练测试的工程结构如下图：

    六、工程下载

    工程下载地址：https://download.csdn.net/download/u014361280/90149228

    工程中的一些图片和模型等 data 资源被删掉了

    大家可以按下面执行顺序，data 资源，和 output 输出 会自动下载和生成

    附录

    1、如果运行代码中，报如下类似的错，对应的 pip install 安装对应的模块包即可

    注：本文转载自blog.csdn.net的PlutoZuo的文章"https://blog.csdn.net/PlutoZuo/article/details/134324851"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
    复制链接
    复制链接
    相关推荐
    发表评论

    评论记录：

    未查询到任何数据！