Python之subprocess

Python之subprocess

文章目录


subprocess 是 Python 的一个内置模块，它允许你创建新的进程，连接到它们的输入/输出/错误管道，并获取它们的返回码。这个模块的目的是提供了一种替代 os.system()，os.spawn*()，os.popen*()，popen2. () 和 commands.() 等旧的模块和函数。

以下是 subprocess 模块中最常用的一些函数：

  1. subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, shell=False, check=False, timeout=None, text=None, encoding=None, errors=None)

这是创建和管理子进程的最简单方法。它接收一个命令行参数列表（args），并返回一个 CompletedProcess 实例。这个实例包含了运行的结果，包括标准输出、标准错误、返回码等。

  1. subprocess.Popen(args, *, stdin=None, stdout=None, stderr=None, shell=False, check=False, timeout=None, text=None, encoding=None, errors=None)

这是一个更复杂的创建和管理子进程的方式。Popen 对象创建后，主程序不会自动等待子进程完成。我们必须调用对象的 wait() 方法，主程序才会等待。这种方式提供了更大的灵活性，但也需要更多的代码来管理。

这里有一些简单的例子来说明如何使用 subprocess 模块：

import subprocess  
  
# 使用 subprocess.run  
result = subprocess.run(['ls', '-l'], stdout=subprocess.PIPE)  
print(result.stdout.decode())  
  
# 使用 subprocess.Popen  
process = subprocess.Popen(['ls', '-l'], stdout=subprocess.PIPE)  
output, error = process.communicate()  
print(output.decode())

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

请注意，这些例子都假设你在 Unix 或类 Unix 系统（如 Linux 或 MacOS）上运行代码。如果你在 Windows 上运行代码，你可能需要调整命令和参数。

《AUTOSAR谱系分解(ETAS工具链)》之总目录

id="article_content" class="article_content clearfix"> id="content_views" class="markdown_views prism-atom-one-dark">

刚了解AI学习会发现，有两个主要学习Ai框架，Pytorch和TensorFlow。看招聘信息，对两个技术要求的频率也相似。很多招聘信息中的要求是，熟悉两者中的一个。

所以刚学习AI，我们先确定用哪个框架开始学。 按网上搜索的信息来看(本人还没有入门，具体情况暂不清楚)。
网上很多文章，比较两者的优缺点，不能明确推荐哪个。 本人准备先用从Pytorch开始学习。

Pytorch和TensorFlow

  • 20年之前开源项目，用TensorFlow的多
  • 近期的大项目用Pytorch的多，建议用这个框架

纯粹是入门半个小时人的极端说服自己的理解。

MAC BOOK 配置Pytorch环境

class="table-box">
项目版本说明
MAC OSMonterey 12.0当前PyTorch官网提示，macOS 10.15 (Catalina)以上就可以
AnacondaAnaconda3-2024.10-1-MacOSX-arm64.pkg (根据自己需求安装,我是安装当前最新版本）环境管理工具
Conda24.9.2安装Anaconda会默认安装
CudaMAC 不用安装详细的看下面文章
Homebrew使用Anaconda，不需要安装
Python3.12当前PyTorch官网建议用3.9~3.12
PyTorch2.5.1当前官方显示的稳定版本
PyCharmPyCharm 2024.1.1开发编辑器
Jupyter Notebook编程和文档与一身，是用python进行数据科学、机器学习的神器

Anaconda : 管理安装包和管理环境的工具

Anaconda，中文大蟒蛇，是一个开源的Anaconda是专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。

Anaconda就是可以便捷获取包且对包能够进行管理，包括了python和很多常见的软件库和一个包管理器conda。常见的科学计算类的库都包含在里面了，使得安装比常规python安装要容易，同时对环境可以统一管理的发行版本

更详细的了解可以到:
文章：http://www.360doc.com/content/24/1110/21/3075914_1139007553.shtml
视频：https://www.bilibili.com/video/BV1AM4y1t7sF/?spm_id_from=333.337.search-card.all.click&vd_source=09d53554bea8934c8a48fa6efadcd22c
Anaconda使用教程:https://zhuanlan.zhihu.com/p/348120084

步骤1: 下载安装包

下载地址: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D

在这里插入图片描述
MAC BOOK 查看自己处理器类型

arch
// 输出结果: arm64 
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
  • 1
  • 2
步骤2: 检查是否安装成功

检查命令:

conda -V
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
  • 1

安装成功: 会输出conda版本号
在这里插入图片描述
其它补充操作: 可能是环境变量没有加载
重新加载环境变量：

source ~/.bash_profile
// 或关闭命令窗终端，重新打开
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
步骤3: 配置Anaconda数据源

通常anaconda的默认源在境外，下载速度会非常慢甚至导致网络错误下载包失败，打开Anaconda Prompt使用以下方法将清华镜像添加到anaconda。

conda info
// 看 channel url
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在这里插入图片描述

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ 
conda config --set show_channel_urls yes
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
步骤4: Anaconda 基本配置和使用
步骤1: 创建环境

如果对创建环境的意义不理解，可通过上面提供的参考文章和视频，了解Anaconda的用途和作用。

conda create -n 环境名
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在这里插入图片描述

conda info --envs
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在这里插入图片描述

步骤2: 激活(进入)环境(刚创建的环境)
conda activate 环境名称
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

前面变为环境名称，说明我们已经在新的环境里面。
在这里插入图片描述

步骤3: 在环境中安装工具包
// 在新建的环境里面运行
conda list
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

如果，没有安装过任何工具包，里面是空的
在这里插入图片描述

其实创建环境的时候可以直接指定当前环境的python版本，会自动安装好指定版本的Python。命令: conda create -n 环境名 python=3.12
因为我们上面没有指定版本，所以另给环境设置版本

给环境设置python版本

// 在新建的环境里面运行
conda install python=3.12
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在这里插入图片描述

CUDA 安装

CUDA 显卡的超级计算器
CUDA（Compute Unified Device Architecture）是由NVIDIA推出的一种通用并行计算架构，它允许开发者使用GPU进行高效的并行计算。简而言之，CUDA将GPU变成了一个超级计算器，能够处理复杂的计算任务。然而，要使用CUDA，您的计算机必须配备NVIDIA的GPU，并且需要安装相应的驱动程序。

GPU显卡的超级计算器
图形处理器（Graphics Processing Unit，GPU），又称显示核心（display core），显示芯片（display chip），视觉处理器（video processor），是一种用于处理图像和图形运算工作的协处理器 [1]，广泛应用在个人电脑、工作站和一些移动设备（如智能手机、平板电脑等）。
GPU作为硬件领域一个重要的分支，在科学计算、人工智能、游戏开发等领域应用广泛。商用GPU主要包括NVIDIA Geforce系列、AMD Radeon系列和 NVIDIA Tesla系列等，它们在图像处理等应用领域提供了高逼真的渲染效果，在科学计算等研究领域提供了强大的计算能力

AI开发是需要很大的算力能力，我们知道传统计算机运行应用的时候，算力是通过CPU进行。通过显卡GPU处理这些算力的能力是比CPU强很多(网上说的 ㅠㅠ) 。所以我们想用显卡的GPU算力能力，需要通过安装CUDA工具，就可以用到显卡的GPU算力。

那使用PyTorch能不能不安装CUDA?
可以！应为我们在PyTorch官网选择版本的时候，可以看到要么选择使用CUDA的，也可以选择纯CPU的。

在这里插入图片描述
注意: MAC版本是没有CUDA版本选择
在这里插入图片描述

到这里发现，用MAC开发就不需要安装CUDA！！！

MAC不能用CUDA，怎么用GPU计算？

pytorch在mac下默认使用的是cpu，因为mac没有cuda，所以需要安装苹果自己的metal库来支持深度学习框架使用GPU。

？？这里怎么安装metal库或怎么使用metal库，还没有理解，后续补充

## 使用 CUDA的代码
torch.cuda.is_available() #检查cuda是否可用
device=torch.device('cuda:0' if (torch.cuda.is_available()) else 'cpu') #cuda非空闲时使用cpu

## MAC环境下使用mps的代码
torch.backends.mps.is_available() #检查mps是否可用
device=torch.device('mps' if (torch.backends.mps.is_available()) else 'cpu') #mps非空闲时使用cpu
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

pytorch 安装

官网: https://pytorch.org/get-started/locally/

conda list
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在这里插入图片描述

python
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在这里插入图片描述
编写代码查看运行效果

import torch
x = torch.rand(5, 3)
print(x)
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在这里插入图片描述

PyCharm 使用

Python开发用什么开发工具好？最多的选择是VsCode和 PyCharm。
VsCode是免费，PyCharm收费。两个用的都多。本人因为Java开发用ntelliJ IDEA，所以继续使用熟悉的PyCharm。

步骤1：创建使用conda中创建的开发环境配置的项目

在这里插入图片描述

在这里插入图片描述

步骤2：新建python文件

在这里插入图片描述
在这里插入图片描述

import torch
import sys

x = torch.rand(5, 3)
print(x)
print("当前环境使用Python版本："+sys.version)
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

Jupyter Notebook

Jupyter Notebook 集编程和文档与一身，是用python进行数据科学、机器学习的神器。
它能够分段运行代码块，随时编写文档说明，有多种魔法函数…

使用PyCharm我们已经足够做编写python代码学习。但是网上看很多用Jupyter Notebook学习python和Ai。简单了解，他的好处是可以做简单的编写，又可以直接用文档形式记录。还有包含很多后续使用的魔法函数(这个要后续慢慢了解)。 先安装看怎么使用吧。

首先进入到conda中创建的环境里面

conda activate kimDev001
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

在这里插入图片描述

conda install jupyter notebook
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">
jupyter notebook
 class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}">

启动成功后用下面的url可访问使用jupyter notebook
在这里插入图片描述
详细使用方式慢慢学
在这里插入图片描述

data-report-view="{"mod":"1585297308_001","spm":"1001.2101.3001.6548","dest":"https://blog.csdn.net/jyzh33/article/details/144007220","extend1":"pc","ab":"new"}">>
注：本文转载自blog.csdn.net的PlutoZuo的文章"https://blog.csdn.net/PlutoZuo/article/details/132849633"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！