首页 最新 热门 推荐

  • 首页
  • 最新
  • 热门
  • 推荐

pytorch自动求梯度autograd

  • 25-04-20 09:01
  • 2961
  • 11316
juejin.cn

autograd是pytorch构建神经网络的核心。

在 PyTorch 中,结合以下代码例子,当你对一个张量 x 设置 requires_grad=True 时,你实际上是告诉 PyTorch 需要跟踪所有对这个张量的操作以便未来可以计算梯度。当你调用 out.backward() 时,PyTorch 会自动计算关于 out 的梯度,并逆向传播回 x。

在以下代码中:

python
代码解读
复制代码
x = torch.ones(2,2) print(x) x.requires_grad=True print(x) y = x + 2 z = y*y*3 out = z.mean() print(out) out.backward() print(x.grad) print(y.grad) # 这一行会报错,因为 y 不需要梯度,y为非叶子张量

y 是由 x 通过一个简单的加法操作得到的。由于 y 本身并没有设置 requires_grad=True,PyTorch 没有跟踪 y 的操作历史,因此无法计算 y 关于 out 的梯度。

如果你想要计算 y 的梯度,你需要在创建 y 之前也设置 requires_grad=True。但是,通常情况下,我们不需要对中间变量求梯度,我们只需要对最终输出的梯度感兴趣,然后通过反向传播计算出所有需要的梯度。

如果你确实需要对 y 求梯度,可以这样做:

python
代码解读
复制代码
x = torch.ones(2,2, requires_grad=True) y = x + 2 z = y*y*3 out = z.mean() out.backward() print(x.grad) # 计算 x 的梯度 print(y.grad) # 现在可以计算 y 的梯度了

在这个修改后的代码中,x 和 y 都设置了 requires_grad=True,因此 PyTorch 会跟踪它们所有的操作,你可以计算 y 关于 out 的梯度。但是请注意,通常情况下,我们只需要计算最终输出(在这个例子中是 out)关于输入变量(在这个例子中是 x)的梯度。

注:本文转载自juejin.cn的学点技术儿的文章"https://juejin.cn/post/7493738108979806208"。版权归原作者所有,此博客不拥有其著作权,亦不承担相应法律责任。如有侵权,请联系我们删除。
复制链接
复制链接
相关推荐
发表评论
登录后才能发表评论和回复 注册

/ 登录

评论记录:

未查询到任何数据!
回复评论:

分类栏目

后端 (14832) 前端 (14280) 移动开发 (3760) 编程语言 (3851) Java (3904) Python (3298) 人工智能 (10119) AIGC (2810) 大数据 (3499) 数据库 (3945) 数据结构与算法 (3757) 音视频 (2669) 云原生 (3145) 云平台 (2965) 前沿技术 (2993) 开源 (2160) 小程序 (2860) 运维 (2533) 服务器 (2698) 操作系统 (2325) 硬件开发 (2491) 嵌入式 (2955) 微软技术 (2769) 软件工程 (2056) 测试 (2865) 网络空间安全 (2948) 网络与通信 (2797) 用户体验设计 (2592) 学习和成长 (2593) 搜索 (2744) 开发工具 (7108) 游戏 (2829) HarmonyOS (2935) 区块链 (2782) 数学 (3112) 3C硬件 (2759) 资讯 (2909) Android (4709) iOS (1850) 代码人生 (3043) 阅读 (2841)

热门文章

109
人工智能
关于我们 隐私政策 免责声明 联系我们
Copyright © 2020-2025 蚁人论坛 (iYenn.com) All Rights Reserved.
Scroll to Top