Transformer、TensorFlow与PyTorch的关系探讨

PyTorch 是一种用于构建深度学习模型的功能完备框架,同时tensorflow也是常用的框架之一。大家在学习的时候,尝尝会用来做比较。那么pytorch和tensorflow有什么区别?大家所关心的问题,解答来了。



pytorch和tensorflow有什么区别?

创建和运行计算图可能是两个框架最不同的地方。在PyTorch中,图结构是动态的,这意味着图在运行时构建。而在TensorFlow中,图结构是静态的,这意味着图先被“编译”然后再运行。

举一个简单的例子,在PyTorch中你可以用标准的Python语法编写一个for循环结构

登录后复制

for _ in range(T):
    h = torch.matmul(W, h) + b
    

此处T可以在每次执行代码时改变。而TensorFlow中,这需要使用“控制流操作”来构建图,例如tf.while_loop。TensorFlow确实提供了dynamic_rnn用于常见结构,但是创建自定义动态计算真的更加困难。

PyTorch中简单的图结构更容易理解,更重要的是,还更容易调试。调试PyTorch代码就像调试Python代码一样。你可以使用pdb并在任何地方设置断点。调试TensorFlow代码可不容易。要么得从会话请求要检查的变量,要么学会使用TensorFlow的调试器(tfdbg)。

transformer TensorFlow 和 pytorch 关系 tensorflow与pytorch_深度学习

灵活性

tensorflow:静态计算图,数据参数在CPU与GPU之间迁移麻烦,调试麻烦

pytorch:动态计算图,数据参数在CPU与GPU之间迁移十分灵活,调试简便



计算速度

同等条件下:

tensorflow 在CPU上运行速度比 pytorch 快

tensorflow 在GPU上运行速度和 pytorch 差不多



依赖库

tensorflow:支持更多库函数,比如图像数据预处理方式会更多

pytorch:正在扩充,未来和tensorflow应该差别不大



数据加载

tensorflow:API设计庞大,使用有技巧,但有时候不能直接把数据加载进TensorFlow

pytorch:API整体设计粗糙,但加载数据的API设计很友好。加载数据的接口由一个数据集、一个取样器和一个数据加载器构成。



设备管理

tensorflow:不需要手动调整,简单

pytorch:需要明确启用的设备

关于这点,凭个人喜好,我比较喜欢手动启用CUDA_VISIBLE_DEVICES,我个人对内存、显存的管理较严。


免责声明:本文系网络转载或改编,未找到原创作者,版权归原作者所有。如涉及版权,请联系删

QR Code
微信扫一扫,欢迎咨询~

联系我们
武汉格发信息技术有限公司
湖北省武汉市经开区科技园西路6号103孵化器
电话:155-2731-8020 座机:027-59821821
邮件:tanzw@gofarlic.com
Copyright © 2023 Gofarsoft Co.,Ltd. 保留所有权利
遇到许可问题?该如何解决!?
评估许可证实际采购量? 
不清楚软件许可证使用数据? 
收到软件厂商律师函!?  
想要少购买点许可证,节省费用? 
收到软件厂商侵权通告!?  
有正版license,但许可证不够用,需要新购? 
联系方式 155-2731-8020
预留信息,一起解决您的问题
* 姓名:
* 手机:

* 公司名称:

姓名不为空

手机不正确

公司不为空