PyTorch与TensorFlow的对比分析及选择建议

PyTorch 和 TensorFlow近几年一直是深度学习领域的两大热门框架。PyTorch 和 TensorFlow都拥有丰富的API、广阔的用户群体，目前也都广泛用于学术研究和商业应用。我们在学习工作中到底应该选择哪个，这可能是很多初学者与从业者要问的问题。

今天我们将从以下几点来帮你更好的进行选择。

• PyTorch和TensorFlow有什么区别
• 如何根据实际选择最适合的框架

我们将从TensorFlow1.X 开始首先仔细介绍这两个框架，然后介绍一些可以帮助您确定哪种选择最适合您的框架的注意事项。

什么是 TensorFlow？

TensorFlow 由 Google 开发并于 2015 年作为开源发布。它源于 Google 的自主机器学习软件，该软件经过重构和优化以用于生产。

“TensorFlow”这个名字描述了你如何组织和执行数据操作。TensorFlow 和 PyTorch 的基本数据结构都是张量。当您使用 TensorFlow 时，您通过构建有状态的流程图对这些张量中的数据执行操作，有点像记住过去事件的流程图。

谁在使用 TensorFlow？

TensorFlow 以生产级深度学习库而闻名。它拥有庞大而活跃的用户群，以及大量用于训练、部署和服务模型的官方和第三方工具和平台。

2016 年 PyTorch 发布后，TensorFlow 的受欢迎程度有所下降。但在 2019 年底，谷歌发布了TensorFlow 2.0，这是一项重大更新，简化了库并使其更加用户友好，重新引起了机器学习社区的兴趣。

代码风格和功能

在 TensorFlow 2.0 之前，TensorFlow 要求您通过调用 API将图手动拼接在一起，构成流程图。然后通过编译模型来传递一组输出张量，并利用session.run()来调用输入张量。

Session 对象在运行时负责对数据流图进行监督，并且是运行数据流图的主要接口。Session拥有并管理Tensorflow运行时的所有资源，一般可以使用python的上下文管理器来使用Session。

在 TensorFlow 2.0 中，您仍然可以通过这种方式构建模型，但使用Eager Execution更容易，这是 Python 通常的工作方式。可立即评估操作，无需构建图：操作会返回具体的值，而不是构建以后再运行的计算图，因此您可以使用 Python 控制流而不是图形控制流来编写代码。

要查看差异，让我们看看如何使用每种方法将两个张量相乘。这是使用旧的 TensorFlow 1.0 方法的示例：

登录后复制

import tensorflow as tf

tf.compat.v1.disable_eager_execution()

x = tf.compat.v1.placeholder(tf.float32, name = "x")
y = tf.compat.v1.placeholder(tf.float32, name = "y")

multiply = tf.multiply(x, y)

with tf.compat.v1.Session() as session:
    m = session.run(
       multiply, feed_dict={x: [[2., 4., 6.]], y: [[1.], [3.], [5.]]}
    )
    print(m)
    
    
    
    
    登录后复制

[[ 2.  4.  6.]
 [ 6. 12. 18.]
 [10. 20. 30.]]
 

上面的代码代码使用 TensorFlow 2.x 中的tf.compat API 来访问 TensorFlow 1.x 的方法并禁用 Eager Execution。

首先声明输入张量x并使用tf.compat.v1.placeholder创建张量对象。然后定义要对它们执行的操作。接下来，使用tf.Session对象作为上下文管理器，创建一个容器来封装运行时环境，并通过将带有实际值的feed_dict输入到placeholder. 最后，还是在 session 里面，打印我们的结果。

使用 TensorFlow 2.0 中的 Eager Execution，只需tf.multiply()就可以达到相同的结果：

登录后复制

import tensorflow as tf

x = [[2., 4., 6.]]
y = [[1.], [3.], [5.]]
m = tf.multiply(x, y)




登录后复制

<tf.Tensor: shape=(3, 3), dtype=float32, numpy=
array([[ 2.,  4.,  6.],
       [ 6., 12., 18.],
       [10., 20., 30.]], dtype=float32)>
       

扩展

TensorFlow 拥有庞大且完善的用户群和大量工具来帮助生产机器学习。对于移动开发，它具有适用于JavaScript和 Swift 的API ，并且TensorFlow Lite可以压缩和优化物联网设备的模型。

由于Google 和第三方提供的大量数据、预训练模型等功能，可以快速上手并使用TensorFlow。

许多流行的机器学习算法和数据集都内置在 TensorFlow 中并且可以立即使用。除了内置数据集，您还可以访问Google Research 数据集或使用 Google 的数据集搜索来查找更多数据。

Keras 可以更轻松地启动和运行模型，因此可以在更短的时间内尝试新技术。事实上，Keras 是Kaggle前五名获胜团队中使用最广泛的深度学习框架。

当然，目前tensorflow还有一个缺点是从 TensorFlow 1.x 到 TensorFlow 2.0 的更新改变了太多功能，对于长期使用TensorFlow1.X。升级代码既乏味又容易出错。许多资源（如教程）可能并没有及时的实现tensorflow2.X的更新。

而PyTorch 没有这样向后兼容性问题，这可能是选择它而不是 TensorFlow 的一个原因。

Tensorflow 生态系统

TensorFlow 的 API、扩展和有用工具的一些亮点包括：

• 
  TensorFlow Hub，一个可重用机器学习模块的库
• 
  Model Garden，使用 TensorFlow 高级 API 的官方模型集合
• Hands-On Machine Learning with Scikit-Learn、Keras 和 TensorFlow，全面介绍使用 TensorFlow 的机器学习

什么是PyTorch？

PyTorch 由 Facebook 开发，并于 2016年首次公开发布。它旨在提供类似于 TensorFlow 的生产优化，同时使模型更易于编写。

由于 Python 程序员发现它使用起来非常自然，PyTorch 迅速获得了大量用户，这促使 TensorFlow 团队在 TensorFlow 2.0 中采用了许多 PyTorch 最受欢迎的功能。

谁在使用 PyTorch？

PyTorch 以在研究中的使用比在生产中的使用更广泛而闻名。然而，自从在 TensorFlow 之后的一年发布以来，PyTorch 的专业开发人员使用量急剧增加。

在2020 Stack Overflow Developer Survey最流行的“其他框架，库和工具”报道，专业开发人员中10.4％选择TensorFlow、4.1％选择PyTorch的名单。而在2018年百分比分别为TensorFlow 7.6％和PyTorch只是1.6％。

PyTorch在研究领域中用户较为广泛，像斯坦福大学等都已经用PyTorch来教授深度学习。

代码风格和功能

PyTorch 基于Torch，这是一个用 C 编写的用于进行快速计算的框架。 Torch 具有用于构建模型的 Lua包装器。

PyTorch将相同的 C 后端包装在 Python 接口中。但它不仅仅是一个包装器。开发人员从头开始构建它，使 Python 程序员可以轻松编写模型。底层的低级 C 和 C++ 代码针对运行 Python 代码进行了优化。由于这种紧密集成，使得PyTorch具有以下的优点：

• 更好的内存和优化
• 更合理的错误信息
• 模型结构的细粒度控制
• 更透明的模型行为
• 与 NumPy 更好的兼容性

这意味着我们可以直接在 Python 中编写高度自定义的神经网络组件，而无需使用大量低级函数。

PyTorch 的 Eager execution可以立即动态地实现张量操作，并且tensorflow2.X也参造了这一点，因此两者的 API 看起来很相似。

将NumPy对象转换为张量被写入PyTorch的核心数据结构中。这意味着你可以轻松地来回切换torch.tensor对象和numpy.array对象。

例如，你可以创建两个numpy.array对象，使用 PyTorch 的原生支持torch.from_numpy()将 NumPy 数组转换为张量，然后获取它们的元素乘积：

登录后复制

import torch
import numpy as np

x = np.array([[2., 4., 6.]])
y = np.array([[1.], [3.], [5.]])

m = torch.mul(torch.from_numpy(x), torch.from_numpy(y))

m.numpy()




登录后复制

array([[ 2.,  4.,  6.],
       [ 6., 12., 18.],
       [10., 20., 30.]])
       

使用torch.tensor.numpy()可以打印出矩阵乘法的结果，可以将一个tensor对象作为一个numpy数组打印出来。

torch和numpy之间最重要的区别是torch类中有不同的方法和属性，比如计算梯度的backward()和CUDA兼容性。

扩展

PyTorch在Torch后端添加了一个c++模块用于自微分。自微分可以实现torch神经网络反向传播时自动计算梯度的功能。

默认情况下，PyTorch使用eager模式计算。所以我们可以在构建神经网络时逐行运行它，这使得调试更容易。它也使一些需要条件判断的神经网络构建成为可能。这种动态执行对于大多数Python程序员来说更加直观。

PyTorch 生态系统

PyTorch 扩展的 API、扩展和有用工具的一些亮点包括：

• fast.ai API，可以非常迅速的建立模型
• TorchServe，AWS 和 Facebook 合作开发的开源模型服务器
• TorchElastic，使用Kubernetes大规模训练的深度神经网络
• PyTorch Hub，一个分享前沿模型的活跃社区

PyTorch vs TensorFlow

那么到底该如何选择这两种深度学习框架呢？使用哪个库取决于我们自己的编码风格、数据、模型以及我们的最终需求。

代码风格

如果你是Python程序员，那么使用PyTorch会很容易。它就像你期望的那样，开箱即用。

另一方面，TensorFlow比PyTorch支持更多的编码语言，比如c++ API。同样你也可以在JavaScript和Swift中使用TensorFlow。同时Keras中已经封装了很多现成的模块与工具，你可以拿来直接用，非常的方便。

数据与模型

当我们在上手一个项目时，可以了解下这两种框架中是否能找到我们需要的预训练模型，如BERT或DeepDream。同时，可能我们在GitHub上找模型的时候，可以关注下别人是用哪种框架进行模型构建的。并且有些时候，PyTorch和TensorFlow数据处理的库也不尽相同，你可以根据你自己的数据，来选择一个更方便的框架。

目标

我们在选择框架的过程中也要根据自己的最终目标来进行综合考量。

就例如在部署模型时，TensorFlow与Google Cloud紧密集成，PyTorch集成到AWS上的TorchServe中，但TensorFlow的TensorFlow Lite和它的Swift API可以方便帮我们在移动设备上部署模型。

总结

今天我们介绍了PyTorch和TensorFlow的选择，对于刚入门的新手，现在可能推荐PyTorch的人会多一些，但TensorFlow在2.X重大改版之后，感觉对新手也很友好。当然，不论是什么框架，只要选择了，我们就应该认真的学下去，而不是把时间浪费在纠结使用哪个框架上。

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删