Login

13928244600bandao-sports@wangaocn.com

  1. 半岛 > 新闻动态 > 行业资讯

半岛·体育官方网站一步一步在Windows上配置机器学习、深度学习环境!

作者:小编 日期:2024-04-30 04:50:39 点击数:

  半岛·体育官方网站一步一步在Windows上配置机器学习、深度学习环境!虽然大多数深度学习模型都是在 Linux 系统上训练的,但 Windows 也是一个非常重要的系统,也可能是很多机器学习初学者更为熟悉的系统。 要在 Windows 上开发模型,首先当然是配置开发环境。 Kaggle Master 及机器学习实践者 Abhinand 立足于自己的实践,给出了一种简单易行的 Windows 深度学习环境配置流程。

  本文将介绍在 Windows 计算机上配置深度学习环境的全过程,其中涉及安装所需的工具和驱动软件。出人意料的是,即便只是配置深度学习环境,任务也不轻松。你很有可能在这个过程中犯错。我个人已经很多次从头开始配置深度学习环境了,但是通常是在对程序员更友好的操作系统 Linux 中。

  而对于 Windows 操作系统,没有多少文章详细解释这一过程。所以我打算自己来试试。这些天,经过多次试错之后,我终于找到了解决方案。这个方法不仅能够配置成功,还比我见过的教程简单得多。

  相信我,我自己也不喜欢在 Windows 上鼓捣 CUDA。但我们常常遇到这种情况:开发者经常需要在并非深度学习或程序开发专用的笔记本电脑或更强大的硬件上工作。在这种情况下,你并不总能避免使用 Windows。如果你遇到这种情况,或者正好拥有一台 Windows 计算机,又或者还不能熟练使用 Linux,那么这份指南肯定能帮到你。

  开发深度学习应用涉及到训练神经网络,这自然需要执行大量计算。也因此,我们需要越来越多的并行运算,而 GPU 正好能够满足我们的需求。这也是当前 GPU 需求旺盛的主要原因之一。大多数深度学习框架都自带 GPU 加速支持,这让开发者和研究者无需执行任何 GPU 编程就能在几分钟内使用 GPU 进行计算。

  大部分这些框架都(只)支持 CUDA,而这只能在英伟达 GPU 上使用,这也是你需要使用英伟达 GPU 的原因。但是,使用 AMD 的 GPU 也不是不可能,相关信息可参阅:。

  不过,就算你没有 GPU,也依然可以继续本教程。但为了有效进行深度学习,至少你要有好用的 CPU、内存和存储空间。

  另外,对于本教程,你当然需要使用 Windows 10 系统。我也假设你对 Python 软件包和环境具备基本认知。不管怎样,后面都会给出解释。

  本教程假设你的操作系统是刚装好的,没有执行过额外的修改。不过只要你知道自己在做什么,依然可以参考本教程。

  第一步当然是安装 Python。我建议使用 Mini-Conda 来安装 Python。先给刚入门的新手解释一下原因。

  Conda 是一个软件包管理工具,可以帮助你安装、管理和移除各种不同的软件包。不过 Conda 并不是唯一的选择,还有 pip——这是我很喜欢的 Python 默认软件包管理工具。这里我们选择 Conda 的原因是在 Windows 上使用它更简单直接。

  Anaconda 和 Mini-Conda 都是 Conda 的软件发行版,其中预安装了一些非常有用的数据科学 / 机器学习软件包,能节省很多时间。Anaconda 包含 150 多个在数据科学和机器学习中有用的软件包,基本上包含了你可能需要的一切,而 Mini-Conda 仅包含一些必需的工具和软件包。

  我推荐使用 Mini-Conda,因为我喜欢对所安装的软件包有(几乎)完整的控制权。清楚地了解你所安装的东西完全不是坏事。当然这还能帮你节省一些存储空间,你也不会装上几十个你可能永远也用不上的奇怪软件包。

  现在你可以通过以下命令检查 Conda 和 Python 是否安装成功。如果安装成功,则会显示版本号;否则你可能需要再次正确安装 Mini-Conda 并将其加入到 PATH。

  这一步很重要,但很多人会忽视它。使用 Anaconda 这种包含所有已知软件包的工具是可以理解的,但如果要开发自己的项目,真正构建一些东西,你可能还是需要一个专门针对该项目或你的工作性质的定制开发环境。使用专门虚拟环境的另一大优势是你可以将软件包与全局设置隔离开。这样,就算你在该环境中使用软件包时搞错了,你也可以轻松地丢弃它们,而不对全局软件包产生任何影响。

  这也能让你灵活地使用任何之前版本的 Python 创建环境。这样,你就可以避免使用那些还不稳定的新特性,之后再根据支持情况选择是否升级。

  创建 Conda 环境还算简单。为了方便解释,我创建了一个名为 tensorflow 的环境,你可以将其改为任何名称。我将使用 Python 3.7,因为我知道 TensorFlow 对其有很好的支持。顺便一提,这将是安装 TensorFlow 的位置,我还会创建一个名为 torch 的环境来安装 PyTorch。

  环境创建完成之后,你可以使用以下命令进入该环境,其中的 tensorflow 只是我们之前提供给该环境的名称。

  然后,你可能会在左边看到 (base),如上图所示,此时你已不在任何环境中。之后,你再进入任何环境,你应该都会看见环境名。

  此外,你还可以在环境中安装 nb 工具,并将其链接到我们之前安装的 Jupyter Notebook。

  要验证每个环境是否都已安装了各自的软件包,你可以进入各个环境,执行 conda list,这会显示该环境中已安装的所有软件包。

  不要因为这个列表很长而感到困扰。Conda 已经妥善地处理了主要部分和依赖包。一些 GPU 术语

  GPU 驱动:顾名思义,GPU 驱动是让操作系统及程序能使用 GPU 硬件的软件。游戏玩家肯定很熟悉这个。如果你喜欢打游戏,你可能需要让这个软件保持最新以获得最好的游戏体验。

  CUDA:简单来说,这是英伟达开发的一个编程接口层,能让你调用 GPU 的指令集及其并行计算单元。

  举个例子,如果你有一台消费级 GPU,不管是 GeForce 系列还是 Titan 系列,你都可以在下图中看到你的 GPU 是否支持 CUDA。

  之前已经提到,我的 GPU 是右侧列表中的 RTX 2060 Max-Q。另外,你不必在意显卡型号名称是否与该列表中的名称完全匹配,Max-Q 和 Super 的底层架构一样,只在 TDP、CUDA 核及张量核数量方面有一些差异。

  CuDNN:即 CUDA Deep Neural Network 软件库,这是一个用于深度神经网络的 GPU 加速原语库。cuDNN 为前向和反向卷积、池化、归一化和激活层等标准例程提供了经过高度微调的实现。

  (可选)TensorRT:NVIDIA TensorRT 是一套用于高性能深度学习接口的 SDK。其包含深度学习接口优化器和运行时优化器,能为深度学习接口应用提供低延迟和高通量的特性。

  如果你还没有安装驱动,你可能需要运行一次 Windows 更新,它会自动处理有用软件的安装过程,比如英伟达控制面板。这能帮助你获悉 GPU 的相关信息,还有一些与本文无关的设置。

  英伟达控制面板就绪之后,你可以在开始菜单打开它,也可以右键点击桌面,然后选择英伟达控制面板。

  打开之后,你可以点击「帮助→系统信息」来查看 GPU 驱动版本。驱动版本号列在「细节」窗口的顶部。

  如上图所示,我的驱动版本是 456.x,远超过 418.x 的最低要求,所以我不必安装新驱动。

  但你的电脑可能不是这样的。要安装最新版的驱动,可访问 ,然后输入 GPU 信息,下载合适的驱动。

  驱动下载完成后,运行安装包,选择快速安装会更轻松。驱动安装完成之后,可使用英伟达控制面板进行验证。

  另一个安装驱动的方法是使用英伟达的 GeForce Experience 应用程序。只要你购买的是主打游戏的电脑,应该都预装了该软件。安装过程很简单。

  这一步是可选的。如果你已经按照上面的步骤安装了驱动,或你的电脑没有预装该软件,那就不用在乎这个步骤。

  你可在这里下载该程序:,然后跟着安装流程将其安装到电脑上。安装完成半岛·体育-bandao sports,打开它,进入驱动选项卡,检查更新并安装新驱动。你也可以在该应用中查看驱动的版本号。

  现在安装驱动过程中最重要的步骤已经完成,你可以选择手动安装 CUDA 工具包,也可以选择在安装 TensorFlow 或 PyTorch 时留给 Conda 来安装(强烈推荐后者)。

  通过 anaconda 通道安装 TensorFlow 的 GPU 支持软件。使用 conda 而非 pip 安装 TensorFlow 的一大优势是 conda 的软件包管理系统。使用 conda 安装 TensorFlow 时,conda 还会安装所有必需和兼容的依赖包。这个过程是自动的,用户无需通过系统软件包管理器或方式安装任何软件。

  其中也包含 TensorFlow 或 PyTorch 所需的版本合适的 CUDA 工具包。因此,使用 conda 能让这个过程变得非常简单。

  我们只能在安装了 TensorFlow GPU 的环境中看到所安装的 CUDA 工具包。这既不会影响到全局系统的 CUDA 版本,同时也能满足 TensorFlow 和 PyTorch 的不同版本 CUDA 需求。这就是使用虚拟环境的最大好处,它能让不同的虚拟环境完全隔离开。

  要验证 TensorFlow 和所需的软件包是否成功安装,你可以执行 conda list,这会显示已安装软件包的列表,你应该能在其中找到与 TensorFlow 相关的软件包以及 CUDA 工具包。

  安装 PyTorch 的过程与安装 TensorFlow 其实没太大差异。conda 让这一切都变得非常简单。

  和之前一样,你可以使用 conda list 验证安装情况,也可使用以下代码在 Python 上执行验证。

  有时候,你觉得一切都很顺利,准备开始使用这些工具时却遇到了一些重大错误。如果你正好遇到了这种情况,有可能是机器的问题,也可能是流程出错了,不能一概而论,要具体问题具体分析。

  为了帮助你更好地验证安装情况,并确保 TensorFlow 和 PyTorch 使用的是指定的硬件,这里分享一些笔记。

  你可以在 的 dl-setup-win 文件夹中找到它们。你可以克隆这些笔记然后运行其中的代码。如果返回的信息正确,你就可以放手开发了。

  我一直使用这套配置完成一些轻量级的深度学习工作,反正这套本地硬件足够了。现在几周过去了,一切都还不错。但是,在此之前我还尝试过一些方法,也出现过一些严重问题。

  比如有一次我尝试了这里的方法:,其中涉及在 WSL(Windows Subsystem for Linux)中启用 CUDA 和英伟达驱动以便使用 GPU 来进行深度学习训练。目前这个功能还在预览阶段,但一旦官方发布,必将为深度学习实践者带来重大影响。这能将让人惊喜的 WSL 与 CUDA/GPU 驱动结合到一起。

  不过这是有条件的。要想使用这一功能,你必须参与 Windows Insider Program 项目。当然,根据我的经历,内部预览版往往有很多漏洞。我在使用时遇到过很多问题,包括所有 Windows 应用不再响应、GSOD(绿屏死机)错误、未正确启动、驱动故障。我个人不喜欢不稳定的环境,所以选择退出只是时间问题。

  替代选择包括完全不使用 Windows,只使用基于 Linux 的系统,享受更加流畅的体验。只不过 Linux 没有 Windows 中那样花哨的 GUI 安装工具。


随便看看