GPU加速-篇外

使用gpu加速机器学习训练速度。我的显卡是NVIDIA RTX 3090

此篇可随意转载！Update 2025.1.18

前言

虽然在Mac上开发比较方便。但是我们需要用到GPU的时候，用Mac就不方便了。我们有两种方法：

一种是使用云GPU资源，

一种是使用NVIDIA显卡进行加速。

软件开发实践中，RL、LLM开发需要跟RL agent交互，而RLagent无法兼容云（例如 Colab、飞桨AIStudio）或者LLM Agent需要调用本地程序。因此，本文主要介绍利用本地GPU进行训练加速。

一、Ubuntu环境安装

Ubuntu环境安装

二、Windows环境安装

1.检查显卡驱动的版本

从Win10的控制面板或者鼠标右键中查找NVIDIA控制面板。点击帮助–>系统信息–>组件。

可以看到显卡支持的CUDA的版本。

Win10下高版本驱动是可以兼容低版本的CUDA。

命令行查看GPU利用率(GPU-Util)：nvidia-smi

注意：Ubuntu上显卡驱动有可能DROP，只能到恢复模式命令行重新安装。显卡驱动版本不影响我们选择合适的CUDA+cuDNN。

2.安装CUDA

下载CUDA本机安装文件。

提示先安装微软Visual Studio，版本不用最新，免费版就行。只要安装了Visual C++就可以了。然后我们按照一般的windows安装软件的步骤安装CUDA。

安装完成后检查Windows环境变量：

可以看到安装程序自动添加了2条环境变量。

命令行敲nvcc -V 可以看到安装已经成功，例子：

# CUDA11.2版本
C:\Users\EDZ>nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Mon_Nov_30_19:15:10_Pacific_Standard_Time_2020
Cuda compilation tools, release 11.2, V11.2.67
Build cuda_11.2.r11.2/compiler.29373293_0

4. 安装cuDNN

cuDNN可以提升CUDA的本地运行效率，没安装不影响CUDA运行。

下载cuDNN，需要注册/登录。找到CUDA对应的cuDNN版本。

找到CUDA默认安装目录 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x 。把文件解压缩后复制进去。

进入命令行，看到PASS，确认cuDNN安装成功：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\extras\demo_suite>deviceQuery.exe
deviceQuery.exe Starting...
...
Result = PASS

2.1 Windows WSL2安装

这种方式对操作系统版本有要求，参考下图中的版本号（2025.01）：

安装方案 win11+wsl2+ubuntu2004配置cuda+cudnn+pytorch 外链

wsl中的ubuntu的根目录可以通过win10的搜索访问，快捷地址是：

\\wsl$\Ubuntu\home\ouyang

wsl中的ubuntu要用pip安装torch，否则会报错（2025.01）

三、其他GPU环境

3.1 谷歌Colab

使用海外虚拟信用卡开通Colab Pro服务，A100（40G显存），V100（16G显存），T4（16G显存）。

例如notebook脚本：dreambooth，点击右上菜单，选中“更改运行时类型”，选高RAM+A100即可。Colab的优势是网速极快，验证新算法最好用它。

省钱小妙招：巧用汇率可以省超过50%，比如选择土耳其里拉。