Linux服务器配置深度学习环境

Linux服务器的深度学习环境配置 Link to Linux服务器的深度学习环境配置

Anaconda Link to Anaconda

1. 下载Anaconda3至服务器

   可以使用清华源也可以使用原生

   BASH

   Copy to clipboard

   1

   wget https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh
   

2. 安装Anaconda3

   BASH

   Copy to clipboard

   1

   bash Anaconda3-2021.11-Linux-x86_64.sh
   

   第一步一直Enter，直到输入yes，完成协议的阅读

   第二步更改安装地址，自己输入自定义位置

   后面就一直yes就ok

   BASH

   Copy to clipboard

   1

   source ~/.bashrc 
   

   重启终端以完成

3. 修改pip缓存目录

   • 创建新的缓存目录

     PLAINTEXT

     Copy to clipboard

     1

     mkdir -p /mnt/lyx/pip_cache
     

   • 设置 pip 使用新缓存目录（写入配置文件）

     BASH

     Copy to clipboard

     1
     2
     3

     mkdir -p ~/.config/pip
     echo "[global]
     cache-dir = /mnt/lyx/pip_cache" > ~/.config/pip/pip.conf
     

4. 修改 Conda 缓存和包目录

   • 设置环境变量（推荐加到 ~/.bashrc 或 ~/.bash_profile 中）

     PLAINTEXT

     Copy to clipboard

     1
     2

     echo 'export CONDA_PKGS_DIRS=/mnt/lyx/conda_pkgs' >> ~/.bashrc
     source ~/.bashrc
     

   • 然后立即执行一次

     PLAINTEXT

     Copy to clipboard

     1
     2

     mkdir -p /mnt/lyx/conda_pkgs
     export CONDA_PKGS_DIRS=/mnt/lyx/conda_pkgs
     

   • 验证是否生效

     BASH

     Copy to clipboard

     1

     conda info
     

     你会看到

     SWIFT

     Copy to clipboard

     1

     pkgs_dirs: /mnt/lyx/conda_pkgs
     

5. 设置临时缓存目录

   BASH

   Copy to clipboard

   1
   2
   3
   4

   mkdir -p /mnt/lyx/tmp
   echo 'export TMPDIR=/mnt/lyx/tmp' >> ~/.bashrc
   echo 'export PIP_CACHE_DIR=/mnt/lyx/pip_cache' >> ~/.bashrc
   source ~/.bashrc
   

HuggingFace Link to HuggingFace

1. 创建Access Token

   https://huggingface.co/settings/tokens此处创建Write权限的token并复制

2. 登陆自己的huggingface账号

   BASH

   Copy to clipboard

   1

   huggingface -cli
   

   输入更改复制的token

3. 更改huggingface默认下载地址

   BASH

   Copy to clipboard

   1
   2
   3

   mkdir /mnt/lyx/huggingface_cache
   echo 'export HF_HOME="/mnt/lyx/huggingface_cache"' >> ~/.bashrc
   source ~/.bashrc