Engineering on 33

AutoDL 下载 HF 数据集配置环境一次性跑通！稳定 15MB+

Sun, 28 Jun 2026 02:30:00 +0000

在AutoDL的服务器上，我在下载数据集和模型权重的时候踩了特别多的坑。我尝试用过云盘传也试过下载在本地，再通过服务器上传全部都失败了！不是上传特别慢就是数据集太多，太散，太难传。最后，我找到了解决方法的最终版本，下载速度稳定15MB+

一：创建conda环境 conda create -n diffusionvl python=3.10 -y conda activate diffusionvl 具体包的安装暂且跳过，我们核心讲下载数据集的部分二：配置huggingface环境这里有非常多的版本，有用脚本的，有用Python的，还有用CLI，这里我只推荐一个 hfd （足足浪费了两天时间）首先下载 wget https://hf-mirror.com/hfd/hfd.sh chmod a+x hfd.sh 安装hfd.sh依赖（aria2c） apt update && apt install -y aria2 设置环境变量 export HF_ENDPOINT=https://hf-mirror.com

最关键的一步，加速! (16线程+分块下载) export HFD_DOWNLOADER=“aria2c -x 16 -s 16 -k 1M”

三：下载数据集（下载模型也同理）这里我以我下载的数据集为例：执行hfd.sh下载LLaVA-Pretrain数据集 /root/autodl-tmp/DiffusionVL/data/hfd.sh liuhaotian/LLaVA-Pretrain –dataset \ –local-dir /root/autodl-tmp/DiffusionVL/data/LLaVA-Pretrain

前面是我下载的地址hfd.sh ，中间为数据集的名字，后面是我要下载数据集的位置（当然可以直接丢给gpt，告诉它仿照这一行命令）

如果中间碰到什么问题，可以关掉窗口，再次执行这个命令，可以断点续传

解压 unzip -q /root/autodl-tmp/DiffusionVL/data/LLaVA-Pretrain/images.zip \ -d /root/autodl-tmp/DiffusionVL/data/LLaVA-Pretrain/images

万字长文吐血整理：深度学习环境搭建笔记

Sun, 28 Jun 2026 02:30:00 +0000

环境作为一个新手劝退，老手浪费时间的东西就算已经完全熟练配置环境也会遇到各种问题

本人短时间内经历了笔记本/服务器等四到五次完整环境的搭建，从CUDA torch版本不适配-到数据集/模型太大上传太慢，再到没有科学上网安装不了git包等等各种问题每次配置环境都需要花费3-4个小时的时间，为避免后续再次浪费时间（和算力）整理了自己学习以来配置环境的经验个人感觉还是涵盖了大部分情况的，后续有新的方法会继续更新笔记，如有好的方法虚心求教~

通用

一»初始配置配置CUDA 配置显卡驱动配置miniconda/miniforge3/anconda（这里推荐miniconda）配置清华源（如果apt更新慢这里也可以配置清华源）创建conda环境

二»配置conda环境/UV环境 1：对于复现论文/复现别人项目在pyproject.toml中将与torch相关的注释掉根据自身CUDA版本安装torch （50系显卡使用cu128）根据你的项目pip install -e . 跑训练/推理脚本缺什么补什么 2：对于自己的项目根据自身CUDA版本安装torch （50系显卡使用cu128）用什么安装什么三»>下载数据集/模型统一推荐使用hfd镜像+aria2c下载，速度能稳定15MB跑满带宽其他的方式都尝试过，最终不如这个 wget hfd.sh下载脚本 sudo apt install aria2 chmod a+x hfd.sh export HF_ENDPOINT=镜像网站 export HFD_DOWNLOADER=“aria2c -x 16 -s 16 -k 1M” 你的脚本地址下载模型/数据集参数下载地址

服务器

对于服务器，优先在本地做好代码和环境，后续直接打包上传，也可以镜像整体迁移 1：本地->服务器 1使用filezilla等SFTP协议的上传工具，注意使用高宽带网络（热点）校园网慢点 2将所有的代码上传，不要上传数据集/模型权重 3数据集/模型权重直接使用通用里面的下载命令下载到服务器（上传会慢） 4配置conda环境 2：直接服务器（没有魔法的话） 1先在本地git clone好，然后上传 2在本地下载好魔法安装不了的环境，然后上传服务器安装 2下载数据集/模型权重 3配置conda环境

常见问题解决

1：GPU无法使用—>torch版本不对 print(torch.cuda.is_available())确定能不能使用记住自己是什么torch版本，配置环境先配置好torch 2：下载速度巨慢/连接超时！！！对于模型/数据集：使用我上述的方法对于环境包：配置清华源，不行使用aria2c下载安装，再不行找一个有魔法的机子再上传 3：版本不适配/报错根据自己的项目先确定好自己到底要用什么！不要后面不断改把环境搞脏了先确定好环境-针对能改的包进行更新每次环境跑通后，记录： pip freeze > requirements_freeze.txt conda env export > environment.yaml 4：

网站动态能力测试

Sat, 27 Jun 2026 17:00:00 +0000

这篇文章用于测试站点增强功能：文章目录、代码复制、图片放大、Mermaid 图表和 LaTeX 数学公式。

代码复制

def hello_site(name: str) -> str:
    return f"Hello, {name}"

Mermaid 图表

flowchart LR A[写 Markdown] --> B[Hugo 构建] B --> C[Nginx 发布] C --> D[HTTPS 访问]

LaTeX 数学公式

行内公式：$E = mc^2$

块级公式：

$$ \mathcal{L}(\theta) = - \sum_{i=1}^{n} y_i \log p_\theta(x_i) $$

Engineering 工程笔记

Sat, 27 Jun 2026 00:00:00 +0000

这个栏目用于记录工程实践，包括服务器配置、部署流程、自动化脚本和日常工具链。