文章目录
- 深度学习常用研发项目及所需依赖包
- 准备工作
- 环境一:大模型训练/推理 + Web后端
- 环境二:视觉检测 + 姿态识别 + 标注
- 环境三:autogluon自动化学习环境部署
深度学习常用研发项目及所需依赖包
(1)autogluon自动化学习需要:pytorch-gpu、autogluon-gpu、pandas、numpy、pathlib、logging、collections、re、ast、scikit-learn
(2)deepseek本地运行和训练需要:pytorch-gpu、transformers、peft、datasets、json
(3)deepseek局域网web多人交互需要:open-webui、ollama、 bitsandbytes、accelerate、transformers
(4)fastapi和stm32通信需要:ollama、fastapi、uvicorn、pyserial、matplotlib、requests
(5)语音识别:openai-wgisper
(6)摄像头姿态检测需要:mediapipe、opencv、mediapipe、pydirectinput、threading、collections 、time 、random
(7)摄像头目标检测需要:ultralytics、PIL、opencv、labelimg
其中:
环境一:autogluon自动化学习单独环境
环境二:deepseek本地运行和训练、deepseek局域网web多人交互、语音识别共用环境
注意:open-webui 绝对不要装进 Conda 环境。它依赖 Node.js、npm 和特定的前端构建工具链,会污染 Python 环境变量,导致 pydantic、anyio 等核心库版本被强行锁定,FastAPI 会直接罢工。
环境三:目标检测、姿态检测、图像分割共用环境
准备工作
预先在Anaconda的base环境中安装Mamba并配置好清华/中科大镜像源。
conda update conda condainstallmamba-nbase-cconda-forge mamba--version# 验证安装成功详细访问见文章:
https://blog.csdn.net/sinat_30065705/article/details/163955852?fromshare=blogdetail&sharetype=blogdetail&sharerId=163955852&sharerefer=PC&sharesource=sinat_30065705&sharefrom=from_link
环境一:大模型训练/推理 + Web后端
任务:DeepSeek运行/训练 + 局域网Web交互(除UI) + FastAPI通信 + 语音识别
官方推荐open-webui用docker安装
# 下载docker并安装 https://www.docker.com/products/docker-desktop/# 拉取需要的Open WebUI镜像dockerpull ghcr.io/open-webui/open-webui:main# 导出镜像为文件dockersave ghcr.io/open-webui/open-webui:main-oopen-webui.tar# 使用 load 命令将 .tar 文件加载为Docker镜像dockerload-iopen-webui.tar# 启动open-webui服务dockerrun-d-p3000:8080 --add-host=host.docker.internal:host-gateway-vopen-webui:/app/backend/data--nameopen-webui ghcr.io/open-webui/open-webui:main为了省事我还是单独创建环境只安装open-webui
mamba create-nopen_webuipython=3.11-ymamba activate open_webui pipinstallopen-webui-ihttps://pypi.tuna.tsinghua.edu.cn/simplemamba create-nllm_apipython=3.11-ymamba activate llm_api# PyTorch GPU(CUDA 12.4)mambainstallpytorch torchvision torchaudio pytorch-cuda=12.4-cpytorch-cnvidia-y# Transformers生态mambainstalltransformers accelerate peft datasets scikit-learn-cconda-forge-y# bitsandbytes(必须用pip,conda版容易编译失败)pipinstallbitsandbytes-ihttps://pypi.tuna.tsinghua.edu.cn/simple# Web服务 + 通信 + 工具pipinstallfastapi uvicorn pyserial requests matplotlib ollama-ihttps://pypi.tuna.tsinghua.edu.cn/simple# 语音识别(Whisper 依赖 torchaudio 已装)pipinstallopenai-whisper-ihttps://pypi.tuna.tsinghua.edu.cn/simple# 我选择的是国产的Fun-ASR模型pipinstallfunasr[all]-ihttps://pypi.tuna.tsinghua.edu.cn/simple# 若报错清理缓存后再试即可mambainstall-cffmpeg-y# 安装 modelscope 库pipinstallmodelscope# 下载 Fun-ASR-Nano-2512 模型,默认下载到 C:\Users\Administrator\.cache\modelscope\models\FunAudioLLM--Fun-ASR-Nano-2512modelscope download--modelFunAudioLLM/Fun-ASR-Nano-2512环境二:视觉检测 + 姿态识别 + 标注
任务:姿态检测 + 目标检测 + 标注工具(使用社区版labelimg,官方只支持python3.9)
mamba create-ncv_envpython=3.11-ymamba activate cv_env# PyTorch GPU(和llm_api共享同一份物理文件,节省空间)mambainstallpytorch torchvision torchaudio pytorch-cuda=12.4-cpytorch-cnvidia-y# YOLO + OpenCV + Mediapipemambainstallultralytics opencv-cconda-forge-y# 纯pip库pipinstallmediapipe pydirectinput pillow pyautogui-ihttps://pypi.tuna.tsinghua.edu.cn/simple# LabelImg(社区修复版),需提前安装gitpipinstallgit+https://github.com/biantsh/labelImgPlus.git# 或直接安装预编译版labelimgplusplus,不指定版本会有库冲突# 或者单独创建一个标注工具环境,不用指定版本pipinstalllabelimgplusplus==3.0.0环境三:autogluon自动化学习环境部署
任务:AutoGluon自动化学习
mamba create-nautogluon_envpython=3.11-ymamba activate autogluon_env# autogluon1.6.1 要求torch<2.14,>=2.10pipinstalltorch==2.10.0torchvision==0.25.0torchaudio==2.10.0 --index-url https://download.pytorch.org/whl/cu130# 用于读取excel数据pipinstallopenpyxl# 直接安装 AutoGluon(自动拉取 PyTorch、numpy、pandas、ray、scikit-learn等依赖)mambainstall-cconda-forge-cpytorch-cnvidia autogluon"pytorch=*=*cuda*"-y若报缓存错误,则手动进入anaconda安装目录中的\pkgs文件夹,删除 https 整个文件夹(如果存在)以及所有以 cookiecutter 开头的文件夹和 .conda 文件。再运行以下命令后重新安装:
conda clean--all-y若还是报错则重新指定缓存文件夹
# 设置新的缓存路径(例如 D 盘)setCONDA_PKGS_DIRS=D:\conda_pkgs# 清理旧索引缓存conda clean-i-y# 再次尝试安装# 安装完恢复pkgs原有路径,并手动删除临时位置conda config--addpkgs_dirs C:\Users\Administrator\anaconda3\pkgs若还是不行,就要pip安装
# 会自动安装ray、scikit-learn等依赖包pipinstallautogluon#如果报mxnet的错误mambainstall-cconda-forge mxnet安装好后进入python测试一开始装的pytorch-gpu还在不在,不在的话卸载autogluon自行安装的cpu版torch,重新安装gpu版的torch
importtorchprint(torch.cuda.is_available())# 应为 Trueprint(torch.__version__)# 确认版本# 先卸载pip uninstall torch torchvision torchaudio-y# 再安装,注意torch版本号和cuda版本号的对应pipinstalltorch==2.10.0torchvision==0.25.0torchaudio==2.10.0 --index-url https://download.pytorch.org/whl/cu130