1 前言
一直想在本地跑个大模型,比如 LLaMA、Mistral、Gemma 这类。但是以前试过 PyTorch + Transformers,那种装环境、调依赖、调 VRAM、还动不动爆显存的体验……说实话,普通人根本搞不动。
下面是启动ollama serve 后、ollama run qwq:32b 启动的日志。
练习脚本:ChatGPT-Clone.ipynb - Colaboratory (google.com)
查看系统版本
!输入系统命令&内核
!lsb_release -a
!uname -r
查看python版本