不过这个是在wsl 乌班图上跑的

1、模型下载及WSL安装命令：https://bittly.cc/vLLM 2、Skills 下载安装：https://bittly.cc/xla9g

作者使用到了24G显存的英伟达4090.