vllm 和 ollma 优缺点 VLLM 和 Ollama 是两个针对大型语言模型 (LLM) 推理和部署的流行工具，但它们在设计目标、核心功能和适用场景上存在显著区别。 主要对比： 特性VLLM (Virtual Large Language Model)Ollama核心定位高性能、高吞吐量的 LLM 推理和服务引擎。本地、便捷地运行 LLM …

模型部署 Ollama下载地址 验证 ollama 是否安装成功 ollama --version 在 ollama 官网中 models 挑选需要的模型 (自测: RTX 4060卡 运行 DeepSeek1.5b) 安装模型命令 ollama run deepseek-r1:1.5b 运行命令同上 ollama run deepseek-r1:…