记录一次把 BAAI/bge-reranker-v2-m3 部署成 vLLM reranker 服务，并让本地 WeKnora 通过 HTTP API 调用的完整过程，包括显存、镜像源、模型下载和接口验证。
TOPIC
共 1 篇 vLLM
围绕「vLLM」整理的相关文章
围绕「vLLM」整理的相关文章
记录一次把 BAAI/bge-reranker-v2-m3 部署成 vLLM reranker 服务，并让本地 WeKnora 通过 HTTP API 调用的完整过程，包括显存、镜像源、模型下载和接口验证。