安橙的博客
  • 博文
  • 标签
  • 搜索

OpenAI API

  • Day 32 · vLLM 实战

    2026-06-20AILLMVLLM

    动手部署一个 7B 模型到 vLLM,开启 OpenAI 兼容 API,学习 --max-num-seqs 与 --gpu-memory-utilization 的调参方法,并建立推理服务压测与排错流程。

© 2026 安橙的博客