Day 32 · vLLM 实战
动手部署一个 7B 模型到 vLLM,开启 OpenAI 兼容 API,学习 –max-num-seqs 与 –gpu-memory-utilization 的调参方法,并建立推理服务压测与排错流程。
动手部署一个 7B 模型到 vLLM,开启 OpenAI 兼容 API,学习 –max-num-seqs 与 –gpu-memory-utilization 的调参方法,并建立推理服务压测与排错流程。
学习 SGLang 推理框架与 RadixAttention:理解前缀缓存、共享 prefix 的请求调度、Radix Tree 如何复用 KV Cache,并动手用同一个 system prompt 发多请求观察缓存命中。
学习 LLM 推理中的权重量化:理解 INT8 / INT4、per-channel / group-wise scale、GPTQ 与 AWQ 的核心思想,并用 AutoGPTQ 或 llama.cpp 完成一次模型量化与评估。
对比 OpenAI Responses / Chat Completions 与 Anthropic Messages API 的工具定义、模型请求、工具调用结果回传和多轮执行循环。
面向 Codex 桌面端用户的 21 天学习路线:覆盖提示、项目规则、权限、审查、插件、MCP、浏览器验证、自动化和子代理。
LLM 开放平台 Go 后端 30 天提效与进阶路线 Day 01:整理需求文档、接口文档、日志、监控、数据库、代码仓库 6 个入口,建立日常排查和交付工作台。
面向技术一般的 LLM 开放平台 Go 后端程序员:用 30 天建立工作提效系统,补齐 Go 后端、LLM API 网关、流式调用、稳定性、安全与影响力能力。
Nvim + Go 30 天系统学习路线 Day 07:配置 fuzzy finder,练习文件、buffer、symbol、grep 搜索,并用 :lua vim.lsp.buf.definition() 理解 LSP 请求。
Nvim + Go 30 天系统学习路线 Day 08:接入补全插件或使用内置补全,只保留 Go 常用片段:函数、测试、表驱动测试、error return,并避免把补全菜单调得过重。
Nvim + Go 30 天系统学习路线 Day 09:绑定保存时 gofmt、goimports、gofumpt,确认格式化来自 LSP 还是外部 formatter,并建立可排错的保存格式化流程。