容器不是虚拟机 — 它本质上就是一个 受 cgroups 限制资源、被 namespaces 隔离视图 的普通 Linux 进程。理解这两个原语，是理解 GPU 如何"穿透"进容器的前提。

多卡服务器上 GPU 与 CPU / 内存的物理距离不同。把进程绑到离 GPU 最近的 NUMA node， 能减少 PCIe 延迟、提高 host-to-device 传输速度。这在训练数据加载时尤为关键。

GPU 不是"天生就能进容器"的 — 需要 nvidia-container-toolkit 在容器启动时动态注入驱动库和设备节点。理解这个过程，是后面搭建 K8s GPU 集群的基础。

4.1 · 观察 Linux 隔离原语

先在宿主机上执行这些命令，理解 cgroups 和 namespaces 的存在:

# 1. 查看当前进程所在的 namespaces
ls -la /proc/self/ns/

# 2. 查看 cgroups v1 / v2
mount | grep cgroup
cat /proc/self/cgroup

# 3. NUMA 拓扑
numactl -H                      # 看 NUMA node 数量 + 内存分布
nvidia-smi topo -m               # 最后一列 = GPU 最近的 NUMA node

# 4. CPU 信息
lscpu | grep -E "^CPU\(s\)|NUMA|Thread"

4.2 · 安装 nvidia-container-toolkit

# Ubuntu 22.04 安装 (一次性操作)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
  | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# 验证
docker run --rm --gpus all nvidia/cuda:12.1.0-base-ubuntu22.04 nvidia-smi

4.3 · 写你的第一个 CUDA Dockerfile

创建一个 Dockerfile.cuda，把 Day 01 的推理脚本容器化:

# Dockerfile.cuda
FROM nvidia/cuda:12.1.0-runtime-ubuntu22.04

# 系统依赖
RUN apt-get update && apt-get install -y --no-install-recommends \
    python3 python3-pip && \
    rm -rf /var/lib/apt/lists/*

# Python 依赖
RUN pip3 install --no-cache-dir \
    torch --index-url https://download.pytorch.org/whl/cu121 && \
    pip3 install --no-cache-dir transformers accelerate sentencepiece

# 工作目录
WORKDIR /workspace
COPY first_infer.py .

# 默认命令
CMD ["python3", "first_infer.py"]

4.4 · 构建 & 运行

# 构建镜像 (首次较慢,PyTorch 约 2GB)
docker build -f Dockerfile.cuda -t aiinfra-day02 .

# 运行 — 注意 --gpus all
docker run --rm --gpus all aiinfra-day02

# 进入容器交互调试
docker run --rm -it --gpus all aiinfra-day02 bash

# 在容器内验证
nvidia-smi                       # 应该和宿主机看到一样的 GPU
python3 -c "import torch; print(torch.cuda.is_available())"

不看答案，能讲清楚下面 6 个问题，Day 02 就算过关。 点击 + 展开参考答案。

在你的笔记本里新建 Day02.md，回答下面 5 个问题:

1. 容器隔离靠哪两个 Linux 内核特性？它们各管什么？
2. GPU 是如何"穿透"进容器的？画出 docker run --gpus all 的完整链路。
3. 你的服务器有几个 NUMA node？GPU 0 连在哪个 NUMA node 上？
4. nvidia/cuda 镜像的 base / runtime / devel 分别适合什么场景？
5. 容器内跑推理的速度和宿主机对比如何？有没有性能损失？