DevOps
未读
SSH 多级跳板机连接与文件传输
在内网环境中,服务器通常不会直接暴露在公网上,有的环境需要通过多层跳板机才能到达目标机器。比如从本地 A 出发,经过 B、C 两个跳板,最终到达目标 D: A (本地) → B (跳板1) → C (跳板2) → D (目标)
SSH 原生支持 -J(Jump)参数来处理这种多级跳转场景,无需手动
LLM
未读
vLLM/SGLang推理引擎部署大模型必加参数
根据在工作中部署模型踩的坑而总结的经验,整理部署模型时应该加的docker参数及vLLM/SGLang 推理引擎参数 环境变量 环境变量 说明 示例 CUDA_VISIBLE_DEVICES 指定模型运行在的卡号 CUDA_VISIBLE_DEVICES=3 或 CUDA_VISIBLE_DEVIC
DevOps
未读
使用 Github Codespace 同步镜像到国内镜像仓库
解决无法在国内从DockerHub中拉取镜像问题,下面的步骤只是同步一个镜像,可以根据自己需要自行拓展同步多个镜像或者使用GitHub Action自动同步镜像 个人亲测发现,使用 Github Codespace 要比使用国外的服务器速度更快 一、创建 github codespace 在GitH
DevOps
未读
Mac 电脑使用工具
工具 软件 Scroll reverser: Mac 控制触控板、外接鼠标滑动方向 Eul: Mac 电脑状态监控 Vidhub: (收费)视频播放器,可以正常播放杜比视界 mkv 视频 IINA: 视频播放器(免费) OBS: 录屏、直播 Open Screen: 录屏、剪辑
DevOps
未读
Vibe Coding 实践经验总结
"There's a new kind of coding I call 'vibe coding', where you fully give in to the vibes, embrace exponentials, and forget that the code even exists."
LLM
未读
vLLM/SGLang 适配 GLM-4.6V 模型
随着 vLLM/SGLang 等推理引擎的更新,下面内容记录的方式可能已经不再适用,可以考虑尝试直接使用最新版本的 vLLM/SGLang 运行 记录使用 vLLM/SGLang 部署 GLM-4.6V 的适配过程 模型: HuggingFace: zai-org/GLM-4.6V ModelSco
LLM
未读
大模型启动命令备忘单
记录大模型启动命令,针对同一个模型不同量化精度及不同推理引擎分别记录 记录的显卡型号为测试模型时使用的环境,可以根据自己实际的显卡进行测试是否可以运行 Embedding Qwen/Qwen3-VL-Embedding-8B HuggingFace: Qwen/Qwen3-VL-Embedding-