DevOps
未读
nvl-rsync:用 NVLink 在 GB200/GB300 Tray 之间传输大模型权重
nvl-rsync:用 NVLink 在 GB200/GB300 Tray 之间传输大模型权重 痛点:大模型权重传输耗时 大模型权重几百G甚至上TB,在多台服务器上传输时非常耗时。 传统网络带宽吃不消:千兆/万兆以太网传一个 200 GB 的权重文件,理论就要几个小时;就算上了 IB/RoCE,跨节
DevOps
未读
hf-sync:HuggingFace 与 ModelScope 上的模型&数据集搬运工
hf-sync:HuggingFace 与 ModelScope 上的模型&数据集搬运工 GitHub: hf-sync 痛点:从 HF 下载模型太痛苦了 从 HuggingFace 下载模型/数据集,网络体验一言难尽。要么得挂代理,要么得用镜像站,也不稳定。 而 ModelScope(魔搭)作为国
DevOps
未读
Promtail 采集宿主机 Nginx 日志重复采集与时间不准问题排查
Promtail 采集宿主机 Nginx 日志重复采集与时间不准问题排查 背景 有 2 台 Nginx 服务器不在 k8s 集群内,并且由于网络原因不方便与 k8s 集群的日志采集服务打通。 现在采取的收集 Nginx 日志的方案是:在 k8s 一个节点上通过 rsync 将 Nginx 服务器的
DevOps
未读
使用 pgloader 将 MySQL 迁移到 PostgreSQL
使用 pgloader 将 MySQL 迁移到 PostgreSQL pgloader 是一款开源的批量数据迁移工具,支持从 MySQL / SQLite / MSSQL / CSV 等多种数据源将表结构和数据导入到 PostgreSQL https://github.com/dimitri/pgl
LLM
未读
Voxtral-Mini-4B-Realtime-2602 语音模型部署与验证
模型地址:https://modelscope.cn/models/mistralai/Voxtral-Mini-4B-Realtime-2602 推理引擎:vLLM v0.24.0 Voxtral-Mini-4B-Realtime-2602 是 Mistral AI 推出的实时多模态语音模型,支持
DevOps
未读
监控告警通路测试规则
在 Prometheus / VictoriaMetrics 监控体系中,告警规则成百上千,但「通路本身是否还活着」常常被忽略——Alertmanager 挂了、Webhook 失效、企业微信 token 过期、邮件服务器异常,都可能让真实告警悄悄丢失。 最朴素的做法是配一个 vector(1) 的
DevOps
未读
SSH 多级跳板机连接与文件传输
在内网环境中,服务器通常不会直接暴露在公网上,有的环境需要通过多层跳板机才能到达目标机器。比如从本地 A 出发,经过 B、C 两个跳板,最终到达目标 D: A (本地) → B (跳板1) → C (跳板2) → D (目标)
SSH 原生支持 -J(Jump)参数来处理这种多级跳转场景,无需手动
LLM
未读
vLLM/SGLang推理引擎部署大模型必加参数
根据在工作中部署模型踩的坑而总结的经验,整理部署模型时应该加的docker参数及vLLM/SGLang 推理引擎参数 环境变量 环境变量 说明 示例 CUDA_VISIBLE_DEVICES 指定模型运行在的卡号 CUDA_VISIBLE_DEVICES=3 或 CUDA_VISIBLE_DEVIC
DevOps
未读
使用 Github Codespace 同步镜像到国内镜像仓库
解决无法在国内从DockerHub中拉取镜像问题,下面的步骤只是同步一个镜像,可以根据自己需要自行拓展同步多个镜像或者使用GitHub Action自动同步镜像 个人亲测发现,使用 Github Codespace 要比使用国外的服务器速度更快 一、创建 github codespace 在GitH
DevOps
未读
Mac 电脑使用工具
工具 软件 Scroll reverser: Mac 控制触控板、外接鼠标滑动方向 Eul: Mac 电脑状态监控 Vidhub: (收费)视频播放器,可以正常播放杜比视界 mkv 视频 IINA: 视频播放器(免费) OBS: 录屏、直播 Open Screen: 录屏、剪辑