VRAM Advisor —— 本地大模型显存顾问
何时使用(触发)
用户问题命中以下任一(中 / 英):
- 「X 卡能不能跑 Y 模型」「X 显存能跑什么」「装不装得下」「要多少显存 / VRAM」
- 「能开多大上下文」「max context」「K token」
- 「多少 token/s」「跑多快」「prefill / decode 速度」
- 「X 卡多少钱」「二手 X 什么价」「现在行情」
- 「选什么量化 / 量化怎么选」
数据(同目录 vram-data.json,构建期与网站页面同源生成)
meta.generated:数据快照日。回答里引用数据时以这一天为口径,不要暗示是实时数据。models[slug]:参数量 / MoE 激活 / 量化档 / 各量化档权重大小 / KV 常数 / 原生上下文上限。gpus[slug]:显存 / 带宽 / 厂商 / 价格快照(带来源与日期,prices可能为 null)。quicktable[]:所有「卡 × 模型」组合的预计算答案(8192 token 上下文、推荐量化档、Windows 口径):st状态:smooth流畅 /tight能跑但紧 /wont_fit装不下sl/sh:单流 decode 速度区间 tok/s。st 为 smooth/tight 时是全卡口径;st 为 wont_fit 时是 offload(部分权重放内存)口径——回答时务必说清这一点maxctx/cap:装完权重后最多可开的上下文 token 数,及被什么封顶(显存 / 模型原生上限 / 权重已超容量)need/kv8:该口径下总需显存 / 8K 上下文 KV 占用(GB)
bench[]:他测平铺表,每条带g/m(卡 / 模型 slug)、q(量化)、ctx、dec/pre(decode/prefill tok/s)、fw/fv(框架 / 版本)、self(是否本站自测)、author/pub/url(作者 / 日期 / 原文)。按m或g+m过滤使用。- quicktable 没覆盖的口径(别的上下文长度 / 别的量化档 / Linux / macOS / 满容量):用下面「公式」+
vram-data.json里的常数自己算。不许插值、不许猜、不许把 quicktable 的数字当别的口径用。
公式(与网站 src/lib/est.ts 完全同口径,必须照抄)
单位:GB。weights[m][quant] 在 vram-data.json 里已算好(含官方真实文件体积覆盖),直接用。
- KV 字节/token
- 有
kv_full_bpt(arch 常数):- ctx ≤
sliding_window(无滑窗则视同超窗):per_tok = (kv_full_bpt + kv_slide_bpt_per_tok),其中kv_slide_bpt_per_tok在数据里 - ctx > 滑窗:
KV_GB = kv_full_bpt × ctx / 1073741824 + kv_slide_fixed_bytes / 1073741824
- ctx ≤
- 无 arch 常数(
kv_full_bpt缺失):KV_GB = kv4k × ctx / 4096(近似值,回答里要标"近似")
- 有
- 总需求:
need = 权重GB + KV_GB + 1(1 = 框架开销,固定,见meta.overhead_gb) - 可用显存:
usable = 卡显存 × 水位。水位:Windows 0.88 / Linux 0.95 / macOS 0.75 / 满容量 1.0(用户没说是哪系统 → 默认 Windows,并说明口径) - 状态:
need/usable ≤ 0.72流畅;≤ 1.0能跑但紧;> 1.0装不下(可 offload) - 最大上下文(显存封顶反解,有滑窗时):
budget = usable − 权重GB − 1;budget ≤ 0→ 权重已超容量,maxctx = 0- 滑窗分支:
budget × 1073741824 ≤ per_tok × sliding_window时t = budget × 1073741824 / per_tok;否则t = (budget × 1073741824 − kv_slide_fixed) / kv_full_bpt - 无滑窗 / 无 arch 常数:
t = budget / kv4k × 4096 - 结果与
native_ctx取小(超原生上限要 rope/YaRN 外推,须提醒)
- 单流 decode 速度 tok/s(全卡口径):
readW = max(0.05, 权重GB × (MoE ? max(0.04, 激活/总参) : 1))readKV = KV_GB(ctx)t_lo = readW/(带宽×0.6) + readKV/(带宽×0.45);t_hi = readW/(带宽×0.85) + readKV/(带宽×0.6)tok/s = clamp(1/t, 1, ceiling);ceiling:带宽 ≥800 GB/s 取 200,否则 140- low 用 t_lo、high 用 t_hi
- offload 口径(装不下时,frac = 需要放内存的层比例 =
(need − usable + 0.5)/(need + 0.5),截断到 0–1):- 稠密:
effGpu = 带宽×(0.6 + 0.25×(1−frac));num = (1−frac)×effGpu + frac×55×0.55;penalty = 1 − 0.25×fract_lo = readW/(num×0.5×penalty) + readKV/(带宽×0.45);t_hi = readW/(num×0.72×penalty) + readKV/(带宽×0.6) - MoE(experts-in-ram 口径,专家权重走内存):
ramT = 0.85×readW/(55×0.5);gpuT = 0.15×readW/(带宽×0.7)t_lo = (ramT+gpuT)×1.25 + readKV/(带宽×0.45);t_hi = (ramT+gpuT)×0.8 + readKV/(带宽×0.6)
- 稠密:
回答格式(硬性,按此输出)
- 结论先行(3 行内):能跑 / 能跑但紧 / 装不下(给 offload 方案的标"offload 后")。
- 数字:权重 X G / KV@8K X G / 总需 X G(Windows 口径)→ 卡可用 X G → 最多可开 X 上下文 → 速度 X–Y tok/s。
- 分级标注(每条数字都要):
- 本技能算出的速度 / 容量 = 「估算(公式 ±30%)」——永远不得写成「实测」。
bench里的速度 = 他人实测(self: true的才是 gpuVRAM 本站自测),必须带:作者、发布日期、原文 URL。- 价格 = 来源快照,必须带来源与日期(价格随行情走,不是"今天的价格")。
- 他测对照:若
bench里有同卡同模型记录,把「估算 vs 他测」并排列出(不同量化 / 上下文的分列,不取平均、不跨口径比),并转述note(本站对这条数字可信度的点评)。 - 查不到就直说:卡或模型不在库里 → 「本站未收录」,给最近档位的参考并标明,不编数字。
- 魔改 / 洋垃圾卡(
gpus[slug].tags含相关词的)必须带上"无保修、BIOS 与散热风险"提示。
实时行情核对(可选,Tavily,agent-pay)
主数据是快照(meta.generated 为口径)。只有当用户明确要「现在 / 最新 / 今天」的价格,或快照价与用户预期明显不符需要核实时,才调用 Tavily 联网搜索。普通「能不能跑 / 多少 tok/s」的问题不调用——本地表已够,不花用户的钱。
调用纪律:
- 一次调用一个明确问题,如
RTX 3090 24GB used price eBay或RTX 5090 street price November 2026。 - 结果按本技能铁律处理:只采信能给出「来源 + 日期」的数字,转述时带原文 URL;多个来源冲突时分列展示,不取平均。
- 调用失败 / 余额不足(402)→ 直接退回快照口径并说明,不许为了"绕过付费"改用自由外网搜索冒充本技能的联网核对。
本技能的铁律(违反 = 给 AI 喂脏数据)
- 不冒充实测:公式结果永远标「估算 ±30%」;只有
bench带 URL 的才叫实测,self: true才叫本站自测。 - 不吞来源:他测与价格必须带作者 / 日期 / 原文链接,一个都不能省。
- 不抹平分歧:同一卡 × 模型有多条不同口径的他测,分列展示,禁止取平均。
- 不编数据:库里没有的(卡、模型、价格、速度)说没有,不猜、不"大概"。
- 口径随答案走:量化档、上下文长度、操作系统水位、单流还是并发,每个答案里都要写清。
来源与许可
- 数据版权归 gpuVRAM 站点(https://gpuvram.cloud,ICP 备 苏ICP备2026086473号-2),本技能是其只读快照。
- 引用数据时请署名「数据:gpuVRAM(gpuvram.cloud),快照 YYYY-MM-DD」(日期取
meta.generated)。 - 他测与价格数字的最终版权归各自原作者 / 来源,本技能仅按原出处转述。
tools
-
vram-data.json (local, bundled)
- access: bundled
- usage: 本技能主数据源,随包分发,本地查表,无网络依赖。构建自 gpuVRAM 站点的 src/data + src/lib/est.ts(与站内页面同公式)。
-
Tavily
- name: pay-per-use tavily
- access: agent-pay
- usage:
** API Base ** https://router.fluxapay.xyz/api/tavily ** 只用到 /search ** 实时联网搜索($0.008/次)。POST JSON body: { "query": "RTX 3090 24GB used price eBay", // 必填,一次一个明确问题 "max_results": 5, // 可选,默认 10,最多 20 "topic": "general", // 可选:general | news | finance "include_published_date": true // 可选,建议开:核对数字必须有日期 } 其他端点(/extract /crawl /map /search/advanced)本技能不需要,勿调用。 ** API Discovery ** GET https://router.fluxapay.xyz/api/tavily (免费,返回全部端点与 schema) - Make X402 payment: see ./fluxa-wallet/X402-PAYMENT.md
notes for tools use
vram-data.json是 bundled 数据,不是付费工具。- If the invoked tool's access is agent-pay, it means the tool is accessed by the agent on a pay-per-use basis. The agent needs to handle x402 payment flow to use these tools. See ./fluxa-wallet/SKILL.md for the complete payment wallet documentation.
- For x402 payment details, refer to ./fluxa-wallet/X402-PAYMENT.md
- For payout operations, refer to ./fluxa-wallet/PAYOUT.md
- For payment link operations, refer to ./fluxa-wallet/PAYMENT-LINK.md