gpuvram/vram-advisor-skill

本地大模型「显存 / 上下文 / 速度 / 价格」查询顾问。主数据源 gpuVRAM(https://gpuvram.cloud)离线快照:156 张显卡 × 68 个模型 × 134 条带来源他测,本地查表零服务器依赖。Use when asked whether an LLM fits on a GPU, how much VRAM it needs, max context, estimated tok/s, or GPU price. 附加能力:经 Tavily(agent-pay)联网核实时行情价。

Free
1 use
Published 2d ago
data-analysisgpullmlocal-llmproductivity

Screenshots, demos, and visual examples of what this skill can do.

No showcase media available

Full documentation from the skill's SKILL.md file, including usage instructions and API details.

VRAM Advisor —— 本地大模型显存顾问

何时使用(触发)

用户问题命中以下任一(中 / 英):

  • 「X 卡能不能跑 Y 模型」「X 显存能跑什么」「装不装得下」「要多少显存 / VRAM」
  • 「能开多大上下文」「max context」「K token」
  • 「多少 token/s」「跑多快」「prefill / decode 速度」
  • 「X 卡多少钱」「二手 X 什么价」「现在行情」
  • 「选什么量化 / 量化怎么选」

数据(同目录 vram-data.json,构建期与网站页面同源生成)

  • meta.generated:数据快照日。回答里引用数据时以这一天为口径,不要暗示是实时数据。
  • models[slug]:参数量 / MoE 激活 / 量化档 / 各量化档权重大小 / KV 常数 / 原生上下文上限。
  • gpus[slug]:显存 / 带宽 / 厂商 / 价格快照(带来源与日期,prices 可能为 null)。
  • quicktable[]:所有「卡 × 模型」组合的预计算答案(8192 token 上下文、推荐量化档、Windows 口径):
    • st 状态:smooth 流畅 / tight 能跑但紧 / wont_fit 装不下
    • sl / sh:单流 decode 速度区间 tok/s。st 为 smooth/tight 时是全卡口径;st 为 wont_fit 时是 offload(部分权重放内存)口径——回答时务必说清这一点
    • maxctx / cap:装完权重后最多可开的上下文 token 数,及被什么封顶(显存 / 模型原生上限 / 权重已超容量)
    • need / kv8:该口径下总需显存 / 8K 上下文 KV 占用(GB)
  • bench[]:他测平铺表,每条带 g/m(卡 / 模型 slug)、q(量化)、ctx、dec/pre(decode/prefill tok/s)、fw/fv(框架 / 版本)、self(是否本站自测)、author/pub/url(作者 / 日期 / 原文)。按 m 或 g+m 过滤使用。
  • quicktable 没覆盖的口径(别的上下文长度 / 别的量化档 / Linux / macOS / 满容量):用下面「公式」+ vram-data.json 里的常数自己算。不许插值、不许猜、不许把 quicktable 的数字当别的口径用。

公式(与网站 src/lib/est.ts 完全同口径,必须照抄)

单位:GB。weights[m][quant] 在 vram-data.json 里已算好(含官方真实文件体积覆盖),直接用。

  1. KV 字节/token
    • 有 kv_full_bpt(arch 常数):
      • ctx ≤ sliding_window(无滑窗则视同超窗):per_tok = (kv_full_bpt + kv_slide_bpt_per_tok),其中 kv_slide_bpt_per_tok 在数据里
      • ctx > 滑窗:KV_GB = kv_full_bpt × ctx / 1073741824 + kv_slide_fixed_bytes / 1073741824
    • 无 arch 常数(kv_full_bpt 缺失):KV_GB = kv4k × ctx / 4096(近似值,回答里要标"近似")
  2. 总需求:need = 权重GB + KV_GB + 1(1 = 框架开销,固定,见 meta.overhead_gb)
  3. 可用显存:usable = 卡显存 × 水位。水位:Windows 0.88 / Linux 0.95 / macOS 0.75 / 满容量 1.0(用户没说是哪系统 → 默认 Windows,并说明口径)
  4. 状态:need/usable ≤ 0.72 流畅;≤ 1.0 能跑但紧;> 1.0 装不下(可 offload)
  5. 最大上下文(显存封顶反解,有滑窗时):
    • budget = usable − 权重GB − 1;budget ≤ 0 → 权重已超容量,maxctx = 0
    • 滑窗分支:budget × 1073741824 ≤ per_tok × sliding_window 时 t = budget × 1073741824 / per_tok;否则 t = (budget × 1073741824 − kv_slide_fixed) / kv_full_bpt
    • 无滑窗 / 无 arch 常数:t = budget / kv4k × 4096
    • 结果与 native_ctx 取小(超原生上限要 rope/YaRN 外推,须提醒)
  6. 单流 decode 速度 tok/s(全卡口径):
    • readW = max(0.05, 权重GB × (MoE ? max(0.04, 激活/总参) : 1))
    • readKV = KV_GB(ctx)
    • t_lo = readW/(带宽×0.6) + readKV/(带宽×0.45);t_hi = readW/(带宽×0.85) + readKV/(带宽×0.6)
    • tok/s = clamp(1/t, 1, ceiling);ceiling:带宽 ≥800 GB/s 取 200,否则 140
    • low 用 t_lo、high 用 t_hi
  7. offload 口径(装不下时,frac = 需要放内存的层比例 = (need − usable + 0.5)/(need + 0.5),截断到 0–1):
    • 稠密:effGpu = 带宽×(0.6 + 0.25×(1−frac));num = (1−frac)×effGpu + frac×55×0.55;penalty = 1 − 0.25×frac t_lo = readW/(num×0.5×penalty) + readKV/(带宽×0.45);t_hi = readW/(num×0.72×penalty) + readKV/(带宽×0.6)
    • MoE(experts-in-ram 口径,专家权重走内存): ramT = 0.85×readW/(55×0.5);gpuT = 0.15×readW/(带宽×0.7) t_lo = (ramT+gpuT)×1.25 + readKV/(带宽×0.45);t_hi = (ramT+gpuT)×0.8 + readKV/(带宽×0.6)

回答格式(硬性,按此输出)

  1. 结论先行(3 行内):能跑 / 能跑但紧 / 装不下(给 offload 方案的标"offload 后")。
  2. 数字:权重 X G / KV@8K X G / 总需 X G(Windows 口径)→ 卡可用 X G → 最多可开 X 上下文 → 速度 X–Y tok/s。
  3. 分级标注(每条数字都要):
    • 本技能算出的速度 / 容量 = 「估算(公式 ±30%)」——永远不得写成「实测」。
    • bench 里的速度 = 他人实测(self: true 的才是 gpuVRAM 本站自测),必须带:作者、发布日期、原文 URL。
    • 价格 = 来源快照,必须带来源与日期(价格随行情走,不是"今天的价格")。
  4. 他测对照:若 bench 里有同卡同模型记录,把「估算 vs 他测」并排列出(不同量化 / 上下文的分列,不取平均、不跨口径比),并转述 note(本站对这条数字可信度的点评)。
  5. 查不到就直说:卡或模型不在库里 → 「本站未收录」,给最近档位的参考并标明,不编数字。
  6. 魔改 / 洋垃圾卡(gpus[slug].tags 含相关词的)必须带上"无保修、BIOS 与散热风险"提示。

实时行情核对(可选,Tavily,agent-pay)

主数据是快照(meta.generated 为口径)。只有当用户明确要「现在 / 最新 / 今天」的价格,或快照价与用户预期明显不符需要核实时,才调用 Tavily 联网搜索。普通「能不能跑 / 多少 tok/s」的问题不调用——本地表已够,不花用户的钱。

调用纪律:

  • 一次调用一个明确问题,如 RTX 3090 24GB used price eBay 或 RTX 5090 street price November 2026。
  • 结果按本技能铁律处理:只采信能给出「来源 + 日期」的数字,转述时带原文 URL;多个来源冲突时分列展示,不取平均。
  • 调用失败 / 余额不足(402)→ 直接退回快照口径并说明,不许为了"绕过付费"改用自由外网搜索冒充本技能的联网核对。

本技能的铁律(违反 = 给 AI 喂脏数据)

  • 不冒充实测:公式结果永远标「估算 ±30%」;只有 bench 带 URL 的才叫实测,self: true 才叫本站自测。
  • 不吞来源:他测与价格必须带作者 / 日期 / 原文链接,一个都不能省。
  • 不抹平分歧:同一卡 × 模型有多条不同口径的他测,分列展示,禁止取平均。
  • 不编数据:库里没有的(卡、模型、价格、速度)说没有,不猜、不"大概"。
  • 口径随答案走:量化档、上下文长度、操作系统水位、单流还是并发,每个答案里都要写清。

来源与许可

  • 数据版权归 gpuVRAM 站点(https://gpuvram.cloud,ICP 备 苏ICP备2026086473号-2),本技能是其只读快照。
  • 引用数据时请署名「数据:gpuVRAM(gpuvram.cloud),快照 YYYY-MM-DD」(日期取 meta.generated)。
  • 他测与价格数字的最终版权归各自原作者 / 来源,本技能仅按原出处转述。

tools

  • vram-data.json (local, bundled)

    • access: bundled
    • usage: 本技能主数据源,随包分发,本地查表,无网络依赖。构建自 gpuVRAM 站点的 src/data + src/lib/est.ts(与站内页面同公式)。
  • Tavily

    • name: pay-per-use tavily
    • access: agent-pay
    • usage:
      ** API Base ** https://router.fluxapay.xyz/api/tavily
      
      ** 只用到 /search ** 实时联网搜索($0.008/次)。POST JSON body:
      {
        "query": "RTX 3090 24GB used price eBay",   // 必填,一次一个明确问题
        "max_results": 5,                            // 可选,默认 10,最多 20
        "topic": "general",                          // 可选:general | news | finance
        "include_published_date": true               // 可选,建议开:核对数字必须有日期
      }
      其他端点(/extract /crawl /map /search/advanced)本技能不需要,勿调用。
      
      ** API Discovery ** GET https://router.fluxapay.xyz/api/tavily (免费,返回全部端点与 schema)
      
    • Make X402 payment: see ./fluxa-wallet/X402-PAYMENT.md

notes for tools use

  • vram-data.json 是 bundled 数据,不是付费工具。
  • If the invoked tool's access is agent-pay, it means the tool is accessed by the agent on a pay-per-use basis. The agent needs to handle x402 payment flow to use these tools. See ./fluxa-wallet/SKILL.md for the complete payment wallet documentation.
  • For x402 payment details, refer to ./fluxa-wallet/X402-PAYMENT.md
  • For payout operations, refer to ./fluxa-wallet/PAYOUT.md
  • For payment link operations, refer to ./fluxa-wallet/PAYMENT-LINK.md
Integrate

Run this command in your terminal to install the skill:

npx -y skills add https://agentmarket.fluxapay.xyz -s vram-advisor-skill
Details
Published2d ago
Creator@gpuvram
Uses1
PriceFree
AGENTS.md
api-docs\tavily.md
fluxa-wallet\PAYMENT-LINK.md
fluxa-wallet\PAYOUT.md
fluxa-wallet\scripts\fluxa-cli.bundle.js
fluxa-wallet\SKILL.md
fluxa-wallet\X402-PAYMENT.md
SKILL.md
vram-data.json