这篇文章给出可以套用的盈亏平衡算法，并说明什么情况下自部署会更贵。
01 先算清楚 API 的单位成本
把过去一个月的账单拆成输入和输出两部分，分别算出每百万 token 的平均价格。输入和输出的单价通常不同，长上下文也会拉高平均值，所以不要只看总金额。
02 再算自部署的每小时成本
租用 GPU 的成本等于每小时单价乘以租用时长。关键是把空闲时间也算进去：卡每天只跑两个小时，其余二十二个小时仍在收费。
有效成本 = GPU 每小时单价 ÷ 每小时实际处理的 token 数。这个数字取决于模型大小、推理框架和并发量，要在目标负载下实测。
03 消费级显卡的容量限制
以 RTX 4090 为例，显存是 24 GB。参数较小的模型，或经过量化的中等模型，在这张卡上可以跑得很好；参数很大的模型则需要更多显存，装不下。模型部署对硬件的要求在持续下降，但选模型之前仍要先确认显存够用，并记录实际吞吐。
04 盈亏平衡点和利用率
把两边的每百万 token 成本放在一起比较。如果 GPU 的有效成本低于 API 的平均价格，说明在这个负载下自部署划算。
要留余量。卡不会一直满负荷，部署、监控和升级也要花人工时间，这些都要算进去。
05 利用率低时，只用 API 更便宜
请求分布不均匀时，白天集中、夜里几乎没有，GPU 的平均利用率可能很低。这种情况下，算下来自部署比 API 贵。
更合适的做法是：只把稳定的、可预测的那部分批量任务放到自部署的卡上，其余继续用 API。
06 模型路由：便宜的任务给小模型，贵的任务给前沿模型
大部分 token 其实花在简单任务上：日常的分类、摘要、格式转换，以及 Agent 的小步调用，如查询状态、整理字段。这些任务用一个小模型就能完成，不需要前沿模型。
做法是路由：在请求进来时先判断难度，简单任务交给跑在低配消费级显卡上的小模型，复杂任务再转给前沿 API。判断规则可以很简单，比如按任务类型、输入长度或失败次数决定。路由的好处是，大部分请求走便宜的一端，只有少数请求付高价。
路由要记录每类任务的成功率。如果小模型在某类任务上经常出错，就把这类任务改回 API，省下的钱不值得质量下降。
06 去哪里租
SpareHive 提供通用的消费级 GPU 租赁，用途不限于图片和视频生成，小模型推理和其他批量计算也可以跑。你描述需要的工作流、显存和每月时长，平台人工审核后匹配供应方。首页公布的价格是 RTX 4090 每 GPU 小时 0.25 美元（即时档）或 0.15 美元（排队档），并注明对比的是 Vast.ai 的中位数价格，数据抓取于 2026 年 9 月 16 日。这些是该站的目标价，还在私测阶段，以实际报价为准。