Helicone
免费
Helicone 是面向生产级 LLM 应用的 AI Gateway 与 LLM Observability 平台，覆盖 OpenAI-compatible 网关、100+ 模型访问、请求日志、成本归因、Sessions、Alerts、Prompt 管理、缓存、限流、自托管与企业治理。
Helicone 的核心参数与统计
Helicone 的产品定位是 AI Gateway 与 LLM Observability 一体化平台，核心任务不是训练模型，而是在模型调用进入生产后提供统一入口、请求级记录、成本归因、路由、缓存、限流、告警、Prompt 管理和多步骤链路分析。Platform Overview 将问题聚焦在 provider outage、调试复杂度、成本不确定性和 Prompt 管理摩擦；Quickstart 则把接入方式落在 OpenAI-compatible API 与 https://ai-gateway.helicone.ai。
| 项目 | 公开信息 |
|---|---|
| 官方定位 | AI Gateway & LLM Observability |
| 官网入口 | https://www.helicone.ai/ |
| 文档入口 | https://docs.helicone.ai/ |
| 云端网关 | OpenAI-compatible API，示例 base URL 为 https://ai-gateway.helicone.ai |
| 模型覆盖 | 文档写明可通过 AI Gateway 访问 100+ LLM models |
| 接入模式 | Helicone credits 托管供应商密钥，或自带 provider keys 做 observability-only / BYOK |
| 开源主仓库 | Helicone/helicone，Apache-2.0 License |
| AI Gateway 仓库 | Helicone/ai-gateway，GPL-3.0 License |
| GitHub 社区规模 | Helicone/helicone 为 5,841 stars、607 forks；Helicone/ai-gateway 为 603 stars、58 forks（2026-06-21 核验） |
| 商业状态 | 2026-03-03 官方博客宣布 Helicone 加入 Mintlify，服务保持在线并进入 maintenance mode |
产品边界：Helicone 更像 LLM 调用控制面与观测层，不替代 OpenAI、Anthropic、Google、Groq 等底层模型供应商，也不替代向量数据库、业务应用、模型训练平台或完整 APM 系统。它的价值通常出现在“已有真实 LLM 请求、需要排障、成本归因和多模型治理”的阶段；纯 Demo 或离线实验使用它会显得偏重。
Helicone 的用户与市场认可
Helicone 的公开市场信号来自三类证据：官方披露的使用规模、开源仓库活跃度、以及收购事件。2026-03-03 的 Helicone is joining Mintlify 博客写明，Helicone 用户累计处理超过 14.2 trillion tokens，16,000 organizations 使用过其 LLM infrastructure，并帮助追踪超过 33 million end users；同一篇公告还说明 Helicone 曾登上 Product Hunt #1，并称其成为 YC companies 中使用最多的 LLM observability platform。
开源认可：Helicone/helicone 仓库描述为“Open source LLM observability platform”，License 为 Apache-2.0；Helicone/ai-gateway 仓库描述为开源 AI gateway，并以独立 GPL-3.0 许可证发布。两条开源线说明 Helicone 不只是封闭 SaaS，也保留了可审计、可自托管和可二次集成的基础。
企业信号：定价页提供 Team 与 Enterprise 分层，Team 明示 SOC-2 & HIPAA compliance、Dedicated Slack channel，Enterprise 明示 Custom MSA、SAML SSO、On-prem deployment 与 Bulk cloud discounts。这里的信号说明 Helicone 面向有合规、权限和部署要求的组织，但具体证书范围、审计报告、SLA 和数据驻留条款仍需以企业合同为准。
不确定项：Helicone 未公开 ARR、净收入留存、当前付费客户数、按行业划分的客户结构、各地区可用性承诺，以及加入 Mintlify 后长期商业路线。由于官方已明确 maintenance mode，采购判断不能只看历史增长，还要关注维护范围、迁移支持和 Mintlify 后续整合计划。
成本优势：用统一网关把模型账单变成可解释的业务成本
Helicone 的成本优势不等于“底层模型更便宜”，而是把请求、模型、用户、会话、业务属性和成本聚合到同一数据面，减少多模型应用在账单归因、异常排查和重复调用上的隐性成本。How We Calculate Costs 区分了 AI Gateway 与非网关接入：AI Gateway 通过 Model Registry v2 精确计算成本，直接供应商接入则基于开源成本库和 300+ model pricing 做 best-effort 估算。
C 端/个人：Helicone 不面向普通消费者提供聊天订阅。Hobby 免费层公开包含 10,000 free requests、1 GB storage、1 seat 和 1 organization，适合个人开发者、小项目或早期 PoC 验证请求日志、成本看板和基础网关能力。
开发者/API：Pro 为 $79/month，包含 Hobby 能力、Unlimited seats、Alerts & reports、HQL，并标注 usage-based pricing applies 与 7-day free trial。对开发团队而言，主要成本由 Helicone 套餐、请求量/存储用量、底层模型账单和内部接入维护共同构成；若使用 Helicone credits，文档描述为 0% markup，团队仍要按底层供应商成本核算。
企业/私有化：Team 为 $799/month，包含 5 organizations、SOC-2 & HIPAA compliance、Dedicated Slack channel；Enterprise 为 Contact us，包含 Custom MSA、SAML SSO、On-prem deployment 和 Bulk cloud discounts。企业成本重点不只在月费，还包括日志保留、数据驻留、SSO/RBAC、私有化部署、合规材料、支持响应和长期维护条款。
隐性成本：Helicone 会给调用链路增加一个网关或观测层，团队需要维护 API key、header、请求属性、日志字段、告警阈值和故障降级策略。若只调用单一模型且流量很低，这些治理成本可能高于收益；当多模型、多业务线、多人协作和线上故障变成常态时，统一观测与路由才更容易抵消额外复杂度。
Helicone 的主要功能
- AI Gateway：通过 OpenAI-compatible API 访问 100+ 模型，支持托管 provider keys 的 credits 模式，也支持 BYOK。业务代码只需替换 base URL 和 API key，即可获得日志、成本、延迟和错误追踪。
- Provider Routing：Provider Routing 会基于 Model Registry 查找提供同一模型的供应商，优先使用用户自己的 provider keys，再使用 Helicone managed keys，并按更低成本和可用性做路由与 failover。
- Requests 与 Custom Properties：请求可通过 headers 附加环境、项目、功能、用户或组织等元数据，用于过滤、成本分组、性能分析和告警触发。
- Sessions：Sessions 用
Helicone-Session-Id、Helicone-Session-Path、Helicone-Session-Name把多次 LLM 调用、向量检索和工具调用组织成同一条 workflow trace，适合 agent 与复杂聊天流程排障。 - Alerts：Alerts 覆盖 Error Rate、Cost、Latency、Total Tokens、Prompt Tokens、Completion Tokens、Prompt Cache Read/Write 和 Count 等指标，并支持 Slack 或 email 通知。
- Prompt Management：集中管理 Prompt 模板、变量、版本、环境和回滚，让 Prompt 变更不必每次都走应用代码发布。
- Caching 与 Rate Limits：缓存能力把完整 LLM response 存在 Cloudflare edge network，减少重复请求；自定义限流可按 request count、cost、user 或 custom property 控制滥用和预算风险。
- Self-hosting：官方文档提供 Manual Installation、Docker Compose、Kubernetes 和 Cloud Deployment 路径，适合需要私有网络、定制部署或更强数据控制的团队。
这些功能的关键不是单点清单，而是同一条请求路径上的闭环：请求进入网关后，可被路由、限流、缓存、记录、打标签、计费、归入 Session、触发告警，并在后续 Prompt 或模型实验中被复用。对生产系统而言，这比事后拼日志和账单更接近可运营的 AI 基础设施。
Helicone 的模型与版本演进
Helicone 同时存在云端平台、主开源仓库和 AI Gateway 仓库三条版本线。云端平台以持续迭代和文档能力为主，开源主仓库发布 Docker image / 平台版本，AI Gateway 仓库以 beta release 推进网关能力。由于 2026-03 已进入 maintenance mode，版本判断应把“仍可用、仍修复”和“新增路线收缩”同时纳入。
主线状态
Helicone Cloud / Platform（2026-06）：官网仍提供登录、注册、Pricing、Models、Stats、Docs 与 Changelog；文档 sitemap 在 2026-05 至 2026-06 仍有多页更新记录，覆盖 Gateway、integrations、advanced usage、self-host 和 REST API。
Helicone joins Mintlify（2026-03-03）：官方博客宣布 Helicone 被 Mintlify 收购，团队加入 Mintlify；服务会在 foreseeable future 保持在线并进入 maintenance mode，维护范围包括 security updates、new models、bug & performance fixes。
Helicone/helicone v2025.08.21-1（2025-08-21）：主仓库最新 GitHub Release，用于开源平台/镜像发布；同日还有 v2025.08.21，前一日有 v2025.08.20，体现该仓库采用日期型版本号。
Helicone/ai-gateway v0.2.0-beta.30（2025-07-21）：AI Gateway 仓库的最新公开 release，延续 v0.2.0 beta 系列，说明网关作为独立开源组件有自己的版本节奏。
版本关系说明
对使用者来说，Helicone 的“最新能力”不能只看一个版本号。云端能力以 docs 与网页为准，开源部署以 Helicone/helicone release 为准，网关组件以 Helicone/ai-gateway release 为准。加入 Mintlify 后，稳定性和安全修复仍是官方承诺范围，但大规模新功能路线、商业打包方式和长期支持策略应以最新官方公告确认。
Helicone 的技术优势
机制：OpenAI-compatible 网关抽象。Helicone 把多模型调用集中到统一 base URL，效果是应用侧可以在不大改 SDK 调用方式的情况下接入日志、成本、路由和 fallback；适用场景是已有 OpenAI SDK 代码、希望扩展到 Anthropic、Google、Groq、Vertex、OpenRouter 等多供应商的团队。
机制：请求级可观测性与属性体系。通过请求日志、custom properties、user metrics 和 Sessions，Helicone 能把一次模型调用放进用户、组织、功能、环境和 workflow 语境里。效果是成本和故障不再停留在“某个模型变贵/变慢”，而能归因到具体业务线、用户类型或 agent 步骤。
机制：路由、缓存、限流与成本控制前置。Provider routing 处理供应商可用性和成本选择，Caching 减少重复请求，Rate Limits 可按请求数或 cents 限制预算。效果是治理动作发生在请求路径上，而不是账单出来后才人工追责；适用场景是高流量产品、agent 服务和多租户 SaaS。
机制：开源与自托管路径。主仓库 Apache-2.0、Gateway 仓库 GPL-3.0，加上 Docker Compose、Kubernetes 和 cloud deployment 文档，使团队可以检查实现、部署自有实例或在企业网络中运行。效果是安全团队有更多审计入口，但代价是自托管团队要承担升级、监控、备份和合规配置。
机制：Prompt 与评测工作流靠近生产数据。Prompt Management、Scores、Datasets、Evals、Ragas integration 等能力让团队可以把真实请求样本转化为测试和改进材料。效果是 Prompt 迭代更接近线上分布，而不是只靠少量手工样例。
如何使用 Helicone
| 使用入口 | 典型步骤 | 适配对象 |
|---|---|---|
| AI Gateway | 注册账号，生成 Helicone API key，把 OpenAI SDK 的 base URL 改为 https://ai-gateway.helicone.ai，使用模型名发起请求 |
想用统一 API 接入 100+ 模型、并自动获得观测能力的开发团队 |
| Observability-only / BYOK | 在 Provider Keys 中配置自有供应商密钥，或按集成文档把 OpenAI、Anthropic、Azure、Gemini 等请求接入 Helicone | 需要保留供应商账户和账单关系，同时获得日志与分析的团队 |
| Sessions / Agents | 在请求 header 中添加 Helicone-Session-Id、Helicone-Session-Path、Helicone-Session-Name，按任务树组织多步调用 |
Agent、RAG、多轮客服、复杂 workflow |
| Self-hosted | 选择 Docker Compose、Kubernetes、Manual 或 Cloud Deployment，部署 Helicone 实例并配置数据库、网关、鉴权和观测 | 有数据驻留、私有网络或审计要求的组织 |
典型试点路径可以从一条低风险但高频的 LLM 调用开始：先接入 AI Gateway 或 observability-only，验证请求是否完整记录、成本是否能按用户/功能归因、P95/P99 延迟是否可接受；再启用 Sessions、Alerts、Rate Limits 和 Caching；最后把 Prompt 管理、Evals 和企业权限纳入发布流程。
验收关注点：试点应量化接入前后的错误定位时间、成本异常发现时间、单位会话成本、fallback 命中率、缓存命中率、告警误报率和日志字段完整率。如果这些指标没有改善，问题可能在 Prompt、产品流程或模型选择，而不在网关层。
Helicone 的产品定价
Helicone 定价页采用 Hobby、Pro、Team、Enterprise 四层，并强调 usage-based pricing。页面的 Pricing calculator 会按 requests、tokens per request 与 storage 估算月度成本；具体单价、超额请求、存储和 credits 规则会随页面更新，生产采购应以实时定价页和合同为准。
| 方案 | 公开价格 | 公开能力 | 适用边界 |
|---|---|---|---|
| Hobby | Free | 10,000 free requests、1 GB storage、1 seat、1 organization | 个人开发者、原型、低风险 PoC |
| Pro | $79/month | Everything in Hobby、Unlimited seats、Alerts & reports、HQL、7-day free trial、usage-based pricing applies | 正在上线或已有真实流量的小团队 |
| Team | $799/month | Everything in Pro、5 organizations、SOC-2 & HIPAA compliance、Dedicated Slack channel、7-day free trial、usage-based pricing applies | 多团队协作、需要合规信号和专属沟通渠道的公司 |
| Enterprise | Contact us | Everything in Team、Custom MSA、SAML SSO、On-prem deployment、Bulk cloud discounts | 大客户、私有化、采购流程和法务条款复杂的组织 |
C 端/个人：Hobby 免费层能覆盖基本试验，但数据保留、存储、请求量和协作能力有限，不适合长期生产监控。
开发者/API：Pro/Team 的真实成本由套餐、usage-based 部分、底层模型消费和内部维护共同构成。Helicone credits 的 0% markup 降低了“中间商加价”顾虑，但不免除模型供应商本身的 token 成本。
企业/私有化：Enterprise 条款未公开价格，重点核验 Custom MSA、SAML SSO、on-prem deployment、数据保留、合规报告、支持响应和 maintenance mode 下的长期承诺。
Helicone 的应用场景
- 生产级聊天与 Copilot 应用观测：按请求、用户、模型、时间和错误类型追踪质量，核心验收点是错误定位时间、延迟趋势和成本分布是否可解释。
- 多模型网关与供应商降级：在 OpenAI、Anthropic、Google、Azure、Bedrock、Groq 等供应商之间做统一调用和 fallback，核心验收点是 provider outage 或 rate limit 时业务是否继续可用。
- AI Agent 与多步 workflow 追踪：用 Sessions 把 agent 的规划、检索、工具调用和最终回答串起来，核心验收点是失败步骤能否复现，工具调用是否可审计。
- 成本治理与单位经济分析：用 custom properties 和 Sessions 把成本映射到 feature、customer、tenant、workflow 或 environment，核心验收点是单位用户、单位任务或单位会话成本是否可持续。
- Prompt 迭代、实验与评测：通过 Prompt Management、Scores、Datasets、Evals 和 Ragas integration 把真实样本纳入回归测试，核心验收点是 prompt 变更是否可回滚、可比较、可复盘。
- 合规或私有化部署：需要 SSO、on-prem、SOC-2/HIPAA 相关材料或自托管路径的团队，可把 Helicone 放在模型调用入口层，但需先确认数据驻留、日志脱敏和访问控制边界。
这些场景的共同点是 LLM 已经成为线上产品的一部分。若团队只做一次性脚本、短期调研或低频内部工具，直接使用模型供应商控制台和本地日志可能更轻；一旦出现多模型、多租户、成本归因、事故响应和合规审计，Helicone 的平台价值才更明显。
Helicone 的适用人群
- AI 平台工程团队：需要把模型供应商、API key、fallback、限流、缓存、日志和成本控制集中到统一入口，减少每条业务线重复造轮子。
- LLM 应用研发团队：需要追踪请求、调试 Prompt、复现用户问题、比较模型效果，并把线上请求样本转化为评测数据。
- 产品与业务负责人：关注 AI 功能的单位经济、用户体验波动、错误率和模型成本，希望从真实请求数据判断是否继续扩展某项 AI 能力。
- 安全、合规与运维团队：关注 PII、Prompt injection、日志保留、SSO、on-prem、审计链路和告警响应，需要在模型调用入口层建立控制点。
不适配边界也很清楚：只做个人聊天、只调用单一模型且请求量很低、没有线上 SLA、没有成本归因需求、没有日志治理能力，或不愿在模型调用链路增加任何中间层的团队，短期内不一定需要 Helicone。加入 Mintlify 后的 maintenance mode 也意味着新采购应更谨慎核验长期路线，而不是只按历史增长数据决策。
Helicone 的总结与展望
Helicone 的核心价值是把 LLM 应用从“能调用模型”推进到“可观测、可路由、可控成本、可复盘、可治理”。它在 OpenAI-compatible Gateway、100+ 模型访问、请求分析、Sessions、Alerts、Prompt 管理、缓存、限流、自托管和开源部署上形成了较完整的 LLMOps 基础设施，尤其适合生产流量已经存在、并且需要多模型运营的团队。
当前限制同样需要正视：2026-03 官方宣布加入 Mintlify 后，Helicone 服务进入 maintenance mode；企业价格、SLA、证书范围、数据驻留、长期 roadmap 和 Mintlify 产品整合方式未完整公开；AI Gateway、主平台和自托管部署的版本线也需要分别核验。对重度企业采购而言，最关键的不确定项不是“功能是否存在”，而是未来维护范围、支持响应和合同责任边界。
落地建议集中在渐进试点：先接入 1 条高频但低风险的 LLM 链路，量化日志完整率、P95/P99 延迟、成本归因准确性、错误定位时间和缓存/限流效果；再把 Sessions、Alerts、Prompt Management 和 Evals 扩展到核心业务。企业采购前应重点确认 usage-based 计费口径、数据保留、SSO/RBAC、on-prem 部署、合规材料、maintenance mode 下的支持条款，以及必要时从 Helicone 迁移到自建或其他 LLM observability 平台的退出路径。
版本信息
- Helicone Joins Mintlify ：Helicone 官方博客宣布被 Mintlify 收购，服务保持在线并进入 maintenance mode，继续发布安全更新、新模型、bug 与性能修复。
- Helicone v2025.08.21-1 ：Helicone/helicone 官方 GitHub Releases 的最新公开版本，延续开源 LLM observability 平台的镜像与部署产物发布。
- Helicone AI Gateway v0.2.0-beta.30 ：Helicone/ai-gateway 官方 GitHub Releases 的近期开源网关版本，面向统一模型访问、路由与轻量化接入。
用户评价