Galileo AI
免费
Galileo AI 是面向 AI数据处理 场景的 GenAI 评测、AI 可观测与生产护栏平台，覆盖离线实验、RAG/Agent 指标、线上 traces、低延迟 Luna-2 评测模型和企业级部署。
Galileo AI 的核心参数与统计
Galileo AI 的产品页把平台定义为 AI observability 与 eval engineering 平台，目标是把离线评测转化为生产护栏。文档页进一步说明，Galileo 面向 GenAI 与 agentic applications，服务工程师、产品经理和领域专家，可通过 Agent 框架、Python SDK、TypeScript SDK 或 API 接入（官方文档）。
| 项目 | 公开信息 |
|---|---|
| 产品定位 | GenAI 与 Agentic 应用的可观测、评测和生产护栏平台 |
| 关键对象 | traces、sessions、spans、datasets、prompts、metrics、guardrails |
| 主要场景 | RAG Evals、Agent Evals、Safety Evals、Security Evals、Custom Evals |
| 接入方式 | Web 控制台、Python SDK、TypeScript SDK、API、常见 Agent/LLM 框架集成 |
| 生产能力 | 离线评测、线上观测、指标调优、Luna-2 低延迟评测、实时护栏 |
| 部署形态 | SaaS、Virtual Private Cloud、On-Premises |
| 最新公开更新 | 2026-06-05 Agent Control for enterprise customers |
| 定价入口 | Free、Pro、Enterprise 三层公开定价页 |
能力边界：Galileo AI 不是通用聊天机器人，也不是单纯日志平台；它更适合已经有 GenAI、RAG 或 Agent 应用并需要衡量质量、定位失败模式和控制生产风险的团队。若团队尚未进入 AI 应用开发或没有线上流量，平台价值会更多体现在评测方法建设，而不是即时业务收益。
Galileo AI 的用户与市场认可
Galileo 的市场信号主要来自企业客户、融资和合作生态。官方 B 轮公告披露，Galileo 在 2024-10-15 宣布 4500 万美元 Series B，累计融资达到 6800 万美元；同一公告还披露 2024 年以来营收增长 834%、企业客户数增长 4 倍、引入 6 家 Fortune 50 公司，并列出 Twilio、Comcast、HP、ServiceTitan 等客户或合作伙伴（官方公告）。
企业认可：产品页与定价页出现 Writer、Cisco Outshift、Ema、NVIDIA、Satisfi Labs、MongoDB、CrewAI、HP、Clearwater Analytics 等客户或伙伴评价。对采购判断更重要的是这些评价集中在“评测工具链”“Agent 观测”“NVIDIA NeMo 集成”“Luna-2 生产评测”上，说明 Galileo 的使用重心偏企业级 AI 质量治理，而不是个人效率工具。
生态认可：官方 Agent Reliability 发布文中披露，Graph Engine 支持 CrewAI、LangGraph、OpenAI Agents SDK、LlamaIndex 等框架；2026-05-08 Release Notes 又加入 A2A 多 Agent 分布式追踪和 OpenTelemetry 扩展。这类生态适配降低了接入成本，但真实可用性仍取决于团队当前框架、日志标准和数据留存要求。
Galileo AI 的成本优势：用专用评测模型降低生产级质量监控成本
Galileo AI 的成本优势不在于“最便宜的 SaaS 订阅”，而在于用 Luna-2 这类专用评测模型替代昂贵、慢速的通用 LLM-as-a-judge 管道。产品页写明，Luna 可把优化后的 evals 蒸馏为监控 100% 流量的模型，并以 96% 更低成本运行；Agent Reliability 发布文则写明 Luna-2 支持 20+ 指标同时运行、sub-200ms 延迟，以及比传统 LLM-based 方案便宜 97%。
C 端/个人：Free 方案公开为 $0/month，包含 5,000 traces/month、unlimited users 和 unlimited custom evals，适合开发者和小团队验证评测思路。限制在于免费额度主要覆盖实验和小规模应用，不能替代企业生产环境的 SSO、专属支持、部署隔离和数据治理要求。
开发者/API：Pro 方案公开为 $100/month，年付标注节省 33%，包含 50,000 traces/month、Standard RBAC、Advanced analytics & insights 和 Slack 支持；定价页注明价格会随 traces 数量扩展。开发团队需要把 traces 量、评测指标数、LLM-as-a-judge 调用、Luna 指标调用和日志保留一起核算。
企业/私有化：Enterprise 为 Contact us，包含 unlimited traces、custom rate limits、Hosted/VPC/on-prem 部署、企业级 RBAC/SSO、Dedicated CSM、real-time guardrails、24/7 支持、低延迟专用 inference servers 与 forward deployed engineering support。涉及 VPC、on-prem、专用推理和安全条款时，实际报价与合同边界均以官方实时页面和商务确认为准。
Galileo AI 的主要功能
Galileo AI 的功能围绕“捕获真实数据、构造评测、发现失败、把评测上线为护栏”展开，适合把 AI 质量从离线测试延伸到线上治理。
- 数据与标注资产：从 synthetic、development、live production data 构建 datasets，并通过领域专家 annotations 形成持续更新的 groundtruth 资产。
- RAG/Agent/Safety/Security 指标：官方产品页公开 20+ out-of-box evals，覆盖 RAG、agents、safety、security，并支持 custom evaluators。
- Agent Graph 与 Trace 观测：Agent Reliability 页面说明 Graph View 可呈现每个分支、决策和 tool call，帮助团队定位多步 Agent 路径中的偏移点。
- Insights Engine：对 Agent 行为进行失败模式分析，定位 root cause、multi-agent handoff、tool selection pattern，并给出 linked evidence 与 actionable suggestions。
- Luna-2 生产评测：Luna-2 页面公开 $0.12/1M tokens、0.95 accuracy、152ms average latency、128k max tokens 等指标，用于低成本、低延迟的生产评测。
- Agent Control 与护栏治理：2026-06-05 Release Notes 显示 Agent Control 可集中管理企业 Agent 护栏，用于阻断有害内容、Prompt Injection、PII 泄露等风险。
Galileo AI 的版本与产品演进
Galileo AI 是持续迭代的云端平台，没有传统桌面软件式固定版本号。更合适的版本脉络是按官方公开里程碑划分：Evaluation Intelligence、Agent Reliability、Luna Studio、Agent Control。
主线里程碑
- 2024-10-15：Evaluation Intelligence Platform。官方 Series B 公告把平台描述为覆盖 AI 开发工作流的 Evaluation Intelligence，产品组件包括 Fine-Tune、Evaluate、Observe、Protect，并强调 Luna Evaluation Suite 可评估 hallucinations、retrieval efficacy、agent quality 等因素。
- 2025-07-16：Agent Reliability Platform。官方博客宣布免费 Agent Reliability Platform，以 Graph Engine 解决 Agent 观测、Insights Engine 自动分析失败模式、Luna-2 支撑实时护栏。
- 2026-05-22：Luna Studio。Release Notes 发布 Luna Studio for enterprise customers，用于训练低延迟、低成本的 SLM metrics，并新增 Integration Costs 以观察评测预算。
- 2026-06-05：Agent Control。Release Notes 发布企业 Agent Control，用一个集中控制面定义护栏与治理策略，并可不改 Agent 代码阻断有害内容、Prompt Injection、PII 泄露等风险。
验证重点
生产环境应把 2026-06-05 Agent Control 作为最新公开能力节点，但实际可用性可能受企业权限、套餐、部署形态和销售开通影响。Luna metrics 页面也注明 Luna metrics 仅按请求向客户开放，因此不能把 Luna-2 的全部指标默认视为所有账户即开即用。
Galileo AI 的技术优势
Galileo AI 的技术优势来自“评测模型 + 观测数据 + 生产护栏”的闭环，而不是单点模型性能。
专用评测模型：Luna-2 用专门面向评测的 SLM 承担高频质量判断。机制上，它把昂贵的 LLM-as-a-judge 任务蒸馏到低延迟模型；效果上，平台可在高采样率下持续评估生产流量；适用场景是客服 Agent、RAG 问答、金融/医疗等需要持续风险控制的应用。
Agent 原生观测：Graph Engine 将 Agent 的分支、工具调用、决策路径和会话上下文统一呈现。机制上，它把 spans/traces 从线性日志扩展到图形路径；效果上，工程团队更容易定位 tool selection、handoff、action completion 等错误；适用场景是多步、多工具、多 Agent 的业务流。
从 eval 到 guardrail：平台把离线指标、线上信号和实时阻断连起来。机制上，评测分数可以控制 action、tool access 与 escalation path；效果上，质量判断不只停留在报表，而能在生产中触发保护；适用场景是对 PII 泄露、Prompt Injection、有害输出或错误工具调用有强约束的业务。
如何使用 Galileo AI
Galileo AI 的入口分为产品控制台、SDK/API 和企业部署三类。开发者可以从官网免费注册开始，企业团队通常需要先明确数据边界、日志保留策略、SSO/RBAC 和部署形态。
| 使用方式 | 适合人群 | 主要动作 | 注意事项 |
|---|---|---|---|
| Web 控制台 | 产品、运营、AI 质量负责人 | 查看 traces、sessions、metrics、experiments、insights | 需要先接入应用日志或导入实验数据 |
| Python/TypeScript SDK | 工程团队、Agent 开发者 | Log first trace、run experiments、接入框架 | 需管理 API Key、项目 Key、日志字段和采样策略 |
| Agent/LLM 框架集成 | 使用 LangGraph、CrewAI、OpenAI Agents SDK 等的团队 | 自动记录 Agent 路径、tool call 和 traces | 集成深度取决于当前框架版本和 OTel 支持 |
| Enterprise 部署 | 安全、合规和平台团队 | Hosted、VPC 或 on-prem 方案评估 | 需商务确认合同、数据驻留、支持 SLA 和专用推理 |
典型落地路径是先记录一条真实 trace，再对 traces 运行评测指标，随后把稳定指标扩展为 experiment 和 guardrail。对 RAG 系统，优先验证 retrieval quality、context precision 与 hallucination；对 Agent 系统，优先验证 tool selection quality、action advancement、action completion 与 conversation quality。
Galileo AI 的产品定价
Galileo AI 定价页公开 Free、Pro、Enterprise 三层。Free 面向开发者和小团队，Pro 面向希望更有信心上线的团队，Enterprise 面向需要规模、安全和高级支持的组织。
| 方案 | 公开价格 | 公开额度/能力 | 适用边界 |
|---|---|---|---|
| Free | $0/month | 5,000 traces/month、unlimited users、unlimited custom evals | 实验、评估概念、早期小团队 |
| Pro | $100/month 起，年付；价格随 traces 扩展 | 50,000 traces/month、Standard RBAC、Advanced analytics & insights、Slack support | 小规模生产或成长型团队 |
| Enterprise | Contact us | Unlimited traces、custom rate limits、Hosted/VPC/on-prem、RBAC/SSO、real-time guardrails、24/7 support、dedicated inference servers | 企业级规模、合规、私有化或专属支持 |
计费风险点：AI 评测成本不只来自 Galileo 订阅，还包括 LLM-as-a-judge 模型调用、数据保留、评测指标数量、trace 采样率、专用 inference server 和内部运维。Luna-2 能降低高频评测成本，但 Luna metrics 的启用条件、具体指标覆盖和企业合同条款仍需以官方实时页面与商务确认为准。
Galileo AI 的应用场景
- RAG 质量评测：用于衡量检索质量、上下文相关性、答案幻觉和引用一致性。验收重点是 retrieval 指标与真实业务 groundtruth 是否对齐，而不是只看单次问答演示。
- AI Agent 生产观测：用于多步 Agent 的 tool call、branch、handoff、action completion 与 conversation quality 监控。验收重点是能否快速定位失败 span，并把建议反馈到 prompt、tool schema 或流程设计。
- 安全与合规护栏：用于 Prompt Injection、PII 泄露、有害内容、错误工具调用等高风险场景。验收重点是低延迟阻断、误拦截率、审计日志和人工回退机制。
- 评测工程平台化：用于把 datasets、experiments、custom metrics、human feedback 和 release gate 接入研发流程。验收重点是 CI/CD 或发布门禁能否稳定复用，不依赖一次性人工评审。
- 企业 AI 运营治理：用于跨部门汇总生产 traces、成本、异常与改进建议。验收重点是权限、数据留存、VPC/on-prem、SSO/RBAC 和支持 SLA 是否满足组织要求。
Galileo AI 的适用人群
- AI 应用工程团队：适合正在构建 RAG、Agent、客服机器人、搜索问答或自动化工作流的团队，用来把日志、评测和线上异常诊断统一到一个平台。
- 产品与领域专家：适合需要参与标注、评价答案质量、定义业务成功标准的产品经理和 SME，用 annotations 与 custom evals 把主观判断转化为可追踪指标。
- 平台与安全团队：适合需要 SSO/RBAC、数据保留、生产护栏、PII 和 Prompt Injection 风险控制的企业平台团队。
- 高频实验团队：适合需要比较 prompts、models、datasets 和 experiments 的 AI 产品团队，把 spot testing 升级为系统化评测。
不太适合的情况是：只需要通用聊天、没有线上 AI 应用、无法提供 traces/datasets、或团队暂时没有指标治理负责人。Galileo AI 的价值来自持续测量和闭环改进，缺少数据流和组织责任人时，平台会变成“多一个仪表盘”。
Galileo AI 的总结与展望
Galileo AI 的核心竞争力在于把 GenAI 评测、Agent 可观测、Luna-2 低延迟评测模型和生产护栏放进同一套工作流。它解决的是企业 AI 从 POC 到生产后最难的一段：如何证明模型和 Agent 在真实流量里可靠、可解释、可改进、可阻断风险。
当前限制也很明确：部分企业能力需要商务确认，Luna metrics 按请求开通；定价会随 traces 和企业条款变化；SDK/框架集成能否顺利落地取决于现有架构；评测指标需要业务 groundtruth 和 SME 反馈持续校准。对于高风险行业，仍需把 Galileo 的自动评测结果与人工审计、合规流程和安全测试结合。
落地建议是先选择 1 个高价值、可度量的 RAG 或 Agent 流程做试点，设定 trace 覆盖率、失败定位时间、人工复核量、拦截误报率和上线门禁通过率等指标；当指标稳定后，再扩展到多团队、多 Agent 或企业部署。企业采购前应重点复核 VPC/on-prem 条款、SSO/RBAC、数据留存、Luna-2 开通范围、专用推理成本和 24/7 支持边界。
版本信息
- Agent Control for enterprise customers ：官方 Release Notes 发布 Agent Control，面向企业客户集中定义护栏并管理 Agent 治理，可在不改动 Agent 代码的情况下阻断有害内容、Prompt Injection、PII 泄露等风险。
- Luna Studio and Integration cost charts ：官方 Release Notes 发布 Luna Studio 企业能力，用于训练低延迟、低成本的 SLM 指标，并加入 Integration Costs 管理页以跟踪 LLM-as-a-judge 成本。
- Agent Reliability Platform ：官方博客宣布免费的 Agent Reliability Platform，围绕 Graph Engine、Insights Engine 与 Luna-2 实时护栏，支持多 Agent 系统观测、失败模式分析与生产保护。
- Evaluation Intelligence Platform ：官方博客宣布 4500 万美元 B 轮融资，并把产品主线定义为 Evaluation Intelligence Platform，覆盖 Fine-Tune、Evaluate、Observe、Protect 等 AI 质量生命周期。
用户评价