Cloudflare 构建 Town Lake 与 AI 数据代理 Skipper

关键信息

Cloudflare 形容其数据分散在 Postgres、ClickHouse、Kafka、Google Cloud buckets、BigQuery 和 R2 中，并且部分分析流水线需要对每秒超过 7 亿条事件进行降采样。它还强调自动识别 PII、默认锁定敏感表、访问可审计，以及带时间限制的权限授予。

资讯摘要

Cloudflare 表示，它每秒处理超过 10 亿个事件，网络覆盖 120 多个国家的 330 多个城市，因此内部数据访问既关键又复杂。多年来，这些数据分散在许多生产数据库、分析集群、流系统、云存储桶和自定义管道中，导致员工即使要回答一个简单问题，也必须先知道数据在哪里、该用什么语言查询，以及结果是采样数据还是过期数据。公司认为，这种碎片化让员工很难获得可信的洞察，尤其是在计费、安全或客户排查这类必须精确的场景里。为了解决这个问题，Cloudflare 构建了 Town Lake，一个为公司内部数据提供统一 SQL 接口的分析平台。

基于 Town Lake，公司又构建了 Skipper，这是一个 AI 数据代理，允许员工用自然语言提问，并在几秒内得到正确且可审计的答案。Cloudflare 表示，这套系统既要支持敏感工作流所需的未采样、最新数据，也要支持仪表盘和探索分析所需的高速降采样数据。它还希望从一开始就把安全和治理内置进去，包括自动检测 PII、默认锁定敏感表、保留审计记录，以及授予有时间限制的访问权限。Cloudflare 还表示，这个平台建立在自己的基础设施之上，使用 R2 作为存储，Workers 作为计算，Cloudflare Access 作为认证，Workflows 作为编排。

来源与参考

1. 原始链接
2. How we built Cloudflare's data platform and an AI agent on top of it