Prometheus高基数排障实战
Prometheus内存上涨、抓取变慢、看板超时,未必是业务流量增加,也可能是指标标签失控。用户编号、原始请求路径和请求标识一旦进入标签,少量埋点就可能扩展成大量时间序列。围绕高基数与序列抖动,拆解经典直方图的放大效应,结合 TSDB 统计、PromQL 和抓取指标定位问题,再通过定向丢弃、源头归一化、Micrometer 标签限制与回归测试建立治理闭环,同时说明删除标签、延长抓取周期和预聚合为什么不能替代正确的指标设计。
这个话题下有 1 篇手记。
Prometheus内存上涨、抓取变慢、看板超时,未必是业务流量增加,也可能是指标标签失控。用户编号、原始请求路径和请求标识一旦进入标签,少量埋点就可能扩展成大量时间序列。围绕高基数与序列抖动,拆解经典直方图的放大效应,结合 TSDB 统计、PromQL 和抓取指标定位问题,再通过定向丢弃、源头归一化、Micrometer 标签限制与回归测试建立治理闭环,同时说明删除标签、延长抓取周期和预聚合为什么不能替代正确的指标设计。