Prometheus时序数据库怎么插入数据

发布时间:2021-07-16 09:44:49 作者:chen
来源:亿速云 阅读:818

本篇内容主要讲解“Prometheus时序数据库怎么插入数据”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Prometheus时序数据库怎么插入数据”吧!

前言

在之前的文章里,笔者详细的阐述了Prometheus时序数据库在内存和磁盘中的存储结构。有了前面的铺垫,笔者就可以在本篇文章阐述下数据的插入过程。

监控数据的插入

在这里,笔者并不会去讨论Promtheus向各个Endpoint抓取数据的过程。而是仅仅围绕着数据是如何插入Prometheus的过程做下阐述。对应方法:

func (a *headAppender) Add(lset labels.Labels, t int64, v float64) (uint64, error) {     ......     // 如果lset对应的series没有,则建一个。同时把新建的series放入倒排Posting映射里面     s, created := a.head.getOrCreate(lset.Hash(), lset)      if created { // 如果新创建了一个,则将新建的也放到a.series里面         a.series = append(a.series, record.RefSeries{             Ref:    s.ref,             Labels: lset,         })     }     return s.ref, a.AddFast(s.ref, t, v) }

我们就以下面的add函数调用为例:

app.Add(labels.FromStrings("foo", "bar"), 0, 0)

首先是getOrCreate,顾名思义,不存在则创建一个。创建的过程包含了seriesHashMap/Postings(倒排索引)/LabelIndex的维护。如下图所示:

Prometheus时序数据库怎么插入数据

然后是AddFast方法

func (a *headAppender) AddFast(ref uint64, t int64, v float64) error{         // 拿出对应的memSeries         s := a.head.series.getByID(ref)         ......         // 设置为等待提交状态         s.pendingCommit=true         ......         // 为了事务概念,放入temp存储,等待真正commit时候再写入memSeries         a.samples = append(a.samples, record.RefSample{Ref: ref,T:   t,V:   v,})         //  }

Prometheus在add数据点的时候并没有直接add到memSeries(也就是query所用到的结构体里),而是加入到一个临时的samples切片里面。同时还将这个数据点对应的memSeries同步增加到另一个sampleSeries里面。

Prometheus时序数据库怎么插入数据

事务可见性

为什么要这么做呢?就是为了实现commit语义,只有commit过后数据才可见(能被查询到)。否则,无法见到这些数据。而commit的动作主要就是WAL(Write  Ahead Log)以及将headerAppender.samples数据写到其对应的memSeries中。这样,查询就可见这些数据了,如下图所示:

Prometheus时序数据库怎么插入数据

WAL

由于Prometheus最近的数据是保存在内存里面的,未防止服务器宕机丢失数据。其在commit之前先写了日志WAL。等服务重启的时候,再从WAL日志里面获取信息并重放。

Prometheus时序数据库怎么插入数据

为了性能,Prometheus了另一个goroutine去做文件的sync操作,所以并不能保证WAL不丢。进而也不能保证监控数据完全不丢。这点也是监控业务的特性决定的。

写入代码为:

commit() |=> func (a *headAppender) log() error {     ......     // 往WAL写入对应的series信息     if len(a.series) > 0 {         rec = enc.Series(a.series, buf)         buf = rec[:0]          if err := a.head.wal.Log(rec); err != nil {             return errors.Wrap(err, "log series")         }     }     ......     // 往WAL写入真正的samples     if len(a.samples) > 0 {         rec = enc.Samples(a.samples, buf)         buf = rec[:0]          if err := a.head.wal.Log(rec); err != nil {             return errors.Wrap(err, "log samples")         }     } }

对应的WAL日志格式为:

Series records

┌────────────────────────────────────────────┐ │ type = 1 <1b>                              │ ├────────────────────────────────────────────┤ │ ┌─────────┬──────────────────────────────┐ │ │ │ id <8b> │ n = len(labels) <uvarint>    │ │ │ ├─────────┴────────────┬─────────────────┤ │ │ │ len(str_1) <uvarint> │ str_1 <bytes>   │ │ │ ├──────────────────────┴─────────────────┤ │ │ │  ...                                   │ │ │ ├───────────────────────┬────────────────┤ │ │ │ len(str_2n) <uvarint> │ str_2n <bytes> │ │ │ └───────────────────────┴────────────────┘ │ │                  . . .                     │ └────────────────────────────────────────────┘

Sample records

┌──────────────────────────────────────────────────────────────────┐ │ type = 2 <1b>                                                    │ ├──────────────────────────────────────────────────────────────────┤ │ ┌────────────────────┬───────────────────────────┐               │ │ │ id <8b>            │ timestamp <8b>            │               │ │ └────────────────────┴───────────────────────────┘               │ │ ┌────────────────────┬───────────────────────────┬─────────────┐ │ │ │ id_delta <uvarint> │ timestamp_delta <uvarint> │ value <8b>  │ │ │ └────────────────────┴───────────────────────────┴─────────────┘ │ │                              . . .                               │ └──────────────────────────────────────────────────────────────────┘

见Prometheus WAL.md

落盘存储

之前描述的所有数据都是写到内存里面。最终落地是通过compator routine将每两个小时的数据打包到一个Blocks里面。

Prometheus时序数据库怎么插入数据

到此,相信大家对“Prometheus时序数据库怎么插入数据”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

推荐阅读:
  1. 如何入门Prometheus
  2. 初玩prometheus

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

数据库 prometheus

上一篇:ES6的解构赋值的示例分析

下一篇:Web开发中客户端跳转与服务器端跳转有什么区别

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》