filebeat通过将每次发送的数据状态都存储在registry文件中来确保数据不丢失。如果发送的output端没有返回确认信息,filebeat将会继续尝试发送上--次的数据,直到output端返回给filebeat确认接收信息为止。
当向output端发送数据,或者还没有接收到output端返回的确认信息时,如filebeat因异常退出而关闭,那么在filebeat重启后,将会把上一次发送的数据再发送一遍,以确保数据至少被接收一次。所以在output端可能会出现重复的数据。我们可以通过shutdown_timeout来设置filebeat关闭前等待的时间。
当使用kafka作为output时,如果不要求数据的完整性,则可以容忍少量的丢失数据。我们也可以通过设置required_acks参数来提高filebeat发送数据的效率,required__acks默认值为1,表示等待kafka接收副本返回确认信息;设置为o,表示kafka不返回确认接收信息,filebeat将会持续发送;设置为-1,表示需要等待kafka所有副本确认接收信息后,才继续发送。
网站代运营是什么意思?企业网站建设整站营销如何选择关键词?网站建设中需要提供什么资料?从网站首页的设计怎么看出公司的实力一个基于多云的企业该如何进行安全控制企业网络推广如何进行关键词布局?重庆企业网站建设常见问题营销网站改版时这些问题你必须要知道!