loki 性能优化和源码解读
前文提到我们部署了一个每秒处理日志 4 万条的 loki 集群,日志被收集至 kafka,promtail 负责消费 kafka 然后将日志发往 loki 集群。 这个过程中遇到了 promtail 两个性能问题 cpu 使用率低,一直徘徊在 30% 左右 Pipeline Stages 性能差 接下来详细介绍下我们是怎么解决的 性能优化 cpu 使用率低 kafka 5 ...
前文提到我们部署了一个每秒处理日志 4 万条的 loki 集群,日志被收集至 kafka,promtail 负责消费 kafka 然后将日志发往 loki 集群。 这个过程中遇到了 promtail 两个性能问题 cpu 使用率低,一直徘徊在 30% 左右 Pipeline Stages 性能差 接下来详细介绍下我们是怎么解决的 性能优化 cpu 使用率低 kafka 5 ...
Loki 架构介绍 loki 是可水平扩容、高可用、多租户的日志存储及查询系统,loki 设计目标是低成本运维、支持海量数据(每天 PB 级) 三个核心组件 agent:例如 Promtail,用来抓取日志数据,并通过 HTTP api push 日志给 loki Loki:负责处理、存储、接收日志查询请求 Grafana:负责日志数据的展示 loki 将一条日志...
大家都知道 OpenAI 在去年(2023 年)11月份发布了 GPTs,允许大家创建自定义的 ChatGPT 版本,无需编写代码,支持调用私有知识库和 API,能够识别图片和生成图片。今年 1 月份开放了 GPTs 商店,官方说用户已经创建了 300万个 GPTs,那么在国内有没有替代方案呢? 在国内字节推出了 扣子 平台,允许大家创建 GPTs(AI 应用),开发完后可以在飞书、微...
前言 PostHog 可以自动追踪使用者在网站上的行为,帮助产研团队了解用户以及如何改进产品。他能做到自动捕获点击事件、鼠标运动轨迹,而无需前端工程师手动埋点推送事件。我以腾讯云对象存储为分析案例,来看看他的效果怎么样 站点接入 要想将网站接入 PostHog,需要在网站里添加一段 JavaScript 脚本,因为只是个人研究目的,所以我借助浏览器插件来实现 我在 Chrome 浏览器上安...
GitHub Actions 是 GitHub 推出的持续集成和持续交付平台(CI/CD 平台),允许开发者实现自动化的编译、测试、部署,于 2019 年 11 月全面可用,今天就来深入拆解下 GitHub Actions 解决了什么问题? CI/CD 平台(流水线引擎)发展历史中大概有 3 波浪潮 第一波浪潮以 Jenkins 为代表,让大家广泛的接受了持续集成和持续交付...
现代软件开发一般会借助 CI/CD 来提升代码质量、加快发版速度、自动化重复的事情,iOS App 只能在 mac 机器上编译,CI/CD 工具因此需要有一个 macOS 云服务器集群来执行 iOS App 的编译。 今天就来谈谈如何建设 macOS 云服务器集群 购买 mac mini / Mac Studio 机器 最简单的方式就是购买一批 mac 机器,买它个 1000 台,买回...
引言 现在全社会都在搞数字化转型,从政府到企业,那么为什么要进行数字化转型呢?本质上还是社会治理和企业经营难度变得更大了。 以企业来说,转型的目标是为了实现有质量的活着,比如能赚更多的钱或者持续保持稳健运营,转型的核心是期望借助数字化技术构建一个管理体系,以应对外部环境动荡、企业竞争变化和技术更新发展带来的不确定性。 数字化转型会带来大量的研发需求,如何更好更快的交付这些需求成为一个突...
前言 最近意外发现家里用的移动宽带已经获取到了 IPV6 地址,然后又意外发现移动 4G 也是可以访问 IPV6 的 Windows 网络情况 iOS 网络情况 2010 年开始在校园网用 IPV6, 到现在已经过去 9 年了,现在终于开始普及了 需求 我们有时候需要访问家中的电脑,如果没有公网 IP 的话,实现起来就比较麻烦 在 IPV4 环境下,IP 数量比较少,很多运...
composer 包安装方式有哪几种? 一般来说开源的 PHP 包都会放在 packagist.org, Composer 直接安装就行 私有包有以下几种安装方式 在 packagist.com 购买付费服务, 不用自己维护, 省心 搭建 Satis 实例, 相当于搭建了私有的 packagist.org, 需要自己维护服务器 购买了 GitHub 企业版, 将包托管在企业版...
为啥要用 Markdown 去写 PPT? 相比 PowerPoint 更轻量, 更灵活 能够高亮代码 专注文字内容, 节省排版和制作动画的时间 用什么工具去生成 PPT? 有以下几个工具可供选择 reveal.js Hakim El Hattab 创造了 reveal.js, 他随后创建了 Slides, 这是一个使用 reveal.js 创建幻灯片的网站 clea...