README.md

    kafka-manager-logo

    一站式Apache Kafka集群指标监控与运维管控平台

    阅读本README文档,您可以了解到滴滴Logi-KafkaManager的用户群体、产品定位等信息,并通过体验地址,快速体验Kafka集群指标监控与运维管控的全流程。
    若滴滴Logi-KafkaManager已在贵司的生产环境进行使用,并想要获得官方更好地支持和指导,可以通过OCE认证,加入官方交流平台。

    1 产品简介

    滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景,经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时,还与多家知名企业达成商业化合作。

    1.1 快速体验地址

    1.2 体验地图

    相比较于同类产品的用户视角单一(大多为管理员视角),滴滴Logi-KafkaManager建立了基于分角色、多场景视角的体验地图。分别是:用户体验地图、运维体验地图、运营体验地图

    1.2.1 用户体验地图

    • 平台租户申请  :申请应用(App)作为Kafka中的用户名,并用 AppID+password作为身份验证
    • 集群资源申请  :按需申请、按需使用。可使用平台提供的共享集群,也可为应用申请独立的集群
    • Topic   申   请  :可根据应用(App)创建Topic,或者申请其他topic的读写权限
    • Topic   运   维  :Topic数据采样、调整配额、申请分区等操作
    • 指   标  监   控  :基于Topic生产消费各环节耗时统计,监控不同分位数性能指标
    • 消 费 组 运 维 :支持将消费偏移重置至指定时间或指定位置

    1.2.2 运维体验地图

    • 多版本集群管控  :支持从0.10.22.x版本
    • 集    群    监   控  :集群Topic、Broker等多维度历史与实时关键指标查看,建立健康分体系
    • 集    群    运   维  :划分部分Broker作为Region,使用Region定义资源划分单位,并按照业务、保障能力区分逻辑集群
    • Broker    运    维  :包括优先副本选举等操作
    • Topic      运    维  :包括创建、查询、扩容、修改属性、迁移、下线等

    1.2.3 运营体验地图

    • 资  源  治  理  :沉淀资源治理方法。针对Topic分区热点、分区不足等高频常见问题,沉淀资源治理方法,实现资源治理专家化
    • 资  源  审  批  :工单体系。Topic创建、调整配额、申请分区等操作,由专业运维人员审批,规范资源使用,保障平台平稳运行
    • 账  单  体  系  :成本控制。Topic资源、集群资源按需申请、按需使用。根据流量核算费用,帮助企业建设大数据成本核算体系

    1.3 核心优势

    • 高 效 的 问 题 定 位  :监控多项核心指标,统计不同分位数据,提供种类丰富的指标监控报表,帮助用户、运维人员快速高效定位问题
    • 便 捷 的 集 群 运 维  :按照Region定义集群资源划分单位,将逻辑集群根据保障等级划分。在方便资源隔离、提高扩展能力的同时,实现对服务端的强管控
    • 专 业 的 资 源 治 理  :基于滴滴内部多年运营实践,沉淀资源治理方法,建立健康分体系。针对Topic分区热点、分区不足等高频常见问题,实现资源治理专家化
    • 友 好 的 运 维 生 态  :与滴滴夜莺监控告警系统打通,集成监控告警、集群部署、集群升级等能力。形成运维生态,凝练专家服务,使运维更高效

    1.4 滴滴Logi-KafkaManager架构图

    kafka-manager-arch

    2 相关文档

    2.1 产品文档

    2.2 社区文章

    3 滴滴Logi开源用户交流群

    image
    微信加群:关注公众号 Obsuite(官方公众号) 回复 "Logi加群"

    dingding_group
    钉钉群ID:32821440

    4 OCE认证

    OCE是一个认证机制和交流平台,为滴滴Logi-KafkaManager生产用户量身打造,我们会为OCE企业提供更好的技术支持,比如专属的技术沙龙、企业一对一的交流机会、专属的答疑群等,如果贵司Logi-KafkaManager上了生产,快来加入吧

    5 项目成员

    5.1 内部核心人员

    iceyuhuiliuyaguanglimengmontyzhangliangmikenullhuangyimingzengqiaoeilenexuzhehuangjiaweihjwzhaoyinruimarzkonglingxujoysunchao

    5.2 外部贡献者

    fangjunyuzhoutaiyang

    6 协议

    kafka-manager基于Apache-2.0协议进行分发和使用,更多信息参见协议文件

    项目简介

    一站式云原生实时流数据平台,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛

    🚀 Github 镜像仓库 🚀

    源项目地址

    https://github.com/didi/kafka-manager

    发行版本 22

    v3.3.0

    全部发行版

    贡献者 88

    全部贡献者

    开发语言

    • Java 65.4 %
    • TypeScript 28.2 %
    • Less 3.2 %
    • Shell 1.3 %
    • Python 1.0 %