KubeGems简介
------
**作者：行癫<盗版必究>**
## 一：KubeGems简介
KubeGems 是一款开源的企业级多租户容器云平台。围绕云原生社区，KubeGems 提供了多 Kubernetes 集群接入能力，并具备丰富的组件管理和资源成本分析功能，能够帮助企业快速的构建和打造一个本地化、功能强大且低成本的云管理平台
#### 1.KubeGems生态
KubeGems广泛的使用来自包括 云原生基金会（CNCF) 和 Istio社区 开源的产品，并在此基础上做了二次开发和适配
为更好的降低用户对云原生生态内的熟悉门槛，KubeGems提供了专门的安装控制器对集成的三方插件进行集中管理
部署在不同方式构建的Kubernetes集群之上，使用户能更完整能够体验到KubeGems的功能
#### 2.产品架构
KubeGems 采用前后端分离的架构设计，后端通过 gems-service服务对外部提供 Rest API，同时内部实现对个模块的集成与封装
通过 gems-controller 服务对 kubernetes 的资源进行管理，已实现实现操作不同基础设施的集群
依托Kubernetes架构，KubeGems 无底层基础设施依赖，它可以在任何遵循带有 Kubernetes一致性认证 的平台上运行
#### 3.组件列表
gems-dashbaord：KubeGems 用户管理界面，用户在上面可以完成平台支持的所有功能操作
gems-service：KubeGems 核心服务，负责管理API 接口和集群内部各个模块之间通信的枢纽，以及集群安全、审计控制
gems-msgbus：KubeGems 实时消息服务，负责处理前端对Kubernetes实时性较强的业务逻辑
gems-worker：KubeGems 异步任务服务，负责执行系统的后台异步任务
gems-agent：KubeGems 集群Agent，负责处理平台业务逻辑，直接与 Kubernetes API通信
gems-controller-manager：KubeGems Operator，负责完成 Kubernetes 的 CRD 与 Webhook 的处理
gems-installer-manager：KubeGems Operator，负责完成 KubeGems 产品的部署与 Kubernetes 初始化
nginx-ingress-operator：Nginx Ingress Operator，负责提供KubeGems产品多租户独立网关的能力
cert-manager：Kubernetes 证书管理套件，负责处理平台内TLS证书的自动管理
prometheus-operator：kubernetes 监控控制器，为KubeGems提供主机、容器、微服务等监控告警等功能
logging-operator：kubernetes 监控控制器，为KubeGems提供容器日志采集等功能
grafana：开源的监控指标展示平台，为KubeGems提供指标展示的扩展
fluentd：日志采集客户端，具备丰富灵活的插件配置，为KubeGems提供主机、容器的日志采集
loki：云原生日志分析服务，为KubeGems提供日志存储、查询和分析服务
helm：一种应用容器打包和部署标准，为KubeGems提供应用商店接入的能力
kustomize：一种应用容器编排的方法，为KubeGems提供用户应用编排的能力
argocd：一套开源实现ci/cd流程的系统，为KubeGems提供用户CD的部署能力
istio：服务网格，为KubeGems提供微服务治理和流量管控的能力
jaeger：应用分布式链路跟踪服务，为Sidecar和应用提供数据接受的服务
calico：Kubernetes容器组网服务，负责容器间通信和网络隔离策略管理
## 二：功能介绍
#### 1.多租户管理
在 KubeGems 中，资源（例如集群）可以在租户之间共享。管理员或运维人员掌握了平台内不同的用户角色的权限设置。普通用户在环境空间对各种计算资源进行操作。基础设施层上的计算资源由 **KubeGems管理员** 集中管理和分配，由于 KubeGems 在租户层面实现了资源的隔离，因此用户不必担心计算资源分配额度以及资源竞争问题
角色身份： 内置多身份类型，平台内用户可按照角色进行授权
多认证方式： 平台内置用户账号认证，同时也支持OpenLdap、GitLab、GitHub和遵循 Oauth2.0 协议的第三方用户系统
成员管理： 普通用户与租户(空间)，项目(空间)，环境(空间) 进行关联，可为空间做精细化的成员管理
网络隔离： 支持基于 Calico 模式下的网络策略管理，在平台内部为租户在基于租户、项目、环境实现网络隔离的策略分发
KubeGems的租户控制主要在Tenant和Enviroments两个CRD中实现管理，里面分别定义了租户以及环境（包含项目）等信息
##### CostomResourceDefinition
KubeGems通过自定义 CRD(Custom Resource Definitions) 将租户资源抽象为5个类型进行统一管理
Tenant （租户）
Enviroments （环境）
TenantResourceQuotas （资源）
TenantGateways （网关）
TenantNetworkPolicys （网络策略）
##### 相关术语
| 术语 | 解释 |
| :-----------------: | :----------------------------------------------------------: |
| 用户（User） | KubeGems 上一个可登录的用户，用户的权限可以是平台管理员租户或者普通用户，用户的角色可以由各级管理员进行控制。 |
| 应用（Application） | 部署在 KubeGmes 的一个应用，它可以是一个进程或进程组，通常它等同于Pods。应用是 KubeGems 上最小的部署单元 |
| 环境（Enviroments） | KubeGems 应用部署的在 Kubernets 上一个命名空间，它等同于 Namespaces |
| 项目（Project） | KubeGems 内多个环境组成的一个抽象集合，项目下的环境可以分布在多个Kubernets集群，也可以分布在一个Kubernetes集群内 |
| 集群（Cluster） | 一个Kubernetes集群 |
| 租户（Tenant） | KubeGems 上服务用户的主体单位，用户的计算资源运行在租户空间内，它与平台内的其他租户共享 Kubernetes 资源 |
##### Kubernetes集群关系
##### 用户角色说明
| 角色 | 类别 | 说明 |
| :--------: | :--: | :--------------------------------: |
| 系统管理员 | 系统 | 可以操作系统所有的资源，用户，租户 |
| 系统成员 | 系统 | 没有任何系统级别的权限 |
| 租户管理员 | 租户 | 可以操作租户下所有资源 |
| 租户成员 | 租户 | 只能看到自己参与的项目 |
| 项目管理员 | 项目 | 可以操作项目下的所有资源 |
| 项目测试 | 项目 | 仅可以操作测试属性的环境 |
| 项目研发 | 项目 | 仅可以操作研发属性的环境 |
| 项目运维 | 项目 | 可以操作所有环境 |
| 环境成员 | 环境 | 只可以查看环境下的资源 |
| 环境管理员 | 环境 | 可以操作环境下的资源 |
#### 2.集群部署与资源管理
KubeGems 支持对接多套 Kubernetes 集群，并可以通过自身 Operator 完成集群的安装任务，无论您是采用裸金属部署的Kubernetes，还是由公有云厂家托管的Kubernetes，它们都能运行 Agent 服务并接入到中心集群进行管理
##### 多种网络方案接入
支持Calico、Flannel 和 KubeOvn 等开源的网络解决方案
##### 多种存储方案接入
支持开源存储解决方案，例如GlusterFS、CephRBD、OpenEBS 和Longhorn等存储系统
支持其他商业存储以CSI插件方式连接到KubeGems平台中的各种块存储服务
##### 计算资源管理
gems-service服务于维护了 Kubernetes 集群资源的使用统计和注册。当 Kubernetes 集群在 KubeGems 平台上成功导入，gems-agent便会被推送到kubernetes集群内运行，并将集群资源上报给 service，交由用户在 KubeGems 后端进行资源的分配
KubeGems提供了多维度的集群资源管理配置功能：
资源超分： 支持 Kubernetes 集群资源超分规划，更好的提高集群资源使用率，降低IT成本
资源管理： 支持对租户空间内的资源进行扩容、监控等管理
细粒度资源控制： 基于ResouceQuota和LimitRange对用户环境空间内各应用进行细粒度资源的控制
资源智能分析： KubeGems 根据用户过去的时间周期，在后台离线为用户资源进行资源使用率分析，并推荐用户进行资源调整
灵活分配： 租户可以在 KubeGems 内提交资源工单，并在平台内部扭转给后台管理员进行审批和分配
#### 3.应用管理
在KubeGems中，应用是一等公民，其内部的功能大都以围绕应用管理展开。KubeGems内定义了两种应用管理渠道，分别是应用商店和用户编排
##### 应用商店
KubeGems 内部提供了一个基于Helm v3的应用仓库，里面集成了众多的定制中间件应用。除此之外，应用商店还提供了额外的功能
多仓库支持： 无缝对接外部 Helm 仓库，并自动离线同步到本地
人性化定制： 用户可以通过填写应用表单或者编写Values文件方式灵活定制自己的应用
资源可视化： 用户可以在应用详情中对应用拓扑结构和生命周期进行完整管理
##### 应用管理和编排
应用中心为用户/企业提供了私有化应用的编排和管理，在KubeGems内部，我们提供了以Kustomize风格的应用编排方式，用户只需在平台的界面上，就可以自主进行 kubernetes 的资源编排
可视化编排： Kustomize风格的应用编排方式
版本化管理： KubeGems内置GitOps引擎，为应用编排提供版本变更的追踪、回滚和历史等高级功能
镜像安全： 支持对用户镜像进行CVE漏洞分析和风险等级报告（ 需对接 Harbor）
应用管理： 提供用户应用完整的生命周期管理
灵活发布： 应用编排可灵活推送到用户环境，并提供一键批量部署
##### 策略部署
金丝雀发布：
自定义流量比例： 可根据用户定义的流量比例进行发布
自定义灰度策略： 根据用户请求头(header) 、路径（url）和进行流量比例分配
应用监控分析： 灰度过程中全程监控应用请求的状态，用户可根据灰度监控数据进行流程控制
蓝绿发布：
双重资源保障： 控制蓝绿两个版本的应用容量，避免出现雪球效应
操作简洁： 一键完成应用蓝绿部署
应用监控： 蓝绿过程中全程监控应用请求的状态，可根据应用监控数据进行流程控制
#### 4.可观察性
##### 监控与告警
多维度监控： KubeGems 内置了对主机、Kubernetes集群、容器和中间件等服务的监控模板，通过内置的查询器为用户提供精细化的监控
自定义告警策略和规则： 支持多租户模式下的监控指标采集，用户可自定义被监控应用的指标采集策略，如监控端口，请求路径、频率等信息
兼容 Prometheus： KubeGems 采用 Prometheus Operator，可与用户现有环境无缝集成
平台组件状态： KubeGems 集成了内部组件和 Kubernetes 三方组件状态的监控，避免因平台组件故障造成的不必要停机
自定义告警策略和规则： 支持租户模式下的监控指标采集策略，用户可根据监控模板自助设定告警策略
丰富的阈值规则： 支持用户在告警规则中设置告警事件的重复时间、持续时间、告警级别、黑名单等功能
分级告警： 支持用户自定义的告警级别，并进行分级告警，避免无效告警
历史跟踪： KubeGems 为每一条告警记录都设置了详情页，里面完整记录了该规则自创建以来发生的每一次事件，为用户提供告警事件的回溯
告警渠道： 支持 邮件(SMTP协议) 和 Webhook 两种渠道告警
告警实时通知： KubeGems 内置的实时消息组件，在发生告警时可将内容实时推送到用户界面
##### 日志与分析
日志采集管理： 支持多租户模式下的日志采集管理，利用 CRD 可在租户空间内进行自定义控制容器日志采集和解析规则
标签化查询语句： 注入多维度的日志标签（项目、环境、容器组、应用、集群等关键字），用户可以灵活查询或者实时分析日志
日志告警： 支持关键字过滤，可以在用户应用发生告警时通知到运维、研发等同事
多种日志收集平台： 支持多种日志收集平台，例如 Elasticsearch、Loki、Kafka、S3 等
高性能和水平扩展： 采用 FluenBit/d 分级架构，满足日志高吞吐情况下，汇聚层 水平扩展 以提高采集吞吐量
#### 5.基于Istio的微服务网格
##### 服务治理
##### 流量管理
负载均衡: 为 HTTP、gRPC、WebSocket 和 TCP 流量自动负载均衡
访问控制: 支持丰富的路由规则、重试、故障转移和故障注入对流量行为进行细粒度控制
流量控制: 可插拔的策略层和配置 API，支持访问控制、速率限制和配额
##### 安全
丰富的认证策略: 使用 peer 和 request 认证策略为在 Istio 网格中接收请求的工作负载指定认证
自定义应用授权: 支持基于 RBAC 的应用权限控制
公钥基础设施 (PKI): 使用 X.509 证书为每个工作负载都提供 tls 双向认证
##### 可观察性
应用指标: 基于 4 个监控的黄金标识（延迟、流量、错误、饱和）生成了一系列服务指标
分布式追踪: 为每个服务生成分布式追踪 span，对网格内的服务调用进行追踪
访问日志: 记录应用流量生成请求的完整记录，包括源和目标的元数据
##### 微服务网关
KubeGems 内置微服务网关控制器，以支持应用南北向流量的代理,网关类型分为基础版(Basic Nginx)和微服务版(Mesh Istio)
基础版网关：
租户独占网关： 每个租户可创建独占的 ingress 网关，通过 class 方式关联 ingress 资源
应用路由管理： 支持 TCP/UDP, HTTP/HTTPS, GRPC/HTTP2.0 等协议的支持和路由转发
流量负载均衡： 支持对 ingress 关联的上游 pod 进行流量负载均衡
访问监控：支持以 Prometheus 的方式暴露内部监控指标