本文目录导读：
《K8s中基于Service的Probability负载均衡原理剖析》
图片来源于网络，如有侵权联系删除
在Kubernetes（k8s）的生态系统中，Service是一种抽象概念，用于为一组Pod提供稳定的网络访问入口，并实现负载均衡等功能，基于概率（probability）的负载均衡策略是一种重要的负载分配方式。
K8s Service概述
K8s中的Service定义了一种逻辑上的服务，它与后端的Pod集合相关联，这些Pod可能会动态地创建、销毁或者扩缩容，对于外部客户端或者集群内部的其他组件来说，它们不需要关心后端Pod的具体状态，只需要与Service进行交互即可，Service通过标签选择器（label selector）来确定哪些Pod属于它所管理的后端。
负载均衡的需求
随着应用规模的增长，单个Pod可能无法承担所有的请求流量，为了实现高可用性、高性能和资源的高效利用，需要将请求均匀地分配到多个可用的Pod上，这就是负载均衡的核心需求，而基于概率的负载均衡策略旨在以一种特定的概率分布方式将请求分发到后端的不同Pod。
Probability负载均衡原理
（一）概率权重的设定
1、在基于概率的负载均衡策略下，每个后端Pod都可以被分配一个概率权重，这个权重表示该Pod相对于其他Pod被选中处理请求的相对概率，有三个Pod（Pod - A、Pod - B、Pod - C），它们的概率权重分别为30%、50%、20%，这意味着在大量的请求中，Pod - B被选中的概率相对较高，而Pod - C被选中的概率相对较低。
2、权重的设定可以根据多种因素确定，如Pod的资源能力（CPU、内存等）、Pod的健康状态等，健康且资源充足的Pod可能会被分配更高的权重，以便更多的请求能够被路由到该Pod。
（二）请求分发过程
1、当一个请求到达Service时，负载均衡器会根据各个Pod的概率权重来决定将请求路由到哪个Pod，它会在一个概率区间内进行随机选择，以之前的三个Pod为例，整个概率区间可以看作是从0到100（表示100%），Pod - A对应的区间是0 - 30，Pod - B对应的区间是30 - 80（30 + 50），Pod - C对应的区间是80 - 100。
2、负载均衡器生成一个在0到100之间的随机数，如果这个随机数落在0 - 30之间，那么请求就会被路由到Pod - A；如果落在30 - 80之间，请求就会被路由到Pod - B；如果落在80 - 100之间，请求就会被路由到Pod - C。
（三）动态调整
1、在K8s环境中，Pod的状态是动态变化的，某个Pod可能因为资源耗尽而变得不健康，或者新的Pod被创建加入到Service的后端，基于概率的负载均衡策略需要能够动态地调整概率权重。
图片来源于网络，如有侵权联系删除
2、当Pod的健康状态发生变化时，如Pod - A出现故障，负载均衡器可以降低Pod - A的概率权重（例如降低到0%），同时相应地调整其他健康Pod的权重，这样可以确保请求不会被路由到故障的Pod，而是更多地分配到健康的Pod上，当新的Pod加入时，也会为其分配一个初始的概率权重，并重新计算其他Pod的权重，以保持整体的负载均衡效果。
与其他负载均衡策略的对比
（一）与Round - Robin策略对比
1、Round - Robin（轮询）策略是按照顺序依次将请求分配到后端的Pod，这种策略简单直接，每个Pod被选中的机会均等，而基于概率的策略则根据设定的权重来分配概率，不同Pod被选中的概率不同。
2、在某些场景下，Round - Robin可能会导致资源利用不均衡，如果某个Pod处理请求的速度较慢，按照轮询的方式可能会导致该Pod积压大量请求，而其他Pod则处于空闲状态，而基于概率的策略可以根据Pod的实际处理能力（通过权重体现）来分配请求，能够更好地适应不同Pod的性能差异。
（二）与IP - Hash策略对比
1、IP - Hash策略是根据请求的源IP地址进行哈希计算，然后将请求路由到固定的Pod，这种策略的优点是可以保证来自同一源IP的请求总是被路由到同一个Pod，适用于有状态的服务，它缺乏灵活性，不能根据Pod的状态动态调整负载分配。
2、基于概率的策略虽然不能保证来自同一源IP的请求总是被路由到同一个Pod，但它可以根据Pod的各种状态动态地调整概率权重，从而实现更灵活的负载均衡，在集群环境中，Pod的状态可能频繁变化，基于概率的策略能够更好地适应这种变化，提高整个系统的可用性和性能。
应用场景
（一）异构资源环境
1、在一个包含不同类型计算资源（如CPU架构、内存大小不同的节点上的Pod）的K8s集群中，基于概率的负载均衡策略非常有用，一些高性能的Pod运行在具有强大计算资源的节点上，而一些低性能的Pod运行在资源有限的节点上，可以为高性能的Pod分配较高的概率权重，使得更多的请求能够被路由到这些Pod上，从而提高整体的处理效率。
2、假设一个集群中有两种类型的Pod，一种是基于高性能CPU的Pod，另一种是基于低性能CPU的Pod，高性能Pod的处理能力是低性能Pod的两倍，可以为高性能Pod分配60%的概率权重，为低性能Pod分配40%的概率权重，这样，在大量请求的情况下，高性能Pod将处理更多的请求，充分利用其计算资源，同时也不会让低性能Pod闲置。
（二）服务逐步升级场景
图片来源于网络，如有侵权联系删除
1、当对后端服务进行升级时，可能会逐步部署新的版本的Pod与旧版本的Pod同时运行，基于概率的负载均衡策略可以用于控制新旧版本Pod接收请求的比例，开始时，可以为新版本Pod分配较低的概率权重，如10%，随着对新版本的测试和验证逐步增加其权重，直到完全切换到新版本。
2、一个Web应用的后端服务要从版本1.0升级到2.0，在升级过程中，先部署少量的2.0版本的Pod，通过将2.0版本Pod的概率权重设置为10%，可以让10%的请求被路由到新版本的Pod进行测试，同时90%的请求仍然由稳定的1.0版本Pod处理，如果在测试过程中发现2.0版本运行良好，可以逐步增加其权重，如增加到30%、50%等，直到权重达到100%，完成服务的升级。
实现机制与相关组件
（一）Kube - Proxy
1、Kube - Proxy是K8s中实现Service负载均衡的重要组件，在基于概率的负载均衡策略中，Kube - Proxy负责根据Service和Pod的配置信息计算各个Pod的概率权重，并在运行时根据权重进行请求的分发。
2、Kube - Proxy会监听K8s API Server上关于Service和Pod的变化信息，当有新的Pod加入或者旧的Pod被删除、Pod的状态发生变化（如健康状态改变）时，Kube - Proxy会及时更新概率权重的计算，并调整请求分发的逻辑。
（二）iptables与IPVS
1、在实际的网络层面，Kube - Proxy可以使用iptables或者IPVS（IP Virtual Server）来实现负载均衡，对于基于概率的负载均衡策略，无论是iptables还是IPVS都需要支持根据权重进行请求分发的功能。
2、iptables是一种基于规则的网络包过滤工具，在基于概率的负载均衡场景下，Kube - Proxy会通过添加特定的iptables规则来实现根据概率权重对请求进行转发，为每个Pod创建对应的iptables规则，并根据权重设置规则的匹配概率。
3、IPVS是一种更高效的负载均衡技术，它直接在内核空间工作，能够提供更快的请求处理速度，在基于概率的负载均衡中，IPVS可以通过设置不同的权重值来实现请求按照概率分配到后端的Pod，它支持多种负载均衡算法，其中就包括可以根据自定义权重进行分配的算法，这为实现基于概率的负载均衡策略提供了良好的基础。
K8s中基于Service的概率（probability）负载均衡策略通过灵活的权重设定、动态的调整机制以及相关组件的协同工作，为在复杂的集群环境中实现高效、灵活的负载分配提供了一种有效的解决方案，它能够适应不同的应用场景，提高系统的可用性、性能和资源利用率。
标签： #k8s #service #负载均衡 #probability
评论列表