南京的网站建设公司,广西网红排名第一是谁,ui设计师证书有用吗,wordpress媒体库文件夹b站高可用架构
关键点#xff1a;主机房#xff0c;多活和多活机房
参考文章#xff1a;bilibili技术总监毛剑#xff1a;B站高可用架构实践
1. 前端和数据中心负载均衡 前端负载均衡(动态CDN):最近节点、带宽策略、可用服务容量 数据中心负载均衡:均衡流量、识别异常节…b站高可用架构
关键点主机房多活和多活机房
参考文章bilibili技术总监毛剑B站高可用架构实践
1. 前端和数据中心负载均衡 前端负载均衡(动态CDN):最近节点、带宽策略、可用服务容量 数据中心负载均衡:均衡流量、识别异常节点、扩容、提高可用性 子集选择算法:减少心跳检测成本,平均分配后端至客户端,节点变更持续均衡 高并发:多集群提高吞吐量,数据保存多缓存,单集群故障迁移成本降低
2. 负载均衡算法 正常:轮询 问题:请求处理成本不同、物理机差异、k8s容器切换用户感知 关键:考虑服务器可用性,构建全局视图,负载可用性 算法:choice-of-2 算法,选2节点打分选择;预热新节点;低分节点统计衰减避免“永久黑名单”
3. 分布式限流 作用:服务器过载,先降级服务-限流保证服务稳定 正常:静态QPS 问题:某用户请求过重,挤兑其他用户 关键:不同流量、重要性、用户对应不同QPS,最重要服务自保 解决使用算法quota-server获取quota,基于滑动窗口一段时间内使用的次数最大值计算quota;最大最小公平算法解决大消耗者饥饿;客户端概率公式截流,不全部拒绝 配额获取:基于统一错误码
4. 重试、超时、应对连锁故障 重试:限制次数,只失败层重试,失败返回错误码避免级联,设置周期速率诊断 超时:高并发高延迟引发故障,超时为fail fast让请求消耗或丢弃,上下游不一致导致资源浪费 “默认值策略”:每个请求每个阶段检查足够剩余时间 跨进程超时控制:rpc承诺超时时间,不足取消传递,超时时间覆盖上游 应对连锁故障:避免过载,限流-降级,重试退避,超时控制,变更管理,压测演练,扩容重启消除流量
5. 其他
当客户端访问服务时将用户数据保存到多个缓存上 当Quota耗尽或申请Quota的时间过期也能主动拉取数据。 quota server故障:降级本地策略或直接放行 Apisix vs Envoy:Apisix基于nginx nginx的多 worker 的协作方式具有高并发优势,Envoy总线设计使得处理东西向流量具有优势
多服务器心跳检测成本过高
解决子集选择。client不连接全集只连接一部分服务器进行负载均衡。
6. b站架构 无限递归导致主机房CPU爆掉,限流无解,用户刷新多活机房流量挂掉 崩溃不影响CDN静态资源 多活:不同业务不同机房,主机房承载所有在线业务
无限递归导致主机房CPU爆掉,限流无解,用户刷新多活机房流量挂掉
问题
1. b站架构如何实现高效和可靠的负载均衡 前端和数据中心负载均衡器(BFE和Envoy),选择最近节点、根据带宽和容量均衡流量 子集选择算法,减少连接和心跳检测成本,持续均衡节点变更 choice-of-2算法考虑服务器可用性,选2节点打分选择,预热新节点,统计衰减低分节点
2. 如何优化超大规模集群的连接和限流 子集选择算法,客户端只连接后端子集,减少连接和心跳成本 quota-server获取和计算quota,减少请求backend频次;滑动窗口算法;最大最小公平算法防大消耗者饥饿 客户端概率公式截流,不全部拒绝,配额获取基于统一错误码
3. 如何设置合理的重试和超时策略- 重试:限制次数,只失败层重试,失败返回错误码避免级联,设置周期速率诊断
超时:高并发高延迟引发故障,超时为fail fast让请求消耗或丢弃“默认值策略”:每个请求每个阶段检查足够剩余时间跨进程超时控制:rpc承诺超时时间,不足取消传递,超时时间覆盖上游
4. 如何防止和处理连锁故障- 避免过载,限流-降级,重试退避,超时控制
变更管理,压测演练,扩容重启消除有害流量
5. 如何利用多活机房来提高服务可用性
多活(容灾)根据不同业务选择不同机房,主机房承载所有在线业务
其他主机房CPU炸掉,限流无解,用户刷新导致多活机房流量挂掉,导致崩溃。
