网站源码如何使用,公司门户网站项目模版,重庆市建设工程管理信息网,js 做网站华为开发者大会2024#xff08;HDC 2024#xff09;在东莞松山湖圆满结束#xff0c;期间华为云主办的“全域Serverless时代#xff1a;技术创新引领#xff0c;赋能行业实践”专题论坛#xff0c;向广大开发者传递了Serverless领域的前沿思考和实践#xff0c;现场座无…华为开发者大会2024HDC 2024在东莞·松山湖圆满结束期间华为云主办的“全域Serverless时代技术创新引领赋能行业实践”专题论坛向广大开发者传递了Serverless领域的前沿思考和实践现场座无虚席。Serverless展台接待企业客户300媒体宣传累计阅读量1w。这一系列数字是华为云全域Serverless化的一个“缩影”千行万业的开发者认可Serverless带来的价值并付诸实践Serverless的应用场景也逐步从“专用”走向“通用”。
在本次HDC大会上华为云发布一则重磅消息华为云全域Serverless化背后的“基石”——元戎中稿全球顶尖学术会议ACM SIGCOMM 2024。该会议在计算机科学领域享有崇高声望2024年共接收投稿366篇其中62篇被录用录用率仅为16.9%。论文《YuanRong: A Production General-purpose Serverless System for Distributed Applications in the Cloud》揭示了华为自主创新的业界首个通用Serverless平台提供通用函数编程模型高可扩缩、高性能和高效对接后端服务的运行框架助力华为云构建全域Serverless云服务。 一、Serverless从“专用”走向“通用” 当前业界现有的Serverless产品主要限于事件驱动型应用然而对于有状态微服务、大数据、HPC、AIGC等复杂应用仍然面临如下四大核心技术挑战
函数间无法高效协同函数间无法直接寻址需绕走网关导致互调性能差。函数间不支持共享内存无法高效协同难以满足微服务、HPC等场景对低时延的诉求不确定的冷启动时延冷启动是Serverless性能优化难题之一尤其在微服务、AIGC等场景容器启动时加载大镜像GB级的开销大加之复杂的应用初始化过程整个冷启动耗时分钟级无法按需弹性状态外置影响性能应用程序的状态必须外置到如OBS等远端存储延迟可达数百毫秒同时远端存储的带宽有限导致吞吐量低难以满足大数据等场景多任务之间高效数据流转的诉求用户函数和后端服务间交互复杂后端服务通常是有状态的并为每个客户端维护经过身份验证的活动连接例如JDBC连接但这些连接状态很难在协作的函数实例之间共享。此外多个函数的并发操作也会导致分布式事务的问题。 二、元戎首创通用Serverless平台 论文介绍了元戎通用Serverless平台的一系列关键创新。其中针对挑战1和2元戎构建了可扩展的函数系统实现大规模函数调度、亚毫秒函数互调以及函数极速冷启动等关键技术支持大规模多形态应用的统一管理和高效运行针对挑战3元戎内置了多语义数据系统实现分布式共享内存对象以及流数据对象提供分布式共享内存池支持多语义数据的高效流转针对挑战4元戎构建了可移植的Bridge系统提供事件和后端服务的标准抽象接口解耦架构同时支持连接复用和共享事务等功能。
元戎进一步抽象了面向云原生编程的通用Serverless运行时接口并实现了主流语言的Runtime。通过这些Runtime元戎为开发者提供特定领域的简易编程模式支持Web服务、大数据、AI训练/推理、HPC等全域Serverless应用。 “元戎通用Serverless平台”架构图示 更多技术细节请参见华为云在ACM SIGCOMM 24发表的论文原文
链接YuanRong: A Production General-purpose Serverless System for Distributed Applications in the Cloud | Proceedings of the ACM SIGCOMM 2024 Conference 三、通用Serverless客户案例 案例1全球销量领先车企基于Serverless构建千万级车联网平台
当前汽车行业的车联网业务对提升产业竞争力和创新能力方面具有重要意义。为了在未来10年内满足6700万接入车辆的业务需求某全球销量领先的车企期望构建一个全生命周期车辆管理平台。该平台需要能够承载分钟级的车辆数据上报每天100T的数据增量并支撑至少10PB级以上的存量数据。此外汽车接入具备典型的波峰波谷特征白天上下班时请求峰值达3w QPS夜间请求量相对白天锐减。如何构建支持千万车辆稳定接入的车联网平台满足业务端到端秒级时延并降低成本是企业面临的主要问题。
Serverless方案凭借其按需全自动弹性按请求计费免运维等优势最终在与传统虚拟机/容器方案的对比中胜出。华为云FunctionGraphPowered by元戎作为核心计算服务结合APIG、DIS、EG等Serverless中间件灵活组装数据转码、分发、转储等业务流程函数级逻辑开发简单实例多AZ部署保证了高可靠性。 “使用FunctionGraph的无服务器IoV平台”方案图示 该车联网平台完成Serverless架构升级后弹性能力显著提升达到业界领先的分钟级 5000 函数实例弹性业务端到端时延从分钟缩短到秒加速近20倍资源利用率提高了50%这与元戎提供的以下两个“黑科技”密不可分。
首先元戎创新提出了基于进程级快照的函数极速冷启动技术支持对用户空间指定的进程进行“冻结”即停止进程并将该进程运行的所有上下文持久化为快照文件并在必要时对其进行“解冻”即通过保存的快照文件来正确恢复进程运行的上下文。当用户请求触发函数启动时直接基于函数快照恢复跳过框架启动、业务初始化等耗时较长的阶段进一步结合内置数据系统实现快照缓存加速显著提升应用冷启动性能90%。 “元戎函数极速冷启动”原理图示 其次元戎构建了分级调度架构以应对生产系统中传统中心化调度架构的性能瓶颈支持大规模函数实例的并行调度并有效利用数据局部性确保高可扩展性更好地支撑千万级车辆接入的波峰波谷场景。 “元戎大规模分级调度”原理图示 车联网平台自商用上线以来已经历春节等节假日的考验峰值每天十几亿次函数调用无错误。该Serverless方案现已作为华为云标准车联网解决方案进行推广帮助更多车企构建高可用、低成本的车联网平台。 案例2华为MetaERP全面Serverless化架构升级
MetaERP是服务于华为公司生产制造、供应、采购、财务业务的SaaS系统整个系统构成非常复杂涉及微服务、函数、大数据等多种应用形态。当前架构面临研发成本高、资源成本高等一系列挑战。为了解决这些问题MetaERP正在进行全面Serverless化架构升级旨在打造业界首个Serverless ERP系统实现研发和资源成本的双重下降。 1资产核算业务
资产核算业务(MFA) 支持企业资产从获取到处置的全生命周期管理和交易核算在资产使用寿命内按照会计准则和税法要求系统地计提资产折旧费用。该业务的资源池独立作业时间集中具有典型的波峰波谷特征。然而Java微服务的启动时延超过1分钟弹性响应慢业务峰值处理性能不足日常波谷时仍需要保持最低配置在线平均资源利用率不到2%导致资源成本高。
MFA业务基于元戎进行Serverless化改造元戎提供Spring框架兼容能力支持通过修改少量配置即可实现存量业务Serverless化。进一步元戎通过函数极速冷启动技术将业务冷启动时间缩短到5秒弹性性能提升20倍。结合自动水平和垂直弹性能力在无请求时支持业务实例缩容至0月均资源消耗降低70%。 2销售订单业务
当前MetaERP依托平台基础功能通用逻辑来支撑上层大量的租户定制业务扩展逻辑。以销售订单业务为例平台通用逻辑动态加载租户扩展逻辑虽然实现了灵活定制但两者耦合运行无法保证安全隔离。
元戎支持租户扩展逻辑以Serverless函数方式发布、运行通过函数物理实例隔离的方式减少风险保障通用层的稳定。然而优秀的技术方案往往也难以一步到位虽然实现了多租户之间的安全隔离但也引入了两大挑战。 首先分离后的通用逻辑和租户扩展逻辑通过RPC通信相比原先本地调用耗时必然增加且通信次数越多耗时会越大。元戎提供亚毫秒函数互调能力通过简化通信链路、亲和性调度、协议优化等关键技术支撑通用逻辑和租户扩展之间高性能直连互通实现端到端调用时延1ms。 “元戎函数互调”原理图示 其次不同的业务逻辑之间访问同一份数据时的事务一致性问题。元戎提供Service Bridge代理后端服务访问利用路由计算将同一事务的请求汇聚到同一个Bridge函数实例上将原来分离的事务逻辑重新聚合成本地事务解决分布式事务一致性问题。 “用户函数通过元戎Service Bridge访问后端服务”原理图示 四、总结与展望 近年来华为云持续构筑全域Serverless云服务推出了一系列竞争力领先的Serverless产品包括函数工作流FunctionGraph、Serverless容器引擎CCE Autopilot、Serverless应用托管CAE、云数据仓库DWS、事件网格EventGrid等高效支撑Serverless全面商业化。 “华为云全域Serverless化”愿景图示 面向生成式AI浪潮元戎通用Serverless将持续聚焦技术创新突破大模型推理服务实例快速弹性、分布式KV Cache池化管理、多模型混部高效协同调度、超大规模分布式训练高可用性等关键技术构筑大模型推理和训练的高性能、低成本、高可用性关键竞争力。通过这些创新元戎将助力华为云打造极低成本、极致性能和极优体验的Serverless AI解决方案实现全域Serverless化的竞争力领先帮助千行万业的百万开发者缩短交付周期提升上云效率抢占市场先机。
