最新获取网站访客qq接口,杭州 电子商务网站建设,新乡网站建设服务哪家好,莱芜金点子电子版招聘2024 年 12 月 24 日#xff0c;由中国信息通信研究院#xff08;以下简称“中国信通院”#xff09;主办的“2025 中国信通院深度观察报告会#xff1a;算力互联网分论坛”#xff0c;在北京隆重召开。本次论坛以“算力互联网 新质生产力”为主题#xff0c;全面展示中国…2024 年 12 月 24 日由中国信息通信研究院以下简称“中国信通院”主办的“2025 中国信通院深度观察报告会算力互联网分论坛”在北京隆重召开。本次论坛以“算力互联网 新质生产力”为主题全面展示中国信通院在算力互联网产业领域的研究、实践与业界共识与产业先行者共同探索算力互联网产业未来发展的方向。
会议公布了“2024 年度云原生与应用现代化标杆案例”评选结果 “云消息队列 Kafka 版 V3 系列”荣获“云原生技术创新标杆案例”。 云消息队列 Kafka 版 V3 系列技术创新
云消息队列 Kafka 版 V3 系列基于阿里云强大的基础设施对 Apache Kafka 进行了深度重构和优化从而构建了端到端的竞争力。 其核心技术创新点包括
利用先进的容器服务技术显著提升了容器部署的密度和效率大幅降低了运维成本。依托于阿里云飞天盘古读写强一致的高性能分布式文件系统实现了存算分离架构下 RTO恢复时间目标的理论最优值。基于弹性 RDMA 网络相较于传统的 TCP/IP 协议栈结合 SMC-R 和 eRDMA实现最高约 30% 的时延减少和最高约 5% 的 CPU 资源节省。基于 AJDK 分代无暂停 GC 和 synchronized 兼容的协程大幅度降低了长尾延迟。基于 Alibaba Cloud Linux 3 操作系统中的 Page Cache文件缓存限制功能解决了因 Page Cache无限制使用而导致的稳定性问题。 云消息队列 Kafka 版 V3 系列核心优势
经济 - 成本效益
云消息队列 Kafka 版在成本上具有显著的竞争优势与 Apache Kafka 相比其定价平均低约 30%在某些特定场景下成本降幅可达 80%。如此显著的经济效益得益于云消息队列 Kafka 版在架构层面一系列的关键优化和创新。
细粒度按量计费 云消息队列 Kafka 版 Serverless 系列提供了细粒度的计费模式支持完全按使用量付费而不是以云服务器 ECS 实例的粒度进行计费。计算单副本架构 云消息队列 Kafka 版基于高性能分布式文件系统提供的分布式强一致性读写语义实现了 Kafka 计算层的一写多读能力Leader 写入数据Follower 强一致可读计算层无需多副本复制就能实现系统高可用。减少 60% 的复制流量同时也降低 CPU 使用率大幅提升计算节点利用率。存储智能分层架构 闪存介质支持低延迟、高吞吐微妙级 IO 延迟磁盘介质支持低成本温数据高性价比存储OSS 支持海量数据长期归档存储。通过全链路 CRC 校验保证数据不丢不错通过纠删码/多副本保证可靠性通过软硬件协同优化发挥效能持续释放技术红利。使用成本优化 云消息队列 Kafka 团队有长时间研发和运维经历积累了大量的实战经验。结合客户的业务模型提供 Kafka 最佳实践客户端和服务端都有 50% 的成本优化避免不必要的开支。同时制定容灾方案以防止数据丢失或服务中断帮忙客户用好、用深产品。
稳定 - 稳定可靠
云消息队列 Kafka 版的稳定性是其在数据流处理等场景中备受信赖的核心优势这得益于其强大的架构设计和管理体系为高效、安全的数据流处理提供了坚实的保障。
高可用 HA 存算分离架构下计算层不再需要 ISR 这样重量级的副本复制协议我们设计了一种轻量 HA 方案优化了元数据管理机制、降低了系统复杂度。Follower Replica 仅作为计算资源的热备存在只保有少量必要的元数据仅需要处理少量的元数据变化请求进一步提高计算层的处理效率。这种架构下新节点能够快速接管数据并提供服务为极致弹性打下扎实基础。多可用区容灾 云消息队列 Kafka 版支持多可用区容灾体系并达到了秒级 RTO恢复时间目标和零 RPO恢复点目标的高标准。即使发生整个可用区不可用级别的灾难性故障系统也能在不丢失数据的情况下秒级恢复确保数据的持续可用性和业务的连续性。自动化巡检 云消息队列 Kafka 版的自动化巡检系统支持秒级巡检系统运行状态及时发现异常情况。自动化运维手段减少了人为操作的错误概率提高了系统的敏捷性和响应速度。报警机制 云消息队列 Kafka 版具备完善的报警功能涵盖多种潜在的故障类型和性能问题。无论是数据积压、节点故障还是流量异常报警系统都能迅速通知运维人员使其能够及时采取措施从而进一步增强了系统的稳健性和可靠性。
性能 - 高吞吐、低延时
云消息队列 Kafka 版基于阿里自研高性能分布式文件系统、高性能 RDMA 网络和操作系统等对 Apache Kafka 存储引擎进行深度重构实现了高吞吐、低延迟的核心竞争力。
高吞吐 飞天盘古是阿里云自研的高性能分布式文件系统解决了超大规模下数据不丢不错和高可用的难题兼顾更加稳定可靠的存储能力、更大的容量和更高的性能等优点广泛部署在全球数十个大型数据中心服务阿里云上数百万的客户覆盖互联网、政企、金融、制造等全行业。飞天盘古是阿里云关键的创新技术之一满足数字经济对海量存储、快速存储和稳定存储的需求并入选世界互联网领先科技成果。低延时 存储低延时用户态协议栈、闪存介质和高性能 RDMA 网络支持百微秒级平均延迟毫秒级长尾延迟。计算低延时针对平均延迟计算层无复制流量可以充分降低网络吞吐以避免拥塞针对长尾延迟使用主流编程语言领域最顶尖的内存管理技术即新一代分代无暂停 GCgenerational pauseless GC大大降低了系统长尾延时。网络低延时基于 SMC-R 技术Alibaba Cloud Linux 3 提供的一套完全兼容 Socket API、基于 eRDMA 的共享内存实现的高性能内核网络协议栈Kafka 无需代码改造即可享受到 eRDMA 技术带来的网络性能红利。相较于传统 TCP/IP 协议栈云消息队列 Kafka 版使用 SMC-R eRDMA能带来最高约 30% 的时延减少和最高约 5% 的 CPU 资源节省。
弹性 - 灵活弹性
云消息队列 Kafka 版 Serverless 系列以其卓越的弹性能力为企业提供了高效的资源管理和业务连续性保障。
容器化部署 阿里云容器服务通过硬件结构体系、操作系统、分布式调度配合实现了面向 SLO 的资源精细化管理和弹性调度VPA弹性超卖等调度技术提升了资源弹性能力和资源的利用率。节点资源自动弹性结合调度能力提供了丰富的资源弹性能力块资源弹性resource limit 阈值弹性定时弹性等。通过调度和节点弹性技术大幅度提升了容器部署密度和部署效率。自适应弹性 云消息队列 Kafka 版 Serverless 系列在 20 MB/s - 1 GB/s 支持无感弹性1 GB/s - 3 GB/s 支持秒级弹性3 GB/s 以上支持分钟级弹性。客户可以依据业务流量的趋势通过弹性能力极致地平衡成本与性能从容且高效地应对突发流量高峰。秒级定时弹性 对于超大规模集群云消息队列 Kafka 版 Serverless 系列支持脉冲的定时弹性允许预设弹性策略在流量高峰期预留足够资源确保关键业务的持续性和稳定性在低峰期则减少资源使用以节约成本不仅提升了资源利用率还降低了运维复杂度。
云消息队列 Kafka 版 V3 系列应用案例
云消息队列 Kafka 版已服务数万家企业广泛应用于互联网、金融、汽车/出行、在线教育等 20 多个行业领域。以下是两个具有代表性的案例展示了云消息队列 Kafka 版 V3 系列在实际业务中的应用价值。
曹操出行借助 ApsaraMQ for Kafka Serverless 提升效率成本节省超 20%
曹操出行作为中国领先的共享出行平台致力于将互联网、车联网、自动驾驶等先进技术应用于共享出行领域。随着业务规模的不断扩大曹操出行面临以下挑战业务流量波动明显突增高流量对现有技术架构造成压力数据来源广泛并且这些数据需要被采集、缓存、分发给不同的数据系统进行处理。
为了应对上述挑战曹操出行选择与阿里云合作将 Kafka 迁移上阿里云采用 ApsaraMQ for Kafka Serverless 系列凭借其秒级弹性扩展和按需付费的优势在实现灵活扩缩容的同时保证了服务的敏捷性和稳定性并节省了超过 20% 的成本。
更多详情请查看
曹操出行借助 ApsaraMQ for Kafka Serverless 提升效率成本节省超 20
道旅科技借助云消息队列 Kafka 版加速旅游大数据创新发展
道旅科技作为以科技驱动的全球酒店资源批发商需要高效管理和深入分析海量旅游数据以便更好地把握市场动态、满足客户需求、提升业务效率和优化用户体验。因此道旅科技打造了先进的大数据平台并选择 Kafka 作为数据流处理的核心组件期望其能够提供实时数据处理、高并发高吞吐的消息传递、数据持久化和可靠性、高效管理成本和资源等关键价值。
云消息队列 Kafka 版凭借高吞吐与分布式架构满足了道旅科技的实时数据收集、传输和高并发消息传递的需求。通过持久化能力与副本机制进一步确保了数据可靠性和业务连续性。即使在高负载情况下也能稳定传递消息防止数据丢失维护数据完整性从而保障旅游大数据平台的高效运行。 云消息队列 Kafka 版 Serverless 系列采用存算分离架构并结合动态资源调整策略能够根据实时业务负载自动进行弹性伸缩实现按量付费无需预先估算和配置实例规格。不仅降低了运维工作的复杂度还显著降低了使用成本。
更多详情请查看
道旅科技借助云消息队列 Kafka 版加速旅游大数据创新发展
欢迎点击此处了解关于云消息队列 Kafka 版产品的更多信息
