声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：11-2223/N
国际刊号：1000-0054
发布日期:
作者：杨李杨, 陈思远, 张展, 朱和一, 左德承
单位：哈尔滨工业大学 计算机科学与技术学院, 哈尔滨 150001
关键词：流处理,分组算法,时间感知
基金：张展,副教授,
随着对实时数据流处理需求的增加，分布式流处理系统的发展也越来越受到关注。大量的倾斜的数据流以及复杂分布式系统的异构性对当前的分布式流处理系统的分组策略提出了挑战。目前已有的分布式流处理分组策略通常关注并行实例之间元组数量的均衡性，而忽视了系统异构性对分组策略造成的影响。该文提出了一种时间感知分组算法，通过对分布式流处理系统存在的网络异构性和处理能力异构性的分析，综合考虑流处理系统中各下游算子实例的处理时间以及上游算子与下游算子之间的通信时间，并根据键值的频率不同制定不同的路由策略，在较小的开销下使系统达到负载均衡。在Apache Flink分布式流处理系统上进行的实验结果表明：时间感知分组算法比已有的分组算法在系统吞吐量上提高了10%，在平均处理延迟上降低了33%。
来源：2020年第10期
《清华大学学报(自然科学版)》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。