博客
关于我
Flink在大规模状态数据集下的checkpoint调优
阅读量:798 次
发布时间:2023-04-03

本文共 941 字,大约阅读时间需要 3 分钟。

背景介绍

运行任务时,初始阶段一切正常,但经过一两天后会出现Checkpoint超时,导致无法接收最新确认(Latest Acknowledgement)。重新使用相同包重启后,系统能够正常运行几天,但始终无法找出导致问题的根本原因。

以下是相关的设置项:

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setRestartStrategy(RestartStrategies.failureRateRestart(3, Time.milliseconds(1000), Time.minutes(5)));
env.disableOperatorChaining();
env.enableCheckpointing(1000 * 60 * 15, CheckpointingMode.AT_LEAST_ONCE);
env.getCheckpointConfig().setFailOnCheckpointingErrors(true);
env.getCheckpointConfig().setCheckpointTimeout(Time.milliseconds(1000 * 60 * 60));
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(Time.milliseconds(1000 * 10));

这些设置中,RestartStrategies.failureRateRestart(3, Time.milliseconds(1000), Time.minutes(5))用于设置失败率重启策略,disableOperatorChaining()禁用了操作链,enableCheckpointing启用了检查点,setFailOnCheckpointingErrors设置检查点失败时的错误处理方式,setCheckpointTimeout设置检查点超时时间,setMinPauseBetweenCheckpoints设置检查点之间的最小等待时间。

转载地址:http://bgefk.baihongyu.com/

你可能感兴趣的文章
Oracle监听配置、数据库实例配置等
查看>>
Oracle笔记(十三) 视图、同义词、索引
查看>>
Oracle笔记(十) 约束
查看>>
Oracle系列:安装Oracle RAC数据库(二)
查看>>
oracle系统 介绍,ORACLE数据库管理系统介绍
查看>>
oracle获取数据库表、字段、注释、约束等
查看>>
oracle表空间查询维护命令大全之三(暂时表空间)史上最全
查看>>
oracle表访问方式
查看>>
Oracle触发器
查看>>
oracle触发器
查看>>
Oracle计划将ZGC项目提交给OpenJDK
查看>>
oracle账号共享
查看>>
Oracle闪回技术(Flashback)
查看>>
oracle零碎要点---ip地址问题,服务问题,系统默认密码问题
查看>>
oracle零碎要点---oracle em的web访问地址忘了
查看>>
Oracle零碎要点---多表联合查询,收集数据库基本资料
查看>>
Oracle静默安装
查看>>
【Bert101】变压器模型背后的复杂数学【02/4】
查看>>
Oracle面试题:Oracle中truncate和delete的区别
查看>>
ThreadLocal线程内部存储类
查看>>