XxlJob集成GooFlow工作流

背景：

最近在研究怎么批量执行定时任务，于是在网上找到了GooFlow工作流模式可以集成到xxlJob中。下面我就介绍一下我们该如何集成，实现批量执行job的。

jar中包含xxl的一些常用类，有自己的model，定义的通用ReturnT返回类型，还有非常重要的XxlJobExecutor，这个类实现了上下文，包含appname、address、ip和port端口。下面列举一些比较重要的后端实现类：

在项目里面需要注入XxlJobSpringExecutorclass 这个类, 就从这个类开始分析，首先其类的层次结构如下, XxlJobSpringExecutor 继承了 XxlJobExecutor，实现了 ApplicationContextAware， DisposableBean，SmartInitializingSingleton，可以看出 ，其实整个逻辑是在类XxlJobExecutor 里面，类XxlJobSpringExecutor 是为了匹配Spring 框架而做的改造；

获取到所有的注册的beanName，针对每一个bean 进行扫描，获取带有@XxlJob 注解的方法，涉及一个工具类工具类MethodIntrospector，对每一个获带有@XxlJob 注解的方法进行校验:

前端代码引入gooflow所需要的js和css样式文件，包括它的img和fonts，在相应的html文件中引入这些js和样式文件。

可以对每个批次任务进行执行日志的查询和追踪。

查看日志详情，调度备注查看

以上是 前端监控系统搭建一阿里云服务器搭建篇> 的方法分享, 如果你是前端工程师同学，欢迎试用 webfunny监控系统 。

用手动和软件一起杀毒,这病毒我以前遇到过,我花了一个礼拜的时间把它搞定了,我觉得治根本就是强行弄掉抑制“logo1_exe”和“rundl132”,至于其他的伴随病毒,那些用卡巴斯基升级最新到安全模式下查杀就行了,几天后就查不多干净了看下我的办法行不,按以下步骤:

1：HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run"

在右侧的键值项窗口中找到病毒相应项或者把随机启动的项都删除，将它删除就可以了

2：打开 任务管理器，注意rundl132exe是病毒文件rundll32exe才是系统文件；病毒是在windows目录下生dlldll,logo1_exe,rundl132exe这三个文件。选工具——文件夹选项——查看（快捷键按ALT+T再按O）中的"隐藏受保护的操作系统文件(推荐)"的勾取消,把"显示所有文件和文件夹"选中！

3：去下载一个暴力灭杀天王(PowerRMV) 地址:http://postbaiducom/fkz=158203765 下载好了,重启,到安全模式。用PowerRMV删除你说的病毒文件,并且在\"抑制对象再次生成\"前打钩,这样就不会再出现了用这软件删除logo1_exe,rundl132exe。至于DLLdll被嵌入到了EXPLORER里面了，打开任务管理把进程中的explorerexe结束掉，接着桌面变消失了，不怕！选中任务管理器的“文件（F）”——“新任务（运行。。）（N）”然后运行explorerexe桌面就又出来了！接着把在C:盘下的DLLdll删除掉3在运行中输入regedit查找注册表键值：[HKEY_LOCAL_MACHINE\Software\Soft\DownloadWWW]将其删除,然后按CTRL+F查找注册表键值rundl132exe及在这项中的所有键值将其删除。

4：弄个卡巴斯基升级到最新，再取消MSCONFIG启动项里的勾选，到安全模式下查杀剩下的病毒。

5：治根本就在于“logo1_exe”和“rundl132”。

已安装Job Import Plugin，在系统配置中完成对远程服务器访问权限的配置。

选择需要导入的JOB，点击import!

导入后，需要更改相应配置，比如GIT指向，SONAR指向等。

通过:zkServersh status 可以查看zk集群状态正常情况下一个zk集群中会有一个lader,其它的都为flolwer通过:zkServersh stop 停止集群

下面这个例子很好的覆盖了Quartz最重要的3个基本要素：

例子中是HelloQuartz。 为什么设计成JobDetail + Job，不直接使用Job？这是因为任务是有可能并发执行，如果Scheduler直接使用Job，就会存在对同一个Job实例并发访问的问题。而JobDetail & Job 方式，sheduler每次执行，都会根据JobDetail创建一个新的Job实例，这样就可以规避并发访问的问题。

定义Job类为HelloQuartz类，这是真正的执行逻辑所在

当当是在quartz的基础上封装了quartz，对应的有

1创建一个orgquartzJob的实现类，并实现实现自己的业务逻辑。

public final class LiteJob implements Job {}

2定义一个JobDetail，引用这个实现类 。

3Scheduler调度器。

以下举例说明如何使用当当：

设置分片参数，定义Job配置类，执行计划等配置

定义Job类

意为简单实现，未经任何封装的类型。需实现SimpleJob接口。该接口仅提供单一方法用于覆盖，此方法将定时执行。与Quartz原生接口相似，但提供了弹性扩缩容和分片等功能。

Dataflow类型用于处理数据流，需实现DataflowJob接口。该接口提供2个方法可供覆盖，分别用于抓取(fetchData)和处理(processData)数据。

流式作业：涉及到两个概念分片分批

即上面重写的两个方法中

fetchData 用于抓取，如数据库中的待抓取歌曲中有一个字段用来标识该任务是属于哪一个分片，即到时候会在哪一个分片上执行。如有两个分片，用分片号0、1表示。1000首待抓取的歌，500首标记为0，500首标记为1。那么到时候我们将歌曲的信息作为上下文参数传入到fetch方法中，500首歌可以limit 100，每次查出100首歌进行处理，这就叫分批，一个任务被分成了2片，每片里面按照100首歌一批，分5批执行完。

processData 就是按照批次每次处理100首歌，其中100首歌作为一个子事物，其中有一首歌抛异常或者出现任何失败，那么都认为这个批次执行失败，下次会将这个批次内的所有任务数据在执行一遍。

事件追踪的event_trace_rdb_url属性对应库自动创建JOB_EXECUTION_LOG和JOB_STATUS_TRACE_LOG两张表以及若干索引。

JOB_EXECUTION_LOG记录每次作业的执行 历史 。分为两个步骤：

作业开始执行时向数据库插入数据，除failure_cause和complete_time外的其他字段均不为空。

作业完成执行时向数据库更新数据，更新is_success, complete_time和failure_cause(如果作业执行失败)。

JOB_STATUS_TRACE_LOG记录作业状态变更痕迹表。可通过每次作业运行的task_id查询作业状态变化的生命周期和运行轨迹。

可通过配置多个任务监听器，在任务执行前和执行后执行监听的方法。监听器分为每台作业节点均执行和分布式场景中仅单一节点执行2种。

若作业处理作业服务器的文件，处理完成后删除文件，可考虑使用每个节点均执行清理任务。此类型任务实现简单，且无需考虑全局分布式任务是否完成，请尽量使用此类型监听器。

步骤：

定义监听

将监听器作为参数传入JobScheduler

若作业处理数据库数据，处理完成后只需一个节点完成数据清理任务即可。此类型任务处理复杂，需同步分布式环境下作业的状态同步，提供了超时设置来避免作业不同步导致的死锁，请谨慎使用。

步骤：

定义监听

将监听器作为参数传入JobScheduler

全路径：

ioelasticjobliteapistrategyimplAverageAllocationJobShardingStrategy

策略说明：

基于平均分配算法的分片策略，也是默认的分片策略。

如果分片不能整除，则不能整除的多余分片将依次追加到序号小的服务器。如：

如果有3台服务器，分成9片，则每台服务器分到的分片是：1=[0,1,2], 2=[3,4,5], 3=[6,7,8]

如果有3台服务器，分成8片，则每台服务器分到的分片是：1=[0,1,6], 2=[2,3,7], 3=[4,5]

如果有3台服务器，分成10片，则每台服务器分到的分片是：1=[0,1,2,9], 2=[3,4,5], 3=[6,7,8]

全路径：

ioelasticjobliteapistrategyimplOdevitySortByNameJobShardingStrategy

策略说明：

根据作业名的哈希值奇偶数决定IP升降序算法的分片策略。

作业名的哈希值为奇数则IP升序。

作业名的哈希值为偶数则IP降序。

用于不同的作业平均分配负载至不同的服务器。

全路径：

ioelasticjobliteapistrategyimplRotateServerByNameJobShardingStrategy

策略说明：

根据作业名的哈希值对服务器列表进行轮转的分片策略。

解压缩elastic-job-lite-console-${version}targz并执行binstartsh。打开浏览器访问http://localhost:8899/即可访问控制台。8899为默认端口号，可通过启动脚本输入-p自定义端口号。

elastic-job-lite-console-${version}targz可通过mvn install编译获取。

登录

提供两种账户，管理员及访客，管理员拥有全部操作权限，访客仅拥有察看权限。默认管理员用户名和密码是root/root，访客用户名和密码是guest/guest，可通过confauthproperties修改管理员及访客用户名及密码。

功能列表

登录安全控制

注册中心、事件追踪数据源管理

快捷修改作业设置

作业和服务器维度状态查看

操作作业禁用启用、停止和删除等生命周期

事件追踪查询

备注：

请使用JDK17及其以上版本

请使用Zookeeper 346及其以上版本

请使用Maven 304及其以上版本

注册中心在定义的命名空间下，创建作业名称节点，用于区分不同作业，所以作业一旦创建则不能修改作业名称，如果修改名称将视为新的作业。作业名称节点下又包含4个数据子节点，分别是config, instances, sharding, servers和leader。

config节点

作业配置信息，以JSON格式存储

instances节点

作业运行实例信息，子节点是当前作业运行实例的主键。作业运行实例主键由作业运行服务器的IP地址和PID构成。作业运行实例主键均为临时节点，当作业实例上线时注册，下线时自动清理。注册中心监控这些节点的变化来协调分布式作业的分片以及高可用。 可在作业运行实例节点写入TRIGGER表示该实例立即执行一次。

sharding节点

作业分片信息，子节点是分片项序号，从零开始，至分片总数减一。分片项序号的子节点存储详细信息。每个分片项下的子节点用于控制和记录分片运行状态。节点详细信息说明：

servers节点

作业服务器信息，子节点是作业服务器的IP地址。可在IP地址节点写入DISABLED表示该服务器禁用。 在新的cloud native架构下，servers节点大幅弱化，仅包含控制服务器是否可以禁用这一功能。为了更加纯粹的实现job核心，servers功能未来可能删除，控制服务器是否禁用的能力应该下放至自动化部署系统。

leader节点

作业服务器主节点信息，分为election，sharding和failover三个子节点。分别用于主节点选举，分片和失效转移处理。

leader节点是内部使用的节点，如果对作业框架原理不感兴趣，可不关注此节点。

我是 「翎野君」 ，感谢各位朋友的： 点赞 、 收藏 和 评论 ，我们下期见。

一、为什么要使用elasticjob

1 可动态修改任务执行时间, 解决quartz 修改配置需重启系统问题 可运维

2: 可通过调整分片的方式, 动态调整任务执行线程的数量 动态改变任务吞吐量

3: Lite-Job 一台机器能起一个实例, 多台机器分别起实例同时执行, 解决quartz 单机执行问题, 可扩展

二、elasticjob原理

底层执行仍然采用quartz，执行过程中会对数据进行取膜。取膜结果与当前服务器拥有的分片做比较，相等则执行，否则不予执行。

单机多分片情形：job触发时会new多个线程执行（每个线程的分片数不同）

多机多分片情形：job触发时会先去zookeeper节点下的leader节点检测看是否有sharding目录下的necssary节点，有则会重新执行分片。分片策略参考如下。

三、分片策略

1AverageAllocationJobShardingStrategy

基于平均分配算法的分片策略，也是默认的分片策略。

如果分片不能整除，则不能整除的多余分片将依次追加到序号小的服务器。如：

如果有3台服务器，分成9片，则每台服务器分到的分片是：1=[0,1,2], 2=[3,4,5], 3=[6,7,8]

如果有3台服务器，分成8片，则每台服务器分到的分片是：1=[0,1,6], 2=[2,3,7], 3=[4,5]

如果有3台服务器，分成10片，则每台服务器分到的分片是：1=[0,1,2,9], 2=[3,4,5], 3=[6,7,8]

2OdevitySortByNameJobShardingStrategy

根据作业名的哈希值奇偶数决定IP升降序算法的分片策略。

作业名的哈希值为奇数则IP升序，作业名的哈希值为偶数则IP降序。

用于不同的作业平均分配负载至不同的服务器。

AverageAllocationJobShardingStrategy的缺点是，一旦分片数小于作业服务器数，作业将永远分配至IP地址靠前的服务器，导致IP地址靠后的服务器空闲。而OdevitySortByNameJobShardingStrategy则可以根据作业名称重新分配服务器负载。如：

如果有3台服务器，分成2片，作业名称的哈希值为奇数，则每台服务器分到的分片是：1=[0], 2=[1], 3=[]

如果有3台服务器，分成2片，作业名称的哈希值为偶数，则每台服务器分到的分片是：3=[0], 2=[1], 1=[]

3RotateServerByNameJobShardingStrategy

根据作业名的哈希值对服务器列表进行轮转的分片策略。

四、处理方式

1、SimpleJob类型处理方式

意为简单实现，未经任何封装的类型。需实现SimpleJob接口。该接口仅提供单一方法用于覆盖，此方法将定时执行。与Quartz原生接口相似，但提供了弹性扩缩容和分片等功能。

2、DataflowJob类型作业

流式处理类型作业

即使实现了DataflowJob接口 默认也是不开启流式作业。

何为流式？  就是fetchData后List，调用processData时候，传整个list。执行后再去fetch，如果还有符合条件的继续processData。

非流式只有时间片到了才触发执行。

此外，还有一点， fetch的List, 会遍历list，每条记录作为task扔到线程中，processData（List）,每次处理的都是一条数据。

需要向pbs提交另一个单独的独立进程，该进程可以（1）在特定的磁盘I / O时终止（使用qdel）已提交的作业Pjob（并因此杀死PR）。目录在特定时间内不存在，（2）检查进度，并且（3）根据进度重新提交另一个Pjob（源另一个PR）。