作业调度器和cpu调度器有何区别

　　作业调度器（job

scheduler）是一个使公司能够调度并且，在某些情况下，能管理计算机“批”作业（执行单位，例如一个职工工资表程序的运行）的程序。

　　作业调度器（job

scheduler）是一个使公司能够调度并且，在某些情况下，能管理计算机“批”作业（执行单位，例如一个职工工资表程序的运行）的程序。作业调度器可以自动地通过处理准备好的作业控制语言语句或通过和一个人类操作者进行同等作用的交互来初始化和管理作业。现在的作业调度器一般都提供一个图形化的用户接口，以及在分布式计算机网络中对所有的操作提供一个单点控制。

　　

　　在作业调度器（job

scheduler）中可以找到的一些特征包括：

　　对作业以及完成通告的持续自动的监控

　　事件驱动的作业的调度

　　性能监控

　　报告调度

　　多处理器调度（Multiple-Processor

Scheduling）：如果多个CPU，则负载分配（load

sharing）。其中主要讨论处理器功能相同（或同构）的系统，可以将任何处理器用于运行队列内的任何进程。

　　多处理器调度方法：在一个多处理器中，CPU调度的一种方法是让一个处理器（主服务器）处理所有的调度决定、I/O处理以及其他系统活动，其他的处理器只执行用户代码。这种非对称处理（asymmetric

multiprocessing）方法更为简单，因为只有一个处理器访问系统数据结构，减轻了数据共享的需要。另一种方法是使用对称多处理（symmetric

multiprocessing，SMP）方法，即每个处理器自我调度。所有进程可能处于一个共同的就绪队列中，或每个处理器都有自己的私有就绪队列。无论如何，调度通过每个处理器检查共同就绪队列并选择一个进程来执行。如果多个处理器试图访问和更新一个共同数据结构，那么每个处理器必须仔编程：必须确保两个处理器不能选择同一进程，且进程不会从队列中丢失。

　　处理器亲和性：进程移到其他处理器上时，被迁移的第一个处理器的缓存中的内容必须为无效，而将要迁移的第二个处理器上的缓存需重新构建。由于使缓存无效或重构的代价高，因而SMP努力的使一个进程在同一个处理器上运行，这被称为处理器亲和性，即一个进程需有一种对其他运行所在的处理器的亲和性。软亲和性（soft

affinity，操作系统具有设法让一个进程保持在同一个处理器上运行的策略，但不能做任何保证）—硬亲和性（hard

affinity，允许进程指定它不允许移至其他处理器）。

　　负载平衡（load

balancing）：设法将工作负载平均地分配到SMP系统中的所有处理器上。通常只是对那些拥有自己私有的可执行的进程的处理器而言是必要的。两种方法：push

migration（一个特定的任务周期性地检查每个处理器上的负载，如果发现不平衡，即通过将进程从超载处理器移到（或推送到）空闲或不太忙的处理器，从而平均地分配负载，当空闲处理器从一个忙的处理器上推送pull一个等待任务时，发生pull

migration）和pull

migration。会抵消处理器亲和性。达到限额。

　　对称多线程：提供多个逻辑（而非物理的）处理器来运行几个线程，称为对称多线程（SMT），或超线程（hyperthreading）技术。即使系统仅有单处理器，每个逻辑处理器都有它自己的架构状态，包括通用目的和机器状态寄存器。每个逻辑处理器负责自己的中断处理，这意味着中断被送到并被逻辑处理器所处理，每个逻辑处理器共享其物理处理器的资源，如缓存或总线。SMT是硬件而非软件提供的。硬件应该提供每个逻辑处理器的架构状态的表示以及中断处理方法。调度程序首先设法把不同线程分别调度到每个物理处理器上，而不是调度到同一个物理处理器的不同逻辑处理器上。

　　

　　线程调度：用户线程---内核线程

　　系统调度的是内核线程，而不是进程。用户线程由线程库管理，内核并不了解它们。用户线程最终必须映射到相应的内核级线程。轻量级线程（LWP）。

　　竞争范围：用户线程和内核线程的区别之一是它们是如何被调度的。在执行多对一模型和多对多模型系统上，线程库调度用户级线程到一个有效的LWP上运行，这被称为进程竞争范围（process-contention

scope，PCS）方法，因为CPU竞争发生在属于相同进程的线程之间。为了决定调度哪个内核线程到CPU，内核采用系统竞争范围（system-contention

scope，SCS）方法来进行，竞争CPU发生在系统所有线程中，采用一对一的模型的系统，调度仅使用SCS方法。

　　PCS是根据优先级完成的。

　　Pthread调度：在线程生成过程中允许指定是PCS或SCS的。

　　

一，使用taskset充分利用多核cpu，让cpu的使用率均衡到每个cpu上

#taskset

-p, 设定一个已存在的pid，而不是重新开启一个新任务

-c, 指定一个处理，可以指定多个，以逗号分隔，也可指定范围，如：2,4,5,6-8。

1，切换某个进程到指定的cpu上

taskset -cp 3 13290

2，让某程序运行在指定的cpu上

taskset -c 1,2,4-7 tar jcf testtargz test

需要注意的是，taskset -cp 3 13290在设定一个已经存在的pid时，子进程并不会继承父进程的，

因此像tar zcf xxxtargz xxx这样的命令，最好在启动时指定cpu，如果在已经启动的情况下，则需要指定tar调用的gzip进程。

二，使用nice和renice设置程序执行的优先级

格式：nice [-n 数值] 命令

nice 指令可以改变程序执行的优先权等级。指令让使用者在执行程序时，指定一个优先等级，称之为 nice 值。

这个数值从最高优先级的-20到最低优先级的19。负数值只有 root 才有权力使。

一般使用者，也可使用 nice 指令来做执行程序的优先级管理，但只能将nice值越调越高。

可以通过二种方式来给某个程序设定nice值：

1，开始执行程序时给定一个nice值，用nice命令

2，调整某个运行中程序的PID的nice值，用renice命令

通常通过调高nice值来备份，为的是不占用非常多的系统资源。

例：

nice -n 10 tar zcf testtargz test

由nice启动的程序，其子进程会继承父进程的nice值。

查看nice值

# nice -n -6 vim testtxt &

# ps -l

F S UID PID PPID C PRI NI ADDR SZ WCHAN TTY TIME CMD

4 S 0 19427 2637 0 75 0 – 16551 wait pts/6 00:00:00 bash

4 T 0 21654 19427 0 71 -6 – 23464 finish pts/6 00:00:00 vim

renice调整运行中程序的nice值

格式：renice [nice值] PID

三，使用ulimit限制cpu占用时间

注意，ulimit 限制的是当前shell进程以及其派生的子进程。因此可以在脚本中调用ulimit来限制cpu使用时间。

例如，限制tar的cpu占用时间，单位秒。

# cat limit_cpush

ulimit -SHt 100

tar testtargz test

如果tar占用时间超过了100秒，tar将会退出，这可能会导致打包不完全，因此不推荐使用ulimit对cpu占用时间进行限制。

另外，通过修改系统的/etc/security/limits配置文件，可以针对用户进行限制。

四，使用程序自带的对cpu使用调整的功能

某些程序自带了对cpu使用调整的功能，比如nginx服务器，通过其配置文件，可以为工作进程指定cpu，如下：

worker_processes 3;

worker_cpu_affinity 0001 0010 0100 1000;

这里0001 0010 0100 1000是掩码，分别代表第1、2、3、4颗cpu核心，这就使得cpu的使用比较平均到每个核心上。

如果你想在Linux服务器上周期性地执行某个 Python 脚本，最出名的选择应该是 Crontab 脚本，但是 Crontab 具有以下缺点：

1不方便执行 秒级的任务 。

2当需要执行的定时任务有上百个的时候，Crontab的 管理就会特别不方便 。

另外一个选择是 Celery，但是 Celery 的配置比较麻烦，如果你只是需要一个轻量级的调度工具，Celery 不会是一个好选择。

在你想要使用一个轻量级的任务调度工具，而且希望它尽量简单、容易使用、不需要外部依赖，最好能够容纳 Crontab 的所有基本功能，那么 Schedule 模块是你的不二之选。

使用它来调度任务可能只需要几行代码，感受一下：

上面的代码表示每10分钟执行一次 job 函数，非常简单方便。你只需要引入 schedule 模块，通过调用 sceduleevery(时间数)时间类型do(job) 发布周期任务。

发布后的周期任务需要用 run_pending 函数来检测是否执行，因此需要一个 While 循环不断地轮询这个函数。

下面具体讲讲Schedule模块的安装和初级、进阶使用方法。

1准备

请选择以下任一种方式输入命令安装依赖 ：

1 Windows 环境 打开 Cmd (开始-运行-CMD)。

2 MacOS 环境 打开 Terminal (command+空格输入Terminal)。

3 如果你用的是 VSCode编辑器 或 Pycharm，可以直接使用界面下方的Terminal

2基本使用

最基本的使用在文首已经提到过，下面给大家展示更多的调度任务例子：

可以看到，从月到秒的配置，上面的例子都覆盖到了。不过 如果你想只运行一次任务 的话，可以这么配：

参数传递

如果你有参数需要传递给作业去执行，你只需要这么做：

获取目前所有的作业

如果你想获取目前所有的作业：

取消所有作业

如果某些机制触发了，你需要立即清除当前程序的所有作业：

标签功能

在设置作业的时候，为了后续方便管理作业，你可以给作业打个标签，这样你可以通过标签过滤获取作业或取消作业。

设定作业截止时间

如果你需要让某个作业到某个时间截止，你可以通过这个方法：

截止日期之后，该作业将无法运行。

立即运行所有作业，而不管其安排如何

如果某个机制触发了，你需要立即运行所有作业，可以调用 schedulerun_all :

3高级使用

装饰器安排作业

如果你觉得设定作业这种形式太啰嗦了，也可以使用装饰器模式：

并行执行

默认情况下，Schedule 按顺序执行所有作业。其背后的原因是，很难找到让每个人都高兴的并行执行模型。

不过你可以通过多线程的形式来运行每个作业以解决此限制：

日志记录

Schedule 模块同时也支持 logging 日志记录，这么使用：

效果如下：

异常处理

Schedule 不会自动捕捉异常，它遇到异常会直接抛出，这会导致一个严重的问题： 后续所有的作业都会被中断执行 ，因此我们需要捕捉到这些异常。

你可以手动捕捉，但是某些你预料不到的情况需要程序进行自动捕获，加一个装饰器就能做到了：

这样， bad_task 在执行时遇到的任何错误，都会被 catch_exceptions 捕获，这点在保证调度任务正常运转的时候非常关键。

第一个问题最简单的做法。使用message queue的方式。一台pc抢到就一台处理。或者采用令牌，加锁等方式都可以。

第二个问题，在于什么算调用失败。这个问题很大。如果失败可以被捕获，那么采用重新发queue，放弃令牌，或者放弃锁的方式，自然会被其他pc处理。而如果不能发现自己的失败（例如电源中断，内存溢出）。那么就需要主服务器判断超时，才能重新发起。

你要保持数据的一致性，需要一个共享存贮。共享存贮包括网页，脚本，数据库等数据。这样，当用户连接到不同的服务器时，可以看到相同的内容。也有利于管理员的维护。其实，没有共享存贮也可能实现LVS，但是，你要手工进行数据复制同步，管理负担会很重。

共享存贮，可以通过配置安装有FREENAS的服务器来实现，也可购买支持ISCSI等协议的的网络存贮设备来实现。

至于要不要双网卡，也是看你的性能要求了，理论上，只要通讯正常，单网卡也是可以的。

以下复制章文嵩的LVS原理，请见谅。

一般来说，LVS集群采用三层结构，其体系结构如图1所示，三层主要组成部分为：

•负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。

•服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。

•共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。

调度器是服务器集群系统的唯一入口点（Single Entry Point），它可以采用IP负载均衡技术、基于内容请求分发技术或者两者相结合。在IP负载均衡技术中，需要服务器池拥有相同的内容提供相同的服务。当客户请求到达时，调度器只根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器，将该请求转发到选出的服务器，并记录这个调度；当这个请求的其他报文到达，也会被转发到前面选出的服务器。在基于内容请求分发技术中，服务器可以提供不同的服务，当客户请求到达时，调度器可根据请求的内容选择服务器执行请求。因为所有的操作都是在Linux操作系统核心空间中将完成的，它的调度开销很小，所以它具有很高的吞吐率。

服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力时，可以在服务器池中增加服务器来满足不断增长的请求负载。对大多数网络服务来说，请求间不存在很强的相关性，请求可以在不同的结点上并行执行，所以整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。 

共享存储通常是数据库、网络文件系统或者分布式文件系统。服务器结点需要动态更新的数据一般存储在数据库系统中，同时数据库会保证并发访问时数据的一致性。静态的数据可以存储在网络文件系统（如NFS/CIFS）中，但网络文件系统的伸缩能力有限，一般来说，NFS/CIFS服务器只能支持3~6个繁忙的服务器结点。对于规模较大的集群系统，可以考虑用分布式文件系统，如AFS[1]、GFS[23]、Coda[4]和 Intermezzo[5]等。分布式文件系统可为各服务器提供共享的存储区，它们访问分布式文件系统就像访问本地文件系统一样，同时分布式文件系统可提供良好的伸缩性和可用性。此外，当不同服务器上的应用程序同时读写访问分布式文件系统上同一资源时，应用程序的访问冲突需要消解才能使得资源处于一致状态。这需要一个分布式锁管理器（Distributed Lock Manager），它可能是分布式文件系统内部提供的，也可能是外部的。开发者在写应用程序时，可以使用分布式锁管理器来保证应用程序在不同结点上并发访问的一致性。 

负载调度器、服务器池和共享存储系统通过高速网络相连接，如100Mbps交换网络、Myrinet和Gigabit网络等。使用高速的网络，主要为避免当系统规模扩大时互联网络成为整个系统的瓶颈。 

Graphic Monitor是为系统管理员提供整个集群系统的监视器，它可以监视系统的状态。Graphic Monitor是基于浏览器的，所以无论管理员在本地还是异地都可以监测系统的状况。为了安全的原因，浏览器要通过HTTPS（Secure HTTP）协议和身份认证后，才能进行系统监测，并进行系统的配置和管理

参考：

http://wwwbaiducom/swd=LVS%E9%9B%86%E7%BE%A4%E7%9A%84%E4%BD%93%E7%B3%BB%E7%BB%93%E6%9E%84+linuxvirtualserver&ie=UTF-8&oe=UTF-8&bar=13&tn=webxunlei_5_cb

linux内核的三种主要调度策略：

1，SCHED_OTHER 分时调度策略，

2，SCHED_FIFO实时调度策略，先到先服务

3，SCHED_RR实时调度策略，时间片轮转

实时进程将得到优先调用，实时进程根据实时优先级决定调度权值。分时进程则通过nice和counter值决定权值，nice越小，counter越大，被调度的概率越大，也就是曾经使用了cpu最少的进程将会得到优先调度。

SHCED_RR和SCHED_FIFO的不同：

当采用SHCED_RR策略的进程的时间片用完，系统将重新分配时间片，并置于就绪队列尾。放在队列尾保证了所有具有相同优先级的RR任务的调度公平。

SCHED_FIFO一旦占用cpu则一直运行。一直运行直到有更高优先级任务到达或自己放弃。

如果有相同优先级的实时进程（根据优先级计算的调度权值是一样的）已经准备好，FIFO时必须等待该进程主动放弃后才可以运行这个优先级相同的任务。而RR可以让每个任务都执行一段时间。

相同点：

RR和FIFO都只用于实时任务。

创建时优先级大于0(1-99)。

按照可抢占优先级调度算法进行。

就绪态的实时任务立即抢占非实时任务。

所有任务都采用linux分时调度策略时：

1，创建任务指定采用分时调度策略，并指定优先级nice值(-20~19)。

2，将根据每个任务的nice值确定在cpu上的执行时间(counter)。

3，如果没有等待资源，则将该任务加入到就绪队列中。

4，调度程序遍历就绪队列中的任务，通过对每个任务动态优先级的计算权值(counter+20-nice)结果，选择计算结果最大的一个去运行，当这个时间片用完后(counter减至0)或者主动放弃cpu时，该任务将被放在就绪队列末尾(时间片用完)或等待队列(因等待资源而放弃cpu)中。

5，此时调度程序重复上面计算过程，转到第4步。

6，当调度程序发现所有就绪任务计算所得的权值都为不大于0时，重复第2步。

所有任务都采用FIFO时：

1，创建进程时指定采用FIFO，并设置实时优先级rt_priority(1-99)。

2，如果没有等待资源，则将该任务加入到就绪队列中。

3，调度程序遍历就绪队列，根据实时优先级计算调度权值(1000+rt_priority),选择权值最高的任务使用cpu，该FIFO任务将一直占有cpu直到有优先级更高的任务就绪(即使优先级相同也不行)或者主动放弃(等待资源)。

4，调度程序发现有优先级更高的任务到达(高优先级任务可能被中断或定时器任务唤醒，再或被当前运行的任务唤醒，等等)，则调度程序立即在当前任务堆栈中保存当前cpu寄存器的所有数据，重新从高优先级任务的堆栈中加载寄存器数据到cpu，此时高优先级的任务开始运行。重复第3步。

5，如果当前任务因等待资源而主动放弃cpu使用权，则该任务将从就绪队列中删除，加入等待队列，此时重复第3步。

所有任务都采用RR调度策略时：

1，创建任务时指定调度参数为RR，并设置任务的实时优先级和nice值(nice值将会转换为该任务的时间片的长度)。

2，如果没有等待资源，则将该任务加入到就绪队列中。

3，调度程序遍历就绪队列，根据实时优先级计算调度权值(1000+rt_priority),选择权值最高的任务使用cpu。

4，如果就绪队列中的RR任务时间片为0，则会根据nice值设置该任务的时间片，同时将该任务放入就绪队列的末尾。重复步骤3。

5，当前任务由于等待资源而主动退出cpu，则其加入等待队列中。重复步骤3。

系统中既有分时调度，又有时间片轮转调度和先进先出调度：

1，RR调度和FIFO调度的进程属于实时进程，以分时调度的进程是非实时进程。

2，当实时进程准备就绪后，如果当前cpu正在运行非实时进程，则实时进程立即抢占非实时进程。

3，RR进程和FIFO进程都采用实时优先级做为调度的权值标准，RR是FIFO的一个延伸。FIFO时，如果两个进程的优先级一样，则这两个优先级一样的进程具体执行哪一个是由其在队列中的未知决定的，这样导致一些不公正性(优先级是一样的，为什么要让你一直运行),如果将两个优先级一样的任务的调度策略都设为RR,则保证了这两个任务可以循环执行，保证了公平。

Ingo Molnar-实时补丁

为了能并入主流内核，Ingo Molnar的实时补丁也采用了非常灵活的策略，它支持四种抢占模式：

1．No Forced Preemption (Server)，这种模式等同于没有使能抢占选项的标准内核，主要适用于科学计算等服务器环境。

2．Voluntary Kernel Preemption (Desktop)，这种模式使能了自愿抢占，但仍然失效抢占内核选项，它通过增加抢占点缩减了抢占延迟，因此适用于一些需要较好的响应性的环境，如桌面环境，当然这种好的响应性是以牺牲一些吞吐率为代价的。

3．Preemptible Kernel (Low-Latency Desktop)，这种模式既包含了自愿抢占，又使能了可抢占内核选项，因此有很好的响应延迟，实际上在一定程度上已经达到了软实时性。它主要适用于桌面和一些嵌入式系统，但是吞吐率比模式2更低。

4．Complete Preemption (Real-Time)，这种模式使能了所有实时功能，因此完全能够满足软实时需求，它适用于延迟要求为100微秒或稍低的实时系统。

实现实时是以牺牲系统的吞吐率为代价的，因此实时性越好，系统吞吐率就越低。