业务系统中有一个定时任务，需要每天两个时间点进行数据监控

场景如下：

需要监控全部在线的页面的内容中，指定某一类链接，是否有失效风险或者已经失效，这类链接本身也是我们维护的。

假如有10w个页面，常规做法是

定时拉取10w个页面内容，

实时解析页面，

分析出链接，

进行校验

这种做法存在很多问题：

1.定时任务的时间点本身可配置，意味着频率也是可以配置的，如果频率高了，这种做法一定会出现上一个任务还未执行过半，新任务又开始了

2.导致问题1的风险增高的点：10w个页面拉取内容，本身是直接读取的redis缓存，这个时间不长，但是解析10w个页面，分析出链接，这个时间相对不可控，假如一个页面需要500ms，执行完也需要5w秒，这个时间已经很长很长了

3.页面内容如果未更新过，也需要每次解析链接，这是一种资源的浪费，也会显著增加时长

5.单个线程处理这种任务无疑是可怕的，因此任务分布式执行也是不可避免的

 

以下是优化后的方式：

1.单线程读出10w个在线页面的id，没100个id生成一条消息，通过mq分发任务

2.mq的consumer端多实例执行任务

3.解析链接的过程放到生成链接的时候，只有内容有变，就自然重新生成链接列表，缓存到redis中，过期时间为页面结束时间

4.单个mq消费端那到消息体100个id后，顺序执行，从redis中获取id对应的链接列表，处理链接失效行

 

通过这个方法，保证了任务的快速执行与执行效率