限流防爬系统

Table of Contents

限流防爬系统

目标

流量预警,防雪崩,保护后端服务及文件防止非法下载

需求

- http服务(nginx)
  根据server id 或 url 等对应的配置文件统计各项请求量
  如:阀值,预警值,限流值,cut流量次数等等
  nginx 上报当前的限流情况
  根据:server id , ip,url 等等
  nginx 可以指定ip,user id限流
  根据:黑白名单
  nginx 自我保护

- web 管理服务配置,黑白名单,展示当前的限流情况等等

- log agent日志实时采集(或抽样)

- storm 实时分析 --> 规则配置:如预警值等 --> 得出嫌疑ip,user id --> 人工判断(或规则) --> 黑白名单

- 离线分析,得出爬取文件规则 --> 推送规则 --> nginx防爬

- 系统自我监控

- 系统是否开启限流开关等等


备注:
抽空画架构设计图

Author: josephzeng

Last Updated 2016-03-03. Created by Emacs 24.5.1 (Org mode 8.2.10)

Validate