什么是 QD?
QD 是 一个 基于 HAR 编辑器和 Tornado 服务端的 HTTP 定时任务自动执行 Web 框架。
特性
- 基于Har: 仅需上传通过抓包得到的 Har, 即可制作框架所需的 HTTP 任务模板。
- Tornado 服务端: 使用 Tornado 作为服务端, 以实现异步响应前端和发起 HTTP 请求。
- API & 插件支持: 内置多种 API 和过滤器用于模板制作, 后续将提供自定义插件支持。
- 开源: QD 是一个基于 MIT 许可证的开源项目。
部署
Docker 容器部署
Docker 容器部署是部署 QD 的最简单方式。
操作前请一定要记得备份数据库!!!
容器
DockerHub 网址：https://hub.docker.com/r/qdtoday/qd
Tag 含义:
latest: 最新 Release 版本lite-latest: 去除 OCR 相关功能的最新 Release 版本ja3-latest: 集成 curl-impersonate 解决 ja3 指纹被识别为 curl 的问题, 不支持 http3 和 Quic 连接20xxxxxx: 指定 Release 版本, 版本号表示为 Release 发布日期dev: 最新开发版, 同步最新源码, 不保证稳定性
部署方法
1. Docker Compose（推荐）
sh
# 创建并切换到 QD 目录。
mkdir -p $(pwd)/qd/config && cd $(pwd)/qd
# 下载 docker-compose.yml
wget https://fastly.jsdelivr.net/gh/qd-today/qd@master/docker-compose.yml
# 根据需求和配置说明修改配置环境变量
vi ./docker-compose.yml
# 执行 Docker Compose 命令
docker-compose up -d配置描述见下文 Configuration
如不需要
OCR功能或者硬盘空间不大于600M, 请使用qdtoday/qd:lite-latest镜像, 该镜像仅去除了OCR相关功能, 其他与主线版本保持一致。请勿使用 阿里云镜像源 拉取 Docker 容器, 会导致无法拉取最新镜像
Docker 运行
docker run -d --name qd -p 8923:80 -v $(pwd)/qd/config:/usr/src/app/config qdtoday/qd容器内部无法连通外部网络时尝试该命令:
# 使用 Host 网络模式创建容器, 端口号: 8923
docker run -d --name qd --env PORT=8923 --net=host -v $(pwd)/qd/config:/usr/src/app/config qdtoday/qd群晖安装
群晖Container Manager搜索a76yyyy/qiandao，下载。
建立容器目录，启动，设置文件夹，端口自行设置。
![图片[1]-QD签到面板-Z天空](https://oss.z1293.top/2024/02/QD签到.png)
右上角操作下拉面板，选择打开终端机，新增
# 输入下面代码回车进行更新
wget https://gitee.com/qd-today/qd/raw/master/update.sh -O /usr/src/app/update.sh && \
sh /usr/src/app/update.sh![图片[2]-QD签到面板-Z天空](https://oss.z1293.top/2024/02/QD签到2.png)
设置管理员
python ./chrole.py your@email.address admin首位注册用户默认为管理员, 需要先登出再登陆后才能获得完整管理员权限
配置环境变量
| 变量名 | 是否必须 | 默认值 | 说明 |
|---|---|---|---|
| BIND | 否 | 0.0.0.0 | 监听地址 |
| PORT | 否 | 8923 | 监听端口 |
| QD_DEBUG | 否 | False | 是否启用Debug模式 |
| WORKER_METHOD | 否 | Queue | 任务定时执行方式, 默认为 Queue, 可选 Queue 或 Batch, Batch 模式为旧版定时任务执行方式, 性能较弱, 建议仅当 Queue 定时执行模式失效时使用 |
| MULTI_PROCESS | 否 | False | (实验性)是否启用多进程模式, Windows平台无效 |
| AUTO_RELOAD | 否 | False | 是否启用自动热加载, MULTI_PROCESS=True时无效 |
| STATIC_URL_PREFIX | 否 | /static/ | 静态文件URL前缀 |
| DOMAIN | 否 | ” | 指定访问域名, (建议修改), 否则通过邮件重置密码及邮箱推送等功能无效 |
| AES_KEY | 否 | binux | AES加密密钥, (强烈建议修改) |
| COOKIE_SECRET | 否 | binux | cookie加密密钥, (强烈建议修改) |
| COOKIE_DAY | 否 | 5 | Cookie在客户端中保留的天数 |
| DB_TYPE | 否 | sqlite3 | 需要使用MySQL时设置为’mysql’ |
| JAWSDB_MARIA_URL | 否 | ” | 需要使用MySQL时, 设置为 (mysql://用户名:密码@hostname:port/数据库名?auth_plugin=) |
| QD_SQL_ECHO | 否 | False | 是否启用 SQLAlchmey 的日志输出, 默认为 False, 设置为 True 时, 会在控制台输出 SQL 语句, 允许设置为 debug 以启用 debug 模式 |
| QD_SQL_LOGGING_NAME | 否 | QD.sql_engine | SQLAlchmey 日志名称, 默认为 ‘QD.sql_engine’ |
| QD_SQL_LOGGING_LEVEL | 否 | Warning | SQLAlchmey 日志级别, 默认为 ‘Warning’ |
| QD_SQL_ECHO_POOL | 否 | True | 是否启用 SQLAlchmey 的连接池日志输出, 默认为 True, 允许设置为 debug 以启用 debug 模式 |
| QD_SQL_LOGGING_POOL_NAME | 否 | QD.sql_pool | SQLAlchmey 连接池日志名称, 默认为 ‘QD.sql_pool’ |
| QD_SQL_LOGGING_POOL_LEVEL | 否 | Warning | SQLAlchmey 连接池日志级别, 默认为 ‘Warning’ |
| QD_SQL_POOL_SIZE | 否 | 10 | SQLAlchmey 连接池大小, 默认为 10 |
| QD_SQL_MAX_OVERFLOW | 否 | 50 | SQLAlchmey 连接池最大溢出, 默认为 50 |
| QD_SQL_POOL_PRE_PING | 否 | True | 是否在连接池获取连接前, 先ping一下, 默认为 True |
| QD_SQL_POOL_RECYCLE | 否 | 3600 | SQLAlchmey 连接池回收时间, 默认为 3600 |
| QD_SQL_POOL_TIMEOUT | 否 | 60 | SQLAlchmey 连接池超时时间, 默认为 60 |
| QD_SQL_POOL_USE_LIFO | 否 | True | SQLAlchmey 是否使用 LIFO 算法, 默认为 True |
| REDISCLOUD_URL | 否 | ” | 需要使用Redis或RedisCloud时, 设置为 http://rediscloud:密码@hostname:port |
| REDIS_DB_INDEX | 否 | 1 | 默认为1 |
| QD_EVIL | 否 | 500 | (限Redis连接已开启)登录用户或IP在1小时内 分数 = 操作失败(如登录, 验证, 测试等操作)次数 * 相应惩罚分值 分数达到evil上限后自动封禁直至下一小时周期 |
| EVIL_PASS_LAN_IP | 否 | True | 是否关闭本机私有IP地址用户及Localhost_API请求的evil限制 |
| TRACEBACK_PRINT | 否 | False | 是否启用在控制台日志中打印Exception的TraceBack信息 |
| PUSH_PIC_URL | 否 | push_pic.png | 默认为push_pic.png |
| PUSH_BATCH_SW | 否 | True | 是否允许开启定期推送 QD 任务日志, 默认为True |
| MAIL_SMTP | 否 | “” | 邮箱SMTP服务器 |
| MAIL_PORT | 否 | 465 | 邮箱SMTP服务器端口 |
| MAIL_USER | 否 | “” | 邮箱用户名 |
| MAIL_PASSWORD | 否 | “” | 邮箱密码 |
| MAIL_FROM | 否 | MAIL_USER | 发送时使用的邮箱，默认与MAIL_USER相同 |
| MAIL_DOMAIN_HTTPS | 否 | False | 发送的邮件链接启用HTTPS, 非框架前端使用HTTPS, 如果前端需要HTTPS, 请使用反向代理. |
| PROXIES | 否 | “” | 全局代理域名列表,用” |
| PROXY_DIRECT_MODE | 否 | “” | 全局代理黑名单模式,默认不启用 “url”为网址匹配模式;”regexp”为正则表达式匹配模式 |
| PROXY_DIRECT | 否 | “” | 全局代理黑名单匹配规则 |
| NEW_TASK_DELAY | 否 | 1 | 新建任务后准备时间, 单位为秒, 默认为1秒 |
| TASK_WHILE_LOOP_TIMEOUT | 否 | 900 | 任务运行中单个 While 循环最大运行时间, 单位为秒, 默认为 15 分钟 |
| TASK_REQUEST_LIMIT | 否 | 1500 | 任务运行中单个任务最大请求次数, 默认为 1500 次 |
| USE_PYCURL | 否 | True | 是否启用Pycurl模组 |
| ALLOW_RETRY | 否 | True | 在Pycurl环境下部分请求可能导致Request错误时, 自动修改冲突设置并重发请求 |
| DNS_SERVER | 否 | “” | 通过Curl使用指定DNS进行解析(仅支持Pycurl环境), 如 8.8.8.8 |
| CURL_ENCODING | 否 | True | 是否允许使用Curl进行Encoding操作 |
| CURL_CONTENT_LENGTH | 否 | True | 是否允许Curl使用Headers中自定义Content-Length请求 |
| NOT_RETRY_CODE | 否 | 详见配置… | 详见配置… |
| EMPTY_RETRY | 否 | True | 详见配置… |
| USER0ISADMIN | 否 | True | 第一个注册用户为管理员，False关闭 |
| NOTEPAD_LIMIT | 否 | 20 | 单个用户拥有记事本最大数量, 默认为 20 |
| EXTRA_ONNX_NAME | 否 | “” | config目录下自定义ONNX文件名 (不填 “.onnx” 后缀) 多个onnx文件名用”|”分隔 |
| EXTRA_CHARSETS_NAME | 否 | “” | config目录下自定义ONNX对应自定义charsets.json文件名 (不填 “.json” 后缀) 多个json文件名用”|”分隔 |
| WS_PING_INTERVAL | No | 5 | WebSocket ping间隔, 单位为秒, 默认为 5s |
| WS_PING_TIMEOUT | No | 30 | WebSocket ping超时时间, 单位为秒, 默认为 30s |
| WS_MAX_MESSAGE_SIZE | No | 10485760 | WebSocket 单次接收最大消息大小, 默认为 10MB |
| WS_MAX_QUEUE_SIZE | No | 100 | WebSocket 最大消息队列大小, 默认为 100 |
| WS_MAX_CONNECTIONS_SUBSCRIBE | No | 30 | WebSocket 公共模板更新页面最大连接数, 默认为 30 |
| SUBSCRIBE_ACCELERATE_URL | No | jsdelivr_cdn | 订阅加速方式或地址, 用于加速公共模板更新, 仅适用于 GitHub. 详见配置… |
更新方法
操作前请一定要记得备份数据库!!!
更新后请重启容器或清空浏览器缓存。
Docker Compose 部署更新
# 先 cd 到 docker-compose.yml 所在目录, 执行命令后重启容器
docker compose pull && \
docker compose up -dDocker 容器部署更新
# 先进入容器后台, 执行命令后重启容器
# docker exec -it 容器名 /bin/sh
wget https://gitee.com/qd-today/qd/raw/master/update.sh -O /usr/src/app/update.sh && \
sh /usr/src/app/update.sh强制同步最新源码
# 先 cd 到仓库代码根目录, 执行命令后重启进程
wget https://gitee.com/qd-today/qd/raw/master/update.sh -O ./update.sh && \
sh ./update.sh -f
© 版权声明
THE END
