52 Commits

Author SHA1 Message Date
xiongxiaoyang
7395cf63e5 add: 启动日志 2022-04-26 09:15:24 +08:00
xiongxiaoyang
906e7762c9 Merge github.com:201206030/novel-plus into develop_xxy 2022-01-17 21:03:39 +08:00
xiongxiaoyang
465e03a17b perf: 缓存预编译的Pattern对象 2022-01-17 20:58:57 +08:00
xiaoyang
2a69a28a0c perf: 预加载IdWorker 2022-01-08 11:59:28 +08:00
xiaoyang
16e381f384 chore(sh): 修改JVM启动参数
兼容低配置机器
2022-01-07 17:24:20 +08:00
xiaoyang
96662fcb17 feat(crawl): 新增编辑规则和测试规则
合并mstaer分支的pull request #71
2021-12-24 17:38:23 +08:00
201206030
6a385877ac
Merge pull request #69 from a100488/feature/saw_fenbao
feat(打包改为分包): 打包改为分包
2021-12-17 16:45:13 +08:00
songanwei
7cde6ebf61 feat(打包改为分包): 打包改为分包 2021-12-17 16:33:45 +08:00
xiaoyang
78969f9fd1 fix: 修复单本小说采集即使没有采集到内容仍然标记状态为采集成功的问题 2021-12-17 10:20:59 +08:00
xiaoyang
16e4c98a45 refactor: 引入xxy-common相关依赖 2021-12-11 18:30:22 +08:00
xiongxiaoyang
fc2ea40c6a 实现小说内容多种存储方式(txt、db..)并存 2021-09-13 22:21:50 +08:00
xiaoyang
7f4728191a 修改配置项命名 2021-09-04 16:27:02 +08:00
xiaoyang
750c8dee02 增加小说内容TXT文本存储方案(一行配置切换) 2021-08-17 19:55:24 +08:00
xiaoyang
cbfd0b049f 爬虫部分代码重构,准备适配TXT文本存储方案 2021-08-17 11:08:51 +08:00
xiaoyang
7f0331e095 解决爬虫运行时的UnrecognizedPropertyException 2021-08-16 15:58:32 +08:00
xiaoyang
3520200a87 部分代码重构 2021-08-16 15:42:56 +08:00
xiaoyang
4fe36a8f4f 部分爬虫代码优化 2021-07-24 15:51:54 +08:00
xiongxiaoyang
19d4c6b778 修复部分分页接口的查询bug 2021-02-04 23:59:26 +08:00
xiongxiaoyang
20469bd669 增加生产环境配置 2021-01-19 18:53:47 +08:00
xiongxiaoyang
a00a2141f2 爬虫管理系统设置session默认超时时间为1天,解决由于编写爬虫规则时间过长导致的提交失败问题 2021-01-05 21:45:04 +08:00
xiongxiaoyang
f61c252e71 爬虫代码优化 2020-12-24 01:30:00 +08:00
xiongxiaoyang
6fd183c2ae 爬虫代码优化 2020-12-24 01:22:19 +08:00
xiongxiaoyang
c3daaecaaa 爬虫代码优化 2020-12-24 01:17:52 +08:00
xiongxiaoyang
1b6cc8ccd5 爬虫代码优化 2020-12-24 00:10:19 +08:00
xiongxiaoyang
0a10504461 优化章节字数算法,优化爬虫代码 2020-12-23 23:48:34 +08:00
xiongxiaoyang
355cb80458 restful api改造 2020-12-12 10:03:15 +08:00
xiongxiaoyang
a713b66c1b 爬虫优化,兼容更多源站 2020-12-10 19:04:44 +08:00
xiongxiaoyang
f830600c3e 爬虫优化,提升兼容性 2020-12-09 16:39:15 +08:00
xiongxiaoyang
68a1ece57c update 2020-11-27 21:14:45 +08:00
xiongxiaoyang
99e973091d 自动更新排除掉原创小说 2020-11-03 08:41:48 +08:00
xiongxiaoyang
5fdf618223 自动更新排除掉原创小说 2020-11-03 08:30:45 +08:00
xiongxiaoyang
c9c714e71e 增加单本采集任务 2020-06-15 15:08:15 +08:00
xiongxiaoyang
3cbb6bf3fb 遇到错误章节直接中断改为遇到错误章节跳过,解决某些网站由于大量章节错误而导致的大量书籍未爬取完的情况 2020-06-15 10:06:35 +08:00
xiongxiaoyang
0e2e6229cd 增加新源,过滤简介中的特殊字符,提高爬虫兼容性 2020-06-08 16:54:58 +08:00
xiongxiaoyang
b193aca288 默认开启分表功能(适用于新用户),通过添加配置spring.autoconfigure.exclude=io.shardingsphere.shardingjdbc.spring.boot.SpringBootConfiguration来关闭分表功能(适用于老用户升级) 2020-06-01 11:31:05 +08:00
xiongxiaoyang
7a6d7a4442 暂时关闭分表功能,有需要自己开启 2020-06-01 09:24:37 +08:00
xiongxiaoyang
c62acc288e 集成OSS对象存储 2020-05-26 11:31:30 +08:00
xxy
e1e1310b9e 解决book_index的主键生成冲突 2020-05-24 17:59:03 +08:00
xiongxiaoyang
a0fb8e481a 1.解决爬虫线程停止失败的bug,2新增新笔趣阁源,兼容更多源站 2020-05-24 00:54:27 +08:00
xiongxiaoyang
c80b02caf0 v2.0.2发布 2020-05-18 17:31:00 +08:00
xiongxiaoyang
5e16119880 增加笔趣阁书源 2020-05-18 17:08:43 +08:00
xiongxiaoyang
231b94f1da v2.0.2发布 2020-05-18 14:51:02 +08:00
xiongxiaoyang
92ce982899 1.优化爬虫编写规则,兼容更多网站 2.新增书趣阁书源 2020-05-18 14:01:49 +08:00
xxy
c9428bf0e7 增加自动更新线程的配置 2020-05-08 07:49:41 +08:00
xxy
0e2e610d18 优化更新策略,支持同时启动多个爬虫程序来加快小说更新速率 2020-05-07 23:34:13 +08:00
xxy
16aa925521 自动更新优化 2020-05-07 04:57:41 +08:00
xxy
93c2c8262c 添加书包网书源 2020-05-04 18:40:38 +08:00
xxy
a678a8bef2 update 2020-05-04 11:11:50 +08:00
xxy
a9319041a7 文档更新 2020-05-04 09:26:37 +08:00
xxy
610389b5d3 bug修复 2020-05-03 04:30:27 +08:00