Commit Graph

141 Commits

Author SHA1 Message Date
xiongxiaoyang
906e7762c9 Merge github.com:201206030/novel-plus into develop_xxy 2022-01-17 21:03:39 +08:00
xiongxiaoyang
465e03a17b perf: 缓存预编译的Pattern对象 2022-01-17 20:58:57 +08:00
xiaoyang
2a69a28a0c perf: 预加载IdWorker 2022-01-08 11:59:28 +08:00
xiaoyang
16e381f384 chore(sh): 修改JVM启动参数
兼容低配置机器
2022-01-07 17:24:20 +08:00
xiaoyang
094ac95428 build(pom): 打包时复制common模块配置文件到外部 2021-12-28 14:40:16 +08:00
xiaoyang
96662fcb17 feat(crawl): 新增编辑规则和测试规则
合并mstaer分支的pull request #71
2021-12-24 17:38:23 +08:00
xiaoyang
b2c67c4f15 build: 修改打包配置 2021-12-17 19:53:21 +08:00
201206030
6a385877ac
Merge pull request #69 from a100488/feature/saw_fenbao
feat(打包改为分包): 打包改为分包
2021-12-17 16:45:13 +08:00
songanwei
7cde6ebf61 feat(打包改为分包): 打包改为分包 2021-12-17 16:33:45 +08:00
xiaoyang
78969f9fd1 fix: 修复单本小说采集即使没有采集到内容仍然标记状态为采集成功的问题 2021-12-17 10:20:59 +08:00
xiaoyang
16e4c98a45 refactor: 引入xxy-common相关依赖 2021-12-11 18:30:22 +08:00
xiongxiaoyang
396452b46e 3.6.1发布 2021-09-13 22:24:08 +08:00
xiongxiaoyang
fc2ea40c6a 实现小说内容多种存储方式(txt、db..)并存 2021-09-13 22:21:50 +08:00
xiaoyang
7f4728191a 修改配置项命名 2021-09-04 16:27:02 +08:00
xiongxiaoyang
80b393fdda v3.6.0发布 2021-08-17 21:14:15 +08:00
xiaoyang
750c8dee02 增加小说内容TXT文本存储方案(一行配置切换) 2021-08-17 19:55:24 +08:00
xiaoyang
cbfd0b049f 爬虫部分代码重构,准备适配TXT文本存储方案 2021-08-17 11:08:51 +08:00
xiaoyang
7f0331e095 解决爬虫运行时的UnrecognizedPropertyException 2021-08-16 15:58:32 +08:00
xiaoyang
3520200a87 部分代码重构 2021-08-16 15:42:56 +08:00
xiaoyang
4fe36a8f4f 部分爬虫代码优化 2021-07-24 15:51:54 +08:00
xiongxiaoyang
8d3ce53dba build(pom): v3.5.4发布 2021-06-01 23:14:35 +08:00
xiaoyang
f28dd867ef v3.5.3发布 2021-05-28 20:32:08 +08:00
xiongxiaoyang
c79974ff77 3.5.2发布 2021-04-24 10:46:59 +08:00
xiongxiaoyang
19d4c6b778 修复部分分页接口的查询bug 2021-02-04 23:59:26 +08:00
xiongxiaoyang
c567e37423 v3.5.1发布 2021-01-25 14:56:05 +08:00
xiongxiaoyang
224829dd1f v3.5.0发布 2021-01-19 19:39:33 +08:00
xiongxiaoyang
20469bd669 增加生产环境配置 2021-01-19 18:53:47 +08:00
xiongxiaoyang
d0db2021a6 v3.4.1发布 2021-01-10 17:55:48 +08:00
xiongxiaoyang
a00a2141f2 爬虫管理系统设置session默认超时时间为1天,解决由于编写爬虫规则时间过长导致的提交失败问题 2021-01-05 21:45:04 +08:00
xiongxiaoyang
7cc7d8b541 v3.4.0发布 2021-01-04 10:28:01 +08:00
xiongxiaoyang
7e650a0a04 修改版本号 2020-12-26 22:27:51 +08:00
xiongxiaoyang
5cc9dfa1bc v3.2.0发布 2020-12-26 11:42:09 +08:00
xiongxiaoyang
f61c252e71 爬虫代码优化 2020-12-24 01:30:00 +08:00
xiongxiaoyang
6fd183c2ae 爬虫代码优化 2020-12-24 01:22:19 +08:00
xiongxiaoyang
c3daaecaaa 爬虫代码优化 2020-12-24 01:17:52 +08:00
xiongxiaoyang
1b6cc8ccd5 爬虫代码优化 2020-12-24 00:10:19 +08:00
xiongxiaoyang
0a10504461 优化章节字数算法,优化爬虫代码 2020-12-23 23:48:34 +08:00
xiongxiaoyang
355cb80458 restful api改造 2020-12-12 10:03:15 +08:00
xiongxiaoyang
a713b66c1b 爬虫优化,兼容更多源站 2020-12-10 19:04:44 +08:00
xiongxiaoyang
cd3520971d 修改版本号 2020-12-10 08:40:15 +08:00
xiongxiaoyang
f830600c3e 爬虫优化,提升兼容性 2020-12-09 16:39:15 +08:00
xiongxiaoyang
2f4b671d84 修改版本号 2020-12-04 16:50:44 +08:00
xiongxiaoyang
04afa759a7 v3.0.1发布 2020-12-03 02:56:54 +08:00
xiongxiaoyang
194461f729 修改版本号 2020-12-01 06:01:24 +08:00
xiongxiaoyang
68a1ece57c update 2020-11-27 21:14:45 +08:00
xiongxiaoyang
9e98665cca v2.9.0发布 2020-11-23 08:29:50 +08:00
xiongxiaoyang
85f5048fd9 v2.8.0发布 2020-11-17 10:49:59 +08:00
xiongxiaoyang
66093cb065 v2.7.1发布 2020-11-10 11:56:11 +08:00
xiongxiaoyang
e343134ce2 手机端购买页面更新&版本号更改 2020-11-05 07:47:17 +08:00
xiongxiaoyang
99e973091d 自动更新排除掉原创小说 2020-11-03 08:41:48 +08:00
xiongxiaoyang
5fdf618223 自动更新排除掉原创小说 2020-11-03 08:30:45 +08:00
xiongxiaoyang
03c4e6c54b v2.6.5发布 2020-11-03 07:41:38 +08:00
xiongxiaoyang
ee2a0f514f 排行榜页面显示问题修复 2020-10-25 20:27:24 +08:00
xiongxiaoyang
a88891b72f v2.6.2发布 2020-06-29 16:45:51 +08:00
xiongxiaoyang
83c2460c83 v2.6.1发布 2020-06-22 11:06:52 +08:00
xiongxiaoyang
7733cf1e3f 更新版本号 2020-06-15 15:13:37 +08:00
xiongxiaoyang
c9c714e71e 增加单本采集任务 2020-06-15 15:08:15 +08:00
xiongxiaoyang
3cbb6bf3fb 遇到错误章节直接中断改为遇到错误章节跳过,解决某些网站由于大量章节错误而导致的大量书籍未爬取完的情况 2020-06-15 10:06:35 +08:00
xiongxiaoyang
0e2e6229cd 增加新源,过滤简介中的特殊字符,提高爬虫兼容性 2020-06-08 16:54:58 +08:00
xiongxiaoyang
1a0c1f864b v2.5.0发布 2020-06-01 15:40:37 +08:00
xiongxiaoyang
b193aca288 默认开启分表功能(适用于新用户),通过添加配置spring.autoconfigure.exclude=io.shardingsphere.shardingjdbc.spring.boot.SpringBootConfiguration来关闭分表功能(适用于老用户升级) 2020-06-01 11:31:05 +08:00
xiongxiaoyang
7a6d7a4442 暂时关闭分表功能,有需要自己开启 2020-06-01 09:24:37 +08:00
xiongxiaoyang
f9f1e474ec 引入shardingjdbc,将小说内容表分为10个小表 2020-05-26 18:09:19 +08:00
xiongxiaoyang
c62acc288e 集成OSS对象存储 2020-05-26 11:31:30 +08:00
xiongxiaoyang
0b505a3922 v2.1.2发布 2020-05-25 10:51:22 +08:00
xxy
e1e1310b9e 解决book_index的主键生成冲突 2020-05-24 17:59:03 +08:00
xiongxiaoyang
a0fb8e481a 1.解决爬虫线程停止失败的bug,2新增新笔趣阁源,兼容更多源站 2020-05-24 00:54:27 +08:00
xiongxiaoyang
80b933db8d v2.1.1发布 2020-05-22 11:58:42 +08:00
xiongxiaoyang
07b9ffde96 修改版本号 2020-05-20 21:30:19 +08:00
xiongxiaoyang
c80b02caf0 v2.0.2发布 2020-05-18 17:31:00 +08:00
xiongxiaoyang
5e16119880 增加笔趣阁书源 2020-05-18 17:08:43 +08:00
xiongxiaoyang
231b94f1da v2.0.2发布 2020-05-18 14:51:02 +08:00
xiongxiaoyang
92ce982899 1.优化爬虫编写规则,兼容更多网站 2.新增书趣阁书源 2020-05-18 14:01:49 +08:00
xxy
9773b73475 修改版本号 2020-05-16 13:29:32 +08:00
xxy
a662f42bcf 修改版本号 2020-05-13 22:35:25 +08:00
xxy
4878f17de8 更新版本号 2020-05-11 22:36:06 +08:00
xiongxiaoyang
e9ab6d8bb0 v1.1.1发布 2020-05-11 18:37:59 +08:00
xxy
84814e0792 添加Dockerfile文件 2020-05-09 14:18:04 +08:00
xxy
dde10c983e release-1.1.0发布 2020-05-08 08:52:30 +08:00
xxy
c9428bf0e7 增加自动更新线程的配置 2020-05-08 07:49:41 +08:00
xxy
0e2e610d18 优化更新策略,支持同时启动多个爬虫程序来加快小说更新速率 2020-05-07 23:34:13 +08:00
xxy
16aa925521 自动更新优化 2020-05-07 04:57:41 +08:00
xxy
8ba73ed42b 修改版本号 2020-05-06 06:57:35 +08:00
xxy
0d3f35077e v1.0.0-release发布 2020-05-06 06:44:38 +08:00
xxy
16529425e4 修改版本号 2020-05-06 06:40:48 +08:00
xxy
93c2c8262c 添加书包网书源 2020-05-04 18:40:38 +08:00
xxy
a678a8bef2 update 2020-05-04 11:11:50 +08:00
xxy
a9319041a7 文档更新 2020-05-04 09:26:37 +08:00
xxy
610389b5d3 bug修复 2020-05-03 04:30:27 +08:00
xxy
4d5cd12b92 bug修复 2020-05-02 20:05:43 +08:00
xxy
ed34c67d08 上传代码 2020-05-02 15:05:21 +08:00