54 Commits

Author	SHA1	Message	Date
xiongxiaoyang	ba272bd89a	feat: 增加 HTTP 代理配置，助力爬虫采集	2022-07-14 22:14:11 +08:00
xiongxiaoyang	c45b81fbbf	build: 优化打包	2022-07-14 09:49:36 +08:00
xiongxiaoyang	7395cf63e5	add: 启动日志	2022-04-26 09:15:24 +08:00
xiongxiaoyang	906e7762c9	Merge github.com:201206030/novel-plus into develop_xxy	2022-01-17 21:03:39 +08:00
xiongxiaoyang	465e03a17b	perf: 缓存预编译的Pattern对象	2022-01-17 20:58:57 +08:00
xiaoyang	2a69a28a0c	perf: 预加载IdWorker	2022-01-08 11:59:28 +08:00
xiaoyang	16e381f384	chore(sh): 修改JVM启动参数 ... 兼容低配置机器	2022-01-07 17:24:20 +08:00
xiaoyang	96662fcb17	feat(crawl): 新增编辑规则和测试规则 ... 合并mstaer分支的pull request #71	2021-12-24 17:38:23 +08:00
201206030	6a385877ac	Merge pull request #69 from a100488/feature/saw_fenbao ... feat(打包改为分包): 打包改为分包	2021-12-17 16:45:13 +08:00
songanwei	7cde6ebf61	feat(打包改为分包): 打包改为分包	2021-12-17 16:33:45 +08:00
xiaoyang	78969f9fd1	fix: 修复单本小说采集即使没有采集到内容仍然标记状态为采集成功的问题	2021-12-17 10:20:59 +08:00
xiaoyang	16e4c98a45	refactor: 引入xxy-common相关依赖	2021-12-11 18:30:22 +08:00
xiongxiaoyang	fc2ea40c6a	实现小说内容多种存储方式（txt、db..）并存	2021-09-13 22:21:50 +08:00
xiaoyang	7f4728191a	修改配置项命名	2021-09-04 16:27:02 +08:00
xiaoyang	750c8dee02	增加小说内容TXT文本存储方案（一行配置切换）	2021-08-17 19:55:24 +08:00
xiaoyang	cbfd0b049f	爬虫部分代码重构，准备适配TXT文本存储方案	2021-08-17 11:08:51 +08:00
xiaoyang	7f0331e095	解决爬虫运行时的UnrecognizedPropertyException	2021-08-16 15:58:32 +08:00
xiaoyang	3520200a87	部分代码重构	2021-08-16 15:42:56 +08:00
xiaoyang	4fe36a8f4f	部分爬虫代码优化	2021-07-24 15:51:54 +08:00
xiongxiaoyang	19d4c6b778	修复部分分页接口的查询bug	2021-02-04 23:59:26 +08:00
xiongxiaoyang	20469bd669	增加生产环境配置	2021-01-19 18:53:47 +08:00
xiongxiaoyang	a00a2141f2	爬虫管理系统设置session默认超时时间为1天，解决由于编写爬虫规则时间过长导致的提交失败问题	2021-01-05 21:45:04 +08:00
xiongxiaoyang	f61c252e71	爬虫代码优化	2020-12-24 01:30:00 +08:00
xiongxiaoyang	6fd183c2ae	爬虫代码优化	2020-12-24 01:22:19 +08:00
xiongxiaoyang	c3daaecaaa	爬虫代码优化	2020-12-24 01:17:52 +08:00
xiongxiaoyang	1b6cc8ccd5	爬虫代码优化	2020-12-24 00:10:19 +08:00
xiongxiaoyang	0a10504461	优化章节字数算法，优化爬虫代码	2020-12-23 23:48:34 +08:00
xiongxiaoyang	355cb80458	restful api改造	2020-12-12 10:03:15 +08:00
xiongxiaoyang	a713b66c1b	爬虫优化，兼容更多源站	2020-12-10 19:04:44 +08:00
xiongxiaoyang	f830600c3e	爬虫优化，提升兼容性	2020-12-09 16:39:15 +08:00
xiongxiaoyang	68a1ece57c	update	2020-11-27 21:14:45 +08:00
xiongxiaoyang	99e973091d	自动更新排除掉原创小说	2020-11-03 08:41:48 +08:00
xiongxiaoyang	5fdf618223	自动更新排除掉原创小说	2020-11-03 08:30:45 +08:00
xiongxiaoyang	c9c714e71e	增加单本采集任务	2020-06-15 15:08:15 +08:00
xiongxiaoyang	3cbb6bf3fb	遇到错误章节直接中断改为遇到错误章节跳过，解决某些网站由于大量章节错误而导致的大量书籍未爬取完的情况	2020-06-15 10:06:35 +08:00
xiongxiaoyang	0e2e6229cd	增加新源，过滤简介中的特殊字符，提高爬虫兼容性	2020-06-08 16:54:58 +08:00
xiongxiaoyang	b193aca288	默认开启分表功能（适用于新用户），通过添加配置spring.autoconfigure.exclude=io.shardingsphere.shardingjdbc.spring.boot.SpringBootConfiguration来关闭分表功能（适用于老用户升级）	2020-06-01 11:31:05 +08:00
xiongxiaoyang	7a6d7a4442	暂时关闭分表功能，有需要自己开启	2020-06-01 09:24:37 +08:00
xiongxiaoyang	c62acc288e	集成OSS对象存储	2020-05-26 11:31:30 +08:00
xxy	e1e1310b9e	解决book_index的主键生成冲突	2020-05-24 17:59:03 +08:00
xiongxiaoyang	a0fb8e481a	1.解决爬虫线程停止失败的bug,2新增新笔趣阁源，兼容更多源站	2020-05-24 00:54:27 +08:00
xiongxiaoyang	c80b02caf0	v2.0.2发布	2020-05-18 17:31:00 +08:00
xiongxiaoyang	5e16119880	增加笔趣阁书源	2020-05-18 17:08:43 +08:00
xiongxiaoyang	231b94f1da	v2.0.2发布	2020-05-18 14:51:02 +08:00
xiongxiaoyang	92ce982899	1.优化爬虫编写规则，兼容更多网站 2.新增书趣阁书源	2020-05-18 14:01:49 +08:00
xxy	c9428bf0e7	增加自动更新线程的配置	2020-05-08 07:49:41 +08:00
xxy	0e2e610d18	优化更新策略，支持同时启动多个爬虫程序来加快小说更新速率	2020-05-07 23:34:13 +08:00
xxy	16aa925521	自动更新优化	2020-05-07 04:57:41 +08:00
xxy	93c2c8262c	添加书包网书源	2020-05-04 18:40:38 +08:00
xxy	a678a8bef2	update	2020-05-04 11:11:50 +08:00