集成后台管理系统,上线智能爬虫程序

This commit is contained in:
xxy
2019-11-15 07:15:20 +08:00
parent 7b861d2fb0
commit 53cff722d1
1125 changed files with 275618 additions and 62 deletions

125
README.md
View File

@ -1,76 +1,115 @@
# 小说精品屋
#### 背景介绍
小说精品屋是一个功能完善的小说弹幕网站包含精品小说专区和轻小说专区。包括小说分类、小说搜索、小说排行、完本小说、小说评分、小说在线阅读、小说书架、阅读记录、小说下载、小说弹幕、小说自动爬取、小说内容自动分享到微博、邮件自动推广、链接自动推送到百度搜索引擎等功能。包含电脑端、移动端、微信小程序等多个平台现已开源web端、安卓端、小程序端源码大家可以用于学习或者商用。
#### 项目介绍
小说精品屋是一个多平台web、android、小程序功能完善的小说弹幕网站包含精品小说专区和轻小说专区。包括小说分类、小说搜索、小说排行、完本小说、小说评分、小说在线阅读、小说书架、阅读记录、小说下载、小说弹幕、小说自动爬取、小说内容自动分享到微博、邮件自动推广、链接自动推送到百度搜索引擎等功能。包含电脑端、移动端、微信小程序等多个平台现已开源web端、安卓端、小程序端源码大家可以用于学习或者商用。
该项目来源于个人真实运营项目因为没去做SEO所以用户注册量不大但是依然有一批用户一直都在支持着自己也没去接入广告赚钱因为这样网站的体验就差了。自己已经没有太大精力运营下去了所以就把源码开源一下把机会留给有兴趣搞小说网站的朋友们。只要你的硬盘足够大爬虫程序理论上是可以无限制地爬取网络小说的大家可以根据自己的需求去修改有什么问题或者好的有趣的需求也可以和我提有时间我还是会继续维护这份源码的。大家可以根据自己是想真实运营还是学习的需求去使用爬虫程序吧如果只是想演示一下的话运行爬虫程序几分钟数据就足够了 。
#### 目录结构
novel-front 前台web网站源码
novel-admin :平台后台管理系统源码
#### 软件架构
Springboot+Mybatis+Mysql+Ehcache+Thymeleaf+Layui
前台web网站架构Springboot+Mybatis+Mysql+Ehcache+Thymeleaf+Layui
平台后台管理系统架构 : Springboot+Mybatis+Mysql+Redis+Thymeleaf+Layui+Bootstrap
#### 安装教程
1. 数据准备,拉取小说爬虫程序,按照说明文件爬取网络小说到数据库中。([点击获取爬虫程序](https://gitee.com/xiongxyang/crawl-book)
2. 修改项目application.yml配置文件中的数据库配置。
![](./assets/database_config.png)
3. 修改项目application.yml配置文件中的首页本站推荐小说配置修改的小说需要在数据库中存在
![](./assets/index_config.png)
4. 根据需求修改项目application.yml配置文件中的爬取小说最低评分配置建议和爬虫程序中的最低评分配置保持一致
![](./assets/score_config.png)
5. 根据需求修改项目application.yml配置文件中的小说爬虫源配置。
![](./assets/craw_config.png)
6. 本地直接运行或使用maven插件打包成jar文件上传到服务器上。
7. `http://ip:port`访问首页。
8. `http://ip:port/books`访问精品小说模块。
9. `http://ip:port/book/searchSoftBook.html`访问轻小说模块。
#### 项目截图
#### 前台web网站截图
1. 电脑端(首页)
![index](./assets/精品小说楼.png)
![index](E:/baseprojectparent/70_GDSPP-EDU/fiction_house/assets/%E7%B2%BE%E5%93%81%E5%B0%8F%E8%AF%B4%E6%A5%BC.png)
2. 移动端(首页)
![index](./assets/QQ图片20191018162208.jpg)
![index](E:/baseprojectparent/70_GDSPP-EDU/fiction_house/assets/QQ%E5%9B%BE%E7%89%8720191018162208.jpg)
3. 移动端(轻小说专区)
![index](./assets/QQ图片20191018161330.jpg)
![index](E:/baseprojectparent/70_GDSPP-EDU/fiction_house/assets/QQ%E5%9B%BE%E7%89%8720191018161330.jpg)
4. 移动端(小说详情页)
![微信图片_20190904181558](./assets/微信图片_20190904181558.png)
![微信图片_20190904181558](E:/baseprojectparent/70_GDSPP-EDU/fiction_house/assets/%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20190904181558.png)
5. 移动端(目录页)
![QQ图片20191018161901](./assets/QQ图片20191108022250.png)
![QQ图片20191018161901](E:/baseprojectparent/70_GDSPP-EDU/fiction_house/assets/QQ%E5%9B%BE%E7%89%8720191108022250.png)
6. 移动端(小说阅读页)
![QQ图片20191018161901](./assets/QQ图片20191018161901.png)
![QQ图片20191018161901](E:/baseprojectparent/70_GDSPP-EDU/fiction_house/assets/QQ%E5%9B%BE%E7%89%8720191018161901.png)
7. 小程序
#### 后台管理系统截图
1. 登录界面
![](./assets/login.png)
2. 爬虫管理界面
![](./assets/crawl_pic.png)
3.其他功能开发中。。。
#### 微信小程序截图
![mini4](./assets/mini4.png)
#### 安卓App截图
![mini4](./assets/android_index.png)
#### 安装教程
平台后台管理系统安装:
1. 新建数据库books:create database books default character set utf8mb4 collate utf8mb4_general_ci 。
2. 执行sql/books.sql文件。
3. 修改application.yml文件中数据库配置。
4. 启动程序,登录后台系统,运行爬虫程序爬取小说数据。
![](./assets/crawl_pic.png)
前台web网站安装
1. 修改项目application.yml配置文件中的数据库配置。
![](./assets/database_config.png)
2. 修改项目application.yml配置文件中的首页本站推荐小说配置修改的小说需要在数据库中存在
![](./assets/index_config.png)
3. 根据需求修改项目application.yml配置文件中的爬取小说最低评分配置建议和爬虫程序中的最低评分配置保持一致
![](./assets/score_config.png)
4. 根据需求修改项目application.yml配置文件中的小说爬虫源配置。
![](./assets/craw_config.png)
5. 本地直接运行或使用maven插件打包成jar文件上传到服务器上。
6. `http://ip:port`访问首页。
7. `http://ip:port/books`访问精品小说模块。
8. `http://ip:port/book/searchSoftBook.html`访问轻小说模块。
#### 功能开发清单(包括待开发计划)
[点击下载高清大图](./assets/小说精品屋功能清单.twdx)
@ -91,11 +130,15 @@ Springboot+Mybatis+Mysql+Ehcache+Thymeleaf+Layui
##### 演示地址1
[点击前往](https://www.zinglizingli.xyz)
[点击前往](https://www.zinglizingli.xyz)(前台,快过期)
##### 演示地址2备用
[点击前往](http://47.106.243.172)
[点击前往](http://47.106.243.172)(前台)
[点击前往](http://47.106.243.172:8888)(平台后台)
演示账号admin/admin123
#### 小程序二维码