集成logstach,采集日志到ElasticSearch

README.md

@@ -2,7 +2,7 @@
 
 #### 背景
 
-小说网站业务难度适中，没有商城系统那种复杂的业务。但是作为互联网项目，一样需要面对大规模用户和海量数据的处理，所以高并发、高可用、高性能、高容错、可扩展性、可维护性也是小说网站设计需要考虑的问题，商城系统中所用到的技术同样适用于小说网站。综上所述，使用微服务架构来构建一个小说门户平台是非常有必要的，利用微服务构建的小说门户平台来学习现下流行技术相较于业务比较复杂的商场系统来说也是比较容易的，非常适合于没有实际项目经验的同学用来学习和入门微服务技术栈。
+小说网站业务难度适中，没有商城系统那种复杂的业务。但是作为互联网项目，一样需要面对大规模用户和海量数据的处理，所以高并发、高可用、高性能、高容错、可扩展性、可维护性也是小说网站设计需要考虑的问题，商城系统中所用到的技术同样适用于小说网站。综上所述，使用微服务架构来构建一个小说门户平台是非常有必要的，利用微服务构建的小说门户平台来学习现下流行技术相较于业务比较复杂的商场系统来说也是比较容易的，非常适合于没有实际微服务项目经验的同学用来学习和入门微服务技术栈。
 
 #### 介绍
 
@@ -99,7 +99,11 @@ novel-cloud
    
       ![QQ20200520-215756](./assert/QQ20200529-082052.png)
    
-   5. 门户网站
+   5. 分布式日志收集
+   
+      ![QQ20200520-215756](./assert/QQ20200603-080655.png)
+   
+   6. 门户网站
    
    ![QQ20200520-215756](./assert/pc_index.png)
    

novel-author/author-service/src/main/resources/logback-boot.xml

@@ -49,10 +49,17 @@
             <charset>UTF-8</charset>
         </encoder>
     </appender>
+    <!--输出到logstash的appender-->
+    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+        <!--可以访问的logstash日志收集端口-->
+        <destination>198.245.61.51:4560</destination>
+        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
+    </appender>
     <!-- 控制台输出日志级别 -->
     <root level="INFO">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </root>
     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
     <!-- com.maijinjie.springboot 为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
@@ -60,5 +67,6 @@
     <logger name="com.java2nb" level="DEBUG">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </logger>
 </configuration>

novel-book/book-service/src/main/resources/logback-boot.xml

@@ -49,10 +49,17 @@
             <charset>UTF-8</charset>
         </encoder>
     </appender>
+    <!--输出到logstash的appender-->
+    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+        <!--可以访问的logstash日志收集端口-->
+        <destination>198.245.61.51:4560</destination>
+        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
+    </appender>
     <!-- 控制台输出日志级别 -->
     <root level="INFO">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </root>
     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
     <!-- com.maijinjie.springboot 为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
@@ -60,5 +67,6 @@
     <logger name="com.java2nb" level="DEBUG">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </logger>
 </configuration>

novel-common/pom.xml

@@ -112,6 +112,12 @@
         </dependency>
 
 
+        <dependency>
+            <groupId>net.logstash.logback</groupId>
+            <artifactId>logstash-logback-encoder</artifactId>
+        </dependency>
+
+
 
     </dependencies>
 

novel-file/src/main/resources/logback-boot.xml

@@ -49,10 +49,17 @@
             <charset>UTF-8</charset>
         </encoder>
     </appender>
+    <!--输出到logstash的appender-->
+    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+        <!--可以访问的logstash日志收集端口-->
+        <destination>198.245.61.51:4560</destination>
+        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
+    </appender>
     <!-- 控制台输出日志级别 -->
     <root level="INFO">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </root>
     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
     <!-- com.maijinjie.springboot 为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
@@ -60,5 +67,6 @@
     <logger name="com.java2nb" level="DEBUG">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </logger>
 </configuration>

novel-home/src/main/resources/logback-boot.xml

@@ -49,10 +49,17 @@
             <charset>UTF-8</charset>
         </encoder>
     </appender>
+    <!--输出到logstash的appender-->
+    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+        <!--可以访问的logstash日志收集端口-->
+        <destination>198.245.61.51:4560</destination>
+        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
+    </appender>
     <!-- 控制台输出日志级别 -->
     <root level="INFO">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </root>
     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
     <!-- com.maijinjie.springboot 为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
@@ -60,5 +67,6 @@
     <logger name="com.java2nb" level="DEBUG">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </logger>
 </configuration>

novel-news/news-service/src/main/resources/logback-boot.xml

@@ -49,10 +49,17 @@
             <charset>UTF-8</charset>
         </encoder>
     </appender>
+    <!--输出到logstash的appender-->
+    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+        <!--可以访问的logstash日志收集端口-->
+        <destination>198.245.61.51:4560</destination>
+        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
+    </appender>
     <!-- 控制台输出日志级别 -->
     <root level="INFO">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </root>
     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
     <!-- com.maijinjie.springboot 为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
@@ -60,5 +67,6 @@
     <logger name="com.java2nb" level="DEBUG">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </logger>
 </configuration>

novel-pay/pay-service/src/main/resources/logback-boot.xml

@@ -49,10 +49,17 @@
             <charset>UTF-8</charset>
         </encoder>
     </appender>
+    <!--输出到logstash的appender-->
+    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+        <!--可以访问的logstash日志收集端口-->
+        <destination>198.245.61.51:4560</destination>
+        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
+    </appender>
     <!-- 控制台输出日志级别 -->
     <root level="INFO">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </root>
     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
     <!-- com.maijinjie.springboot 为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
@@ -60,5 +67,6 @@
     <logger name="com.java2nb" level="DEBUG">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </logger>
 </configuration>

novel-search/src/main/resources/logback-boot.xml

@@ -49,10 +49,17 @@
             <charset>UTF-8</charset>
         </encoder>
     </appender>
+    <!--输出到logstash的appender-->
+    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+        <!--可以访问的logstash日志收集端口-->
+        <destination>198.245.61.51:4560</destination>
+        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
+    </appender>
     <!-- 控制台输出日志级别 -->
     <root level="INFO">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </root>
     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
     <!-- com.maijinjie.springboot 为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
@@ -60,5 +67,6 @@
     <logger name="com.java2nb" level="DEBUG">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </logger>
 </configuration>

novel-user/user-service/src/main/resources/logback-boot.xml

@@ -49,10 +49,17 @@
             <charset>UTF-8</charset>
         </encoder>
     </appender>
+    <!--输出到logstash的appender-->
+    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
+        <!--可以访问的logstash日志收集端口-->
+        <destination>198.245.61.51:4560</destination>
+        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
+    </appender>
     <!-- 控制台输出日志级别 -->
     <root level="INFO">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </root>
     <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
     <!-- com.maijinjie.springboot 为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
@@ -60,5 +67,6 @@
     <logger name="com.java2nb" level="DEBUG">
         <appender-ref ref="STDOUT" />
         <appender-ref ref="FILE" />
+        <appender-ref ref="LOGSTASH"/>
     </logger>
 </configuration>

pom.xml

@@ -62,6 +62,7 @@
         <admin-starter-server.version>2.2.3</admin-starter-server.version>
         <docker.maven.plugin.version>1.0.0</docker.maven.plugin.version>
         <docker.host>http://47.106.243.172:2375</docker.host>
+        <logstash.version>5.3</logstash.version>
 
         <novel-common.version>1.1.0</novel-common.version>
         <novel-user-api.version>1.1.0</novel-user-api.version>
@@ -231,7 +232,6 @@
             </dependency>
 
 
-
             <!-- jwt -->
             <dependency>
                 <groupId>io.jsonwebtoken</groupId>
@@ -258,15 +258,15 @@
                 <optional>true</optional>
             </dependency>
 
+            <!--集成logstash-->
+            <dependency>
+                <groupId>net.logstash.logback</groupId>
+                <artifactId>logstash-logback-encoder</artifactId>
+                <version>${logstash.version}</version>
+            </dependency>
+
         </dependencies>
     </dependencyManagement>
 
 
-
-
-
-
-
-
-
 </project>