springboot日志需要怎么配置(Springboot日志配置文件)

原文链接:https://mp.weixin.qq.com/s/ieZbTQz7GKiZsJjnw1sekQ

一、前言

核心隐私数据无论对于企业还是用户来说尤其重要,因此要想办法杜绝各种隐私数据的泄漏。下面带大家从以下三个方面讲解一下隐私数据如何脱敏,也是日常开发中需要注意的:

  1. 配置文件数据脱敏
  2. 接口返回数据脱敏
  3. 日志文件数据脱敏

文章目录如下:

springboot日志需要怎么配置(Springboot日志配置文件)(1)

二、配置文件如何脱敏?

经常会遇到这样一种情况:项目的配置文件中总有一些敏感信息,比如数据源的url、用户名、密码....这些信息一旦被暴露那么整个数据库都将会被泄漏,那么如何将这些配置隐藏呢?

以前都是手动将加密之后的配置写入到配置文件中,提取的时候再手动解密,当然这是一种思路,也能解决问题,但是每次都要手动加密、解密不觉得麻烦吗?

springboot日志需要怎么配置(Springboot日志配置文件)(2)

今天介绍一种方案,让你在无感知的情况下实现配置文件的加密、解密。利用一款开源插件:jasypt-spring-boot。项目地址如下:

https://Github.com/ulisesbocchio/jasypt-spring-boot

使用方法很简单,整合Spring Boot 只需要添加一个 starter。

1. 添加依赖

<dependency> <groupId>com.github.ulisesbocchio</groupId> <artifactId>jasypt-spring-boot-starter</artifactId> <version>3.0.3</version> </dependency>

2. 配置秘钥

在配置文件中添加一个加密的秘钥(任意),如下:

jasypt: encryptor: password: Y6M9fAJQdU7jNp5MW

当然将秘钥直接放在配置文件中也是不安全的,我们可以在项目启动的时候配置秘钥,命令如下:

java -jar xxx.jar -Djasypt.encryptor.password=Y6M9fAJQdU7jNp5MW

3. 生成加密后的数据

这一步骤是将配置明文进行加密,代码如下:

@SpringBootTest @RunWith(SpringRunner.class) public class SpringbootJasyptApplicationTests { /** * 注入加密方法 */ @Autowired private StringEncryptor encryptor; /** * 手动生成密文,此处演示了url,user,password */ @Test public void encrypt() { String url = encryptor.encrypt("jdbc\\:mysql\\://127.0.0.1\\:3306/test?useUnicode\\=true&characterEncoding\\=UTF-8&zeroDateTimeBehavior\\=convertToNull&useSSL\\=false&allowMultiQueries\\=true&serverTimezone=Asia/Shanghai"); String name = encryptor.encrypt("root"); String password = encryptor.encrypt("123456"); System.out.println("database url: " url); System.out.println("database name: " name); System.out.println("database password: " password); Assert.assertTrue(url.length() > 0); Assert.assertTrue(name.length() > 0); Assert.assertTrue(password.length() > 0); } }

上述代码对数据源的url、user、password进行了明文加密,输出的结果如下:

database url: szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA 1Z pQFpyhFBokqOp2jsFtB P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi B/XUs0keXPn pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M 8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA= database name: L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm database password: EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ

4. 将加密后的密文写入配置

jasypt默认使用 ENC()包裹,此时的数据源配置如下:

spring: datasource: # 数据源基本配置 username: ENC(L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm) password: ENC(EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ) driver-class-name: com.mysql.jdbc.Driver url: ENC(szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA 1Z pQFpyhFBokqOp2jsFtB P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi B/XUs0keXPn pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M 8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=) type: com.alibaba.druid.pool.DruidDataSource

上述配置是使用默认的 prefix=ENC(、suffix=),当然我们可以根据自己的要求更改,只需要在配置文件中更改即可,如下:

jasypt: encryptor: ## 指定前缀、后缀 property: prefix: 'PASS(' suffix: ')'

那么此时的配置就必须使用 PASS()包裹才会被解密,如下:

spring: datasource: # 数据源基本配置 username: PASS(L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm) password: PASS(EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ) driver-class-name: com.mysql.jdbc.Driver url: PASS(szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA 1Z pQFpyhFBokqOp2jsFtB P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi B/XUs0keXPn pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M 8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=) type: com.alibaba.druid.pool.DruidDataSource

5. 总结

jasypt还有许多高级用法,比如可以自己配置加密算法,具体的操作可以参考Github上的文档。

三、接口返回数据如何脱敏?

通常接口返回值中的一些敏感数据也是要脱敏的,比如身份证号、手机号码、地址.....通常的手段就是用 *隐藏一部分数据,当然也可以根据自己的需求定制。

言归正传,如何优雅地实现呢?有两种实现方案,如下:

  • 整合Mybatis插件,在查询的时候针对特定的字段进行脱敏
  • 整合Jackson,在序列化阶段对特定字段进行脱敏
  • 基于Sharding Sphere实现数据脱敏,查看之前的文章:基于Sharding Sphere实现数据“一键脱敏”

第一种方案网上很多实现方式,下面演示第二种,整合Jackson。

1. 自定义一个Jackson注解

需要自定义一个脱敏注解,一旦有属性被标注,则进行对应的脱敏,如下:

/** * 自定义jackson注解,标注在属性上 */ @Retention(RetentionPolicy.RUNTIME) @Target(ElementType.FIELD) @JacksonannotationsInside @JSONSerialize(using = SensitiveJsonSerializer.class) public @interface Sensitive { //脱敏策略 SensitiveStrategy strategy(); }

2. 定制脱敏策略

针对项目需求,定制不同字段的脱敏规则,比如手机号中间几位用 *替代,如下:

/** * 脱敏策略,枚举类,针对不同的数据定制特定的策略 */ public enum SensitiveStrategy { /** * 用户名 */ USERNAME(s -> s.replaceAll("(\\S)\\S(\\S*)", "$1*$2")), /** * 身份证 */ ID_CARD(s -> s.replaceAll("(\\d{4})\\d{10}(\\w{4})", "$1****$2")), /** * 手机号 */ PHONE(s -> s.replaceAll("(\\d{3})\\d{4}(\\d{4})", "$1****$2")), /** * 地址 */ ADDRESS(s -> s.replaceAll("(\\S{3})\\S{2}(\\S*)\\S{2}", "$1****$2****")); private final Function<String, String> desensitizer; SensitiveStrategy(Function<String, String> desensitizer) { this.desensitizer = desensitizer; } public Function<String, String> desensitizer() { return desensitizer; } }

以上只是提供了部分,具体根据自己项目要求进行配置。

3. 定制Json序列化实现

下面将是重要实现,对标注注解 @Sensitive的字段进行脱敏,实现如下:

/** * 序列化注解自定义实现 * JsonSerializer<String>:指定String 类型,serialize()方法用于将修改后的数据载入 */ public class SensitiveJsonSerializer extends JsonSerializer<String> implements ContextualSerializer { private SensitiveStrategy strategy; @Override public void serialize(String value, JsonGenerator gen, SerializerProvider serializers) throws IOException { gen.writeString(strategy.desensitizer().apply(value)); } /** * 获取属性上的注解属性 */ @Override public JsonSerializer<?> createContextual(SerializerProvider prov, BeanProperty property) throws JsonmappingException { Sensitive Annotation = property.getAnnotation(Sensitive.class); if (Objects.nonNull(annotation)&&Objects.equals(String.class, property.getType().getRawClass())) { this.strategy = annotation.strategy(); return this; } return prov.findValueSerializer(property.getType(), property); } }

4. 定义Person类,对其数据脱敏

使用注解 @Sensitive注解进行数据脱敏,代码如下:

@Data public class Person { /** * 真实姓名 */ @Sensitive(strategy = SensitiveStrategy.USERNAME) private String realName; /** * 地址 */ @Sensitive(strategy = SensitiveStrategy.ADDRESS) private String address; /** * 电话号码 */ @Sensitive(strategy = SensitiveStrategy.PHONE) private String phoneNumber; /** * 身份证号码 */ @Sensitive(strategy = SensitiveStrategy.ID_CARD) private String idCard; }

5. 模拟接口测试

以上4个步骤完成了数据脱敏的Jackson注解,下面写个controller进行测试,代码如下:

@RestController public class TestController { @GetMapping("/test") public Person test(){ Person user = new Person(); user.setRealName("不才陈某"); user.setPhoneNumber("19796328206"); user.setAddress("浙江省杭州市温州市...."); user.setIdCard("4333333333334334333"); return user; } }

调用接口查看数据有没有正常脱敏,结果如下:

{ "realName": "不*陈某", "address": "浙江省****市温州市..****", "phoneNumber": "197****8206", "idCard": "4333****34333" }

6. 总结

数据脱敏有很多种实现方式,关键是哪种更加适合,哪种更加优雅.....

四、日志文件如何数据脱敏?

上面讲了配置文件、接口返回值的数据脱敏,现在总该轮到日志脱敏了。项目中总避免不了打印日志,肯定会涉及到一些敏感数据被明文打印出来,那么此时就需要过滤掉这些敏感数据(身份证、号码、用户名.....)。

下面以log4j2这款日志为例讲解一下日志如何脱敏,其他日志框架大致思路一样。

1. 添加log4j2日志依赖

Spring Boot 默认日志框架是logback,但是我们可以切换到log4j2,依赖如下:

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <!-- 去掉springboot默认配置 --> <exclusions> <exclusion> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-logging</artifactId> </exclusion> </exclusions> </dependency> <!--使用log4j2替换 LogBack--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artifactId> </dependency>

2. 在/resource目录下新建log4j2.xml配置

log4j2的日志配置很简单,只需要在 /resource文件夹下新建一个 log4j2.xml配置文件,内容如下图:

springboot日志需要怎么配置(Springboot日志配置文件)(3)

springboot日志需要怎么配置(Springboot日志配置文件)(4)

上图的配置并没有实现数据脱敏,这是普通的配置,使用的是PatternLayout

3. 自定义PatternLayout实现数据脱敏

步骤2中的配置使用的是 PatternLayout实现日志的格式,那么我们也可以自定义一个PatternLayout来实现日志的过滤脱敏。

PatternLayout的类图继承关系如下:

springboot日志需要怎么配置(Springboot日志配置文件)(5)

从上图中可以清楚的看出来,PatternLayout继承了一个抽象类 AbstractStringLayout,因此想要自定义只需要继承这个抽象类即可。

1、创建CustomPatternLayout,继承抽象类AbstractStringLayout

代码如下:

/** * log4j2 脱敏插件 * 继承AbstractStringLayout **/ @Plugin(name = "CustomPatternLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true) public class CustomPatternLayout extends AbstractStringLayout { public final static Logger logger = LoggerFactory.getLogger(CustomPatternLayout.class); private PatternLayout patternLayout; protected CustomPatternLayout(charset charset, String pattern) { super(charset); patternLayout = PatternLayout.newBuilder().withPattern(pattern).build(); initRule(); } /** * 要匹配的正则表达式map */ private static Map<String, Pattern> REG_PATTERN_MAP = new HashMap<>(); private static Map<String, String> KEY_REG_MAP = new HashMap<>(); private void initRule() { try { if (MapUtils.isEmpty(Log4j2Rule.regularMap)) { return; } Log4j2Rule.regularMap.forEach((a, b) -> { if (StringUtils.isNotBlank(a)) { Map<String, String> collect = Arrays.stream(a.split(",")).collect(Collectors.toMap(c -> c, w -> b, (key1, key2) -> key1)); KEY_REG_MAP.putAll(collect); } Pattern compile = Pattern.compile(b); REG_PATTERN_MAP.put(b, compile); }); } catch (Exception e) { logger.info(">>>>>> 初始化日志脱敏规则失败 ERROR:{}", e); } } /** * 处理日志信息,进行脱敏 * 1.判断配置文件中是否已经配置需要脱敏字段 * 2.判断内容是否有需要脱敏的敏感信息 * 2.1 没有需要脱敏信息直接返回 * 2.2 处理: 身份证 ,姓名,手机号敏感信息 */ public String hideMarkLog(String logStr) { try { //1.判断配置文件中是否已经配置需要脱敏字段 if (StringUtils.isBlank(logStr) || MapUtils.isEmpty(KEY_REG_MAP) || MapUtils.isEmpty(REG_PATTERN_MAP)) { return logStr; } //2.判断内容是否有需要脱敏的敏感信息 Set<String> charKeys = KEY_REG_MAP.keySet(); for (String key : charKeys) { if (logStr.contains(key)) { String regExp = KEY_REG_MAP.get(key); logStr = matchingAndEncrypt(logStr, regExp, key); } } return logStr; } catch (Exception e) { logger.info(">>>>>>>>> 脱敏处理异常 ERROR:{}", e); //如果抛出异常为了不影响流程,直接返回原信息 return logStr; } } /** * 正则匹配对应的对象。 * * @param msg * @param regExp * @return */ private static String matchingAndEncrypt(String msg, String regExp, String key) { Pattern pattern = REG_PATTERN_MAP.get(regExp); if (pattern == null) { logger.info(">>> logger 没有匹配到对应的正则表达式 "); return msg; } Matcher matcher = pattern.matcher(msg); int length = key.length() 5; boolean contains = Log4j2Rule.USER_NAME_STR.contains(key); String hiddenStr = ""; while (matcher.find()) { String originStr = matcher.group(); if (contains) { // 计算关键词和需要脱敏词的距离小于5。 int i = msg.indexOf(originStr); if (i < 0) { continue; } int span = i - length; int startIndex = span >= 0 ? span : 0; String substring = msg.substring(startIndex, i); if (StringUtils.isBlank(substring) || !substring.contains(key)) { continue; } hiddenStr = hideMarkStr(originStr); msg = msg.replace(originStr, hiddenStr); } else { hiddenStr = hideMarkStr(originStr); msg = msg.replace(originStr, hiddenStr); } } return msg; } /** * 标记敏感文字规则 * * @param needHideMark * @return */ private static String hideMarkStr(String needHideMark) { if (StringUtils.isBlank(needHideMark)) { return ""; } int startSize = 0, endSize = 0, mark = 0, length = needHideMark.length(); StringBuffer hideRegBuffer = new StringBuffer("(\\S{"); StringBuffer replaceSb = new StringBuffer("$1"); if (length > 4) { int i = length / 3; startSize = i; endSize = i; } else { startSize = 1; endSize = 0; } mark = length - startSize - endSize; for (int i = 0; i < mark; i ) { replaceSb.append("*"); } hideRegBuffer.append(startSize).append("})\\S*(\\S{").append(endSize).append("})"); replaceSb.append("$2"); needHideMark = needHideMark.replaceAll(hideRegBuffer.toString(), replaceSb.toString()); return needHideMark; } /** * 创建插件 */ @PluginFactory public static Layout createLayout(@PluginAttribute(value = "pattern") final String pattern, @PluginAttribute(value = "charset") final Charset charset) { return new CustomPatternLayout(charset, pattern); } @Override public String toSerializable(LogEvent event) { return hideMarkLog(patternLayout.toSerializable(event)); } }

关于其中的一些细节,比如 @Plugin、@PluginFactory这两个注解什么意思?log4j2如何实现自定义一个插件,这里不再详细介绍,不是本文重点,有兴趣的可以查看 log4j2的官方文档。

2、自定义自己的脱敏规则

上述代码中的 Log4j2Rule则是脱敏规则静态类,我这里是直接放在了静态类中配置,实际项目中可以设置到配置文件中,代码如下:

/** * 现在拦截加密的日志有三类: * 1,身份证 * 2,姓名 * 3,身份证号 * 加密的规则后续可以优化在配置文件中 **/ public class Log4j2Rule { /** * 正则匹配 关键词 类别 */ public static Map<String, String> regularMap = new HashMap<>(); /** * TODO 可配置 * 此项可以后期放在配置项中 */ public static final String USER_NAME_STR = "Name,name,联系人,姓名"; public static final String USER_IDCARD_STR = "empCard,idCard,身份证,证件号"; public static final String USER_PHONE_STR = "mobile,Phone,phone,电话,手机"; /** * 正则匹配,自己根据业务要求自定义 */ private static String IDCARD_REGEXP = "(\\d{17}[0-9Xx]|\\d{14}[0-9Xx])"; private static String USERNAME_REGEXP = "[\\u4e00-\\u9fa5]{2,4}"; private static String PHONE_REGEXP = "(?<!\\d)(?:(?:1[3456789]\\d{9})|(?:861[356789]\\d{9}))(?!\\d)"; static { regularMap.put(USER_NAME_STR, USERNAME_REGEXP); regularMap.put(USER_IDCARD_STR, IDCARD_REGEXP); regularMap.put(USER_PHONE_STR, PHONE_REGEXP); } }

经过上述两个步骤,自定义的 PatternLayout已经完成,下面将是改写 log4j2.xml这个配置文件了。

4. 修改log4j2.xml配置文件

其实这里修改很简单,原配置文件是直接使用 PatternLayout进行日志格式化的,那么只需要将默认的 <PatternLayout/>这个节点替换成 <CustomPatternLayout/>,如下图:

springboot日志需要怎么配置(Springboot日志配置文件)(6)

直接全局替换掉即可,至此,这个配置文件就修改完成了。

5. 演示效果

步骤3这边自定义了脱敏规则静态类 Log4j2Rule,其中定义了姓名、身份证、号码这三个脱敏规则,如下:

springboot日志需要怎么配置(Springboot日志配置文件)(7)

下面就来演示这三个规则能否正确脱敏,直接使用日志打印,代码如下:

@Test public void test3(){ log.debug("身份证:{},姓名:{},电话:{}","320829112334566767","不才陈某","19896327106"); }

控制台打印的日志如下:

身份证:320829******566767,姓名:不***,电话:198*****106

哦豁,成功了,so easy!!!

6. 总结

日志脱敏的方案很多,陈某也只是介绍一种常用的,有兴趣的可以研究一下。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页