前言 最近我在做知识星球中的商品秒杀系统,昨天遇到了一个诡异的json反序列化问题,感觉挺有意思的,现在拿出来跟大家一起分享一下,希望对你会有所帮助。 案发现场 我最近在做知识星球中的商品秒杀系统,写了一个filter,获取用户请求的header中获取JWT的token信息。 然后根据token信息
最近在做知识星球中的商品秒杀系统时,遇到了一个诡异的json反序列化问题。这个问题让我颇感兴趣,因此我决定与大家分享一下。希望这篇文章对你有所帮助。
我最近在做知识星球中的商品秒杀系统,写了一个filter,获取用户请求的header中的JWT的token信息。接着根据token信息,获取到用户信息,并将用户信息设置到用户上下文当中。这样接口中的业务代码就能通过用户上下文获取到当前登录的用户信息了。我们的token和用户信息为了性能考虑都保存到了Redis当中。用户信息是一个json字符串。在用户登录接口中,将用户实体使用fastjson工具转换成了字符串,并保存到了Redis当中。然后在filter中,通过一定的key获取Redis中的字符串,反序列化成用户实体。使用的同样是fastjson工具。但在反序列化的过程中,filter抛异常了。
我刚开始以为是json数据格式有问题。将json字符串复制到在线json工具,去掉化之后再格式数据,发现json格式没有问题。然后写了一个专门的测试类,将日志中打印的json字符串复制到json变量那里,使用JSON.parseObject方法将json字符串转换成Map对象。执行结果是转换成功了。这让我有点懵逼了。为什么相同的json字符串,在Test类中能够正常解析,而在filter当中却不行?
我刚开始以为是json数据格式有问题。将json字符串复制到在线json工具,去掉化之后再格式数据,发现json格式没有问题。然后写了一个专门的测试类,将日志中打印的json字符串复制到json变量那里,使用JSON.parseObject方法将json字符串转换成Map对象。执行结果是转换成功了。这让我有点懵逼了。为什么相同的json字符串,在Test类中能够正常解析,而在filter当中却不行?
我刚开始以为是json数据格式有问题。将json字符串复制到在线json工具,去掉化之后再格式数据,发现json格式没有问题。然后写了一个专门的测试类,将日志中打印的json字符串复制到json变量那里,使用JSON.parseObject方法将json字符串转换成Map对象。执行结果是转换成功了。这让我有点懵逼了。为什么相同的json字符串,在Test类中能够正常解析,而在filter当中却不行?
当时怕搞错了,debug了一下filter,发现获取到的json数据,跟Test类中的一模一样。
带着一脸的疑惑,我做了下面的测试。莫非是反序列化工具有bug?
我尝试了一下将json的反序列化工具改成google的gson,代码如下:
Map map = new Gson().fromJson(userJson, Map.class);运行之后,报了一个新的异常:com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 2 path $.这里提示json字符串中包含了:$。而$是特殊字符,password是做了加密处理的,里面包含$和.,这两种特殊字符。为了快速解决问题,我先将这两个特字符替换成空字符串。
我又尝试了一下json的反序列化工具,改成Spring自带的的jackson工具,代码如下:ObjectMapper objectMapper = new ObjectMapper();try {Map map = objectMapper.readValue(json, Map.class);} catch (JsonProcessingException e) {e.printStackTrace();}调整之后,反序列化还是报错:com.fasterxml.jackson.core.JsonParseException: Unexpected character ('\' (code 92)): was expecting double-quote to start field name。3种反序列化工具都不行,说明应该不是fastjson的bug导致的当前json字符串,反序列化失败。到底是什么问题呢?
之前的数据,我在仔细看了看。里面是对双引号,是使用了转义的,具体是这样做的:\"。莫非还是这个转义的问题?其实我之前已经注意到了转义的问题,但使用Test类测试过,没有问题。当时的代码是这样的:public class Test {public static void main(String[] args) {String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";Map map = JSON.parseObject(json, Map.class);System.out.println(map);}}。里面也包含了一些转义字符。我带着试一试的心态,接下来,打算将转义字符去掉。看看原始的json字符串,解析有没有问题。怎么去掉转义字符呢?手写工具类,感觉不太好,可能会写漏一些特殊字符的场景。我想到了org.apache.commons包下的StringEscapeUtils类,它里面的unescapeJava方法,可以轻松去掉Java代码中的转义字符。于是,我调整了一下代码:json = StringEscapeUtils.unescapeJava(json);JSON.parseObject(json, UserEntity.class);这样处理之后,发现反序列化成功了。
这个问题最终发现还是转义的问题。那么,之前Test类中json字符串,也使用了转义,为什么没有问题?当时的代码是这样的:public class Test {public static void main(String[] args) {String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";Map map = JSON.parseObject(json, Map.class);System.out.println(map);}}。但在filter中的程序,在读取到这个json字符串之后,发现该字符串中包含了\转义符号,程序自动把它变成了\\。调整一下Test类的main方法,改成三个斜杠的json字符串:public static void main(String[] args) {String json = "{\\\"accountNonExpired\\\":true,\\\"accountNonLocked\\\":true,\\\"authorities\\\":[{\\\"authority\\\":\\\"admin\\\"}],\\\"credentialsNonExpired\\\":true,\\\"enabled\\\":true,\\\"id\\\":13,\\\"password\\\":\\\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\\\",\\\"roles\\\":[\\\"admin\\\"],\\\"username\\\":\\\"admin\\\"}";Map map = JSON.parseObject(json, Map.class);System.out.println(map);}}。执行结果:Exception in thread "main" com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"},抛出了跟文章最开始一样的异常。说明其实就是转义的问题。之前,我将项目的日志中的json字符串,复制到idea的Test的json变量中,当时将最外层的双引号一起复制过来了,保存的是1个斜杠的数据。这个操作把我误导了。而后面从在线的json工具中,把相同的json字符串,复制到idea的Test的json变量中,在双引号当中粘贴数据,保存的却是3个斜杠的数据,它会自动转义。让我意识到了问题。好了,下次如果遇到类似的问题,可以直接使用org.apache.commons包下的StringEscapeUtils类,先去掉转义,再反序列化,这样可以快速解决问题。此外,这次使用了3种不同的反序列化工具,也看到了其中的一些差异。如果你对日常工作中的一些坑,比较感兴趣,可以看看我的技术专栏《程序员最常见的100个问题》,里面有很多干货,还是非常值得一看的。
如果这篇文章对您有所帮助,或者有所启发的话,帮忙扫描下发二维码关注一下,您的支持是我坚持写作最大的动力。求一键三连:点赞、转发、在看。关注公众号:【苏三说技术】,在公众号中回复:面试、代码神器、开发手册、时间管理有超赞的粉丝福利,另外回复:加群,可以跟很多BAT大厂的前辈交流和学习。
小编推荐阅读