您当前的位置:首页 > 电脑百科 > 程序开发 > 框架

Springboot 之 Filter 实现 Gzip 压缩超大 json 对象

时间:2022-10-10 10:29:44  来源:网易号  作者:

简介

在项目中,存在传递超大 json 数据的场景。直接传输超大 json 数据的话,有以下两个弊端

 

  • 占用网络带宽,而有些云产品就是按照带宽来计费的,间接浪费了钱
  • 传输数据大导致网络传输耗时较长 为了避免直接传输超大 json 数据,可以对 json 数据进行 Gzip 压缩后,再进行网络传输。
  • 请求头添加 Content-Encoding 标识,传输的数据进行过压缩
  • Servlet Filter 拦截请求,对压缩过的数据进行解压
  • HttpServletRequestWrApper 包装,把解压的数据写入请求体
pom.xml 引入依赖4.0.0com.oliverequest-uncompression0.0.1-SNAPSHOTjarrequest-uncompressionhttp://maven.Apache.orgorg.springframework.bootspring-boot-starter-parent2.5.14UTF-888org.springframework.bootspring-boot-starter-testtestorg.projectlomboklombokorg.springframework.bootspring-boot-starter-webcom.alibaba.fastjson2fastjson22.0.14commons-iocommons-io2.9.0创建压缩工具类

 

GzipUtils 类提供压缩解压相关方法

package com.olive.utils;import com.alibaba.fastjson2.JSON;import com.olive.vo.ArticleRequestVO;import lombok.extern.slf4j.Slf4j;import org.apache.commons.io.FileUtils;import JAVA.io.*;import java.util.zip.GZIPInputStream;import java.util.zip.GZIPOutputStream;@Slf4jpublic class GzipUtils {private static final String GZIP_ENCODE_UTF_8 = "UTF-8";* 字符串压缩为GZIP字节数组* @param str* @returnpublic static byte[] compress(String str) {return compress(str, GZIP_ENCODE_UTF_8);* 字符串压缩为GZIP字节数组* @param str* @param encoding* @returnpublic static byte[] compress(String str, String encoding) {if (str == null || str.length() == 0) {return null;ByteArrayOutputStream out = new ByteArrayOutputStream();GZIPOutputStream gzip = null;try {gzip = new GZIPOutputStream(out);gzip.write(str.getBytes(encoding));} catch (IOException e) {log.error("compress>>", e);}finally {if(gzip!=null){try {gzip.close();} catch (IOException e) {return out.toByteArray();* GZIP解压缩* @param bytes* @returnpublic static byte[] uncompress(byte[] bytes) {if (bytes == null || bytes.length == 0) {return null;ByteArrayOutputStream out = new ByteArrayOutputStream();ByteArrayInputStream in = new ByteArrayInputStream(bytes);GZIPInputStream unGzip = null;try {unGzip = new GZIPInputStream(in);byte[] buffer = new byte[256];int n;while ((n = unGzip.read(buffer)) >= 0) {out.write(buffer, 0, n);} catch (IOException e) {log.error("uncompress>>", e);}finally {if(unGzip!=null){try {unGzip.close();} catch (IOException e) {return out.toByteArray();* 解压并返回String* @param bytes* @returnpublic static String uncompressToString(byte[] bytes) throws IOException {return uncompressToString(bytes, GZIP_ENCODE_UTF_8);* @param bytes* @returnpublic static byte[] uncompressToByteArray(byte[] bytes) throws IOException {return uncompressToByteArray(bytes, GZIP_ENCODE_UTF_8);* 解压成字符串* @param bytes 压缩后的字节数组* @param encoding 编码方式* @return 解压后的字符串public static String uncompressToString(byte[] bytes, String encoding) throws IOException {byte[] result = uncompressToByteArray(bytes, encoding);return new String(result);* 解压成字节数组* @param bytes* @param encoding* @returnpublic static byte[] uncompressToByteArray(byte[] bytes, String encoding) throws IOException {if (bytes == null || bytes.length == 0) {return null;ByteArrayOutputStream out = new ByteArrayOutputStream();ByteArrayInputStream in = new ByteArrayInputStream(bytes);GZIPInputStream unGzip = null;try {unGzip = new GZIPInputStream(in);byte[] buffer = new byte[256];int n;while ((n = unGzip.read(buffer)) >= 0) {out.write(buffer, 0, n);return out.toByteArray();} catch (IOException e) {log.error("uncompressToByteArray>>", e);throw new IOException("解压缩失败!");}finally {if(unGzip!=null){unGzip.close();* 将字节流转换成文件* @param filename* @param data* @throws Exceptionpublic static void saveFile(String filename, byte[] data) throws Exception {FileOutputStream fos = null;try {if (data != null) {String filepath = "/" + filename;File file = new File(filepath);if (file.exists()) {file.delete();fos = new FileOutputStream(file);fos.write(data, 0, data.length);fos.flush();System.out.println(file);}catch (Exception e){throw e;}finally {if(fos!=null){fos.close();对Request进行包装

UnZipRequestWrapper 读取输入流,然进行解压;解压完后,再把解压出来的数据封装到输入流中。

package com.olive.filter;import com.olive.utils.GzipUtils;import lombok.extern.slf4j.Slf4j;import javax.servlet.ReadListener;import javax.servlet.ServletInputStream;import javax.servlet.http.HttpServletRequest;import javax.servlet.http.HttpServletRequestWrapper;import java.io.*;* Json String 经过压缩后保存为二进制文件 -> 解压缩后还原成 Jso nString转换成byte[]写回body中@Slf4jpublic class UnZipRequestWrapper extends HttpServletRequestWrapper {private final byte[] bytes;public UnZipRequestWrapper(HttpServletRequest request) throws IOException {super(request);try (BufferedInputStream bis = new BufferedInputStream(request.getInputStream());ByteArrayOutputStream baos = new ByteArrayOutputStream()) {final byte[] body;byte[] buffer = new byte[1024];int len;while ((len = bis.read(buffer)) > 0) {baos.write(buffer, 0, len);body = baos.toByteArray();if (body.length == 0) {log.info("Body无内容,无需解压");bytes = body;return;this.bytes = GzipUtils.uncompressToByteArray(body);} catch (IOException ex) {log.error("解压缩步骤发生异常!", ex);throw ex;@Overridepublic ServletInputStream getInputStream() throws IOException {final ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);return new ServletInputStream() {@Overridepublic boolean isFinished() {return false;@Overridepublic boolean isReady() {return false;@Overridepublic void setReadListener(ReadListener readListener) {public int read() throws IOException {return byteArrayInputStream.read();@Overridepublic BufferedReader getReader() throws IOException {return new BufferedReader(new InputStreamReader(this.getInputStream()));定义GzipFilter对请求进行拦截

GzipFilter 拦截器根据请求头是否包含Content-Encoding=application/gzip,如果包含就对数据进行解压;否则就直接放过。

package com.olive.filter;import lombok.extern.slf4j.Slf4j;import org.springframework.stereotype.Component;import javax.servlet.*;import javax.servlet.http.HttpServletRequest;import java.io.IOException;* 解压filter@Slf4j@Componentpublic class GzipFilter implements Filter {private static final String CONTENT_ENCODING = "Content-Encoding";private static final String CONTENT_ENCODING_TYPE = "application/gzip";@Overridepublic void init(FilterConfig filterConfig) throws ServletException {log.info("init GzipFilter");@Overridepublic void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {long start = System.currentTimeMillis();HttpServletRequest httpServletRequest = (HttpServletRequest)request;String encodeType = httpServletRequest.getHeader(CONTENT_ENCODING);if (encodeType!=null && CONTENT_ENCODING_TYPE.equals(encodeType)) {log.info("请求:{} 需要解压", httpServletRequest.getRequestURI());UnZipRequestWrapper unZipRequest = new UnZipRequestWrapper(httpServletRequest);chain.doFilter(unZipRequest, response);}else {log.info("请求:{} 无需解压", httpServletRequest.getRequestURI());chain.doFilter(request,response);log.info("耗时:{}ms", System.currentTimeMillis() - start);@Overridepublic void destroy() {log.info("destroy GzipFilter");注册 GzipFilter 拦截器package com.olive.config;import com.olive.filter.GzipFilter;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.boot.web.servlet.FilterRegistrationBean;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;* 注册filter@Configurationpublic class FilterRegistration {@Autowiredprivate GzipFilter gzipFilter;@Beanpublic FilterRegistrationBean gzipFilterRegistrationBean() {FilterRegistrationBean registration = new FilterRegistrationBean<>();//Filter可以new,也可以使用依赖注入Beanregistration.setFilter(gzipFilter);//过滤器名称registration.setName("gzipFilter");//拦截路径registration.addUrlPatterns("/*");//设置顺序registration.setOrder(1);return registration;定义 Controller

该 Controller 非常简单,主要是输入请求的数据

package com.olive.controller;import java.util.HashMap;import java.util.Map;import com.alibaba.fastjson2.JSON;import com.olive.vo.ArticleRequestVO;import org.springframework.web.bind.annotation.RequestBody;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestControllerpublic class TestController {@RequestMapping("/getArticle")public Map getArticle(@RequestBody ArticleRequestVO articleRequestVO){Map result = new HashMap<>();result.put("code", 200);result.put("msg", "success");System.out.println(JSON.toJSONString(articleRequestVO));return result;

Controller 参数接收VO

package com.olive.vo;import lombok.Data;import java.io.Serializable;@Datapublic class ArticleRequestVO implements Serializable {private Long id;private String title;private String content;定义 Springboot 引导类package com.olive;import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;@SpringBootApplicationpublic class Application {public static void main(String[] args) {SpringApplication.run(Application.class);测试

  • 非压缩请求测试
curl -X POST http://127.0.0.1:8080/getArticle -H 'content-type: application/json' "id":1,"title": "java乐园","content":"xxxxxxxxxx"
  • 压缩请求测试

 


 


 

不要直接将压缩后的 byte[] 数组当作字符串进行传输,否则压缩后的请求数据比没压缩后的还要大得多! 项目中一般采用以下两种传输压缩后的 byte[] 的方式:

 

  • 将压缩后的 byet[] 进行 Base64 编码再传输字符串,这种方式会损失掉一部分 GZIP 的压缩效果,适用于压缩结果要存储在 redis 中的情况
  • 将压缩后的 byte[] 以二进制的形式写入到文件中,请求时直接在 body 中带上文件即可,用这种方式可以不损失压缩效果

 

小编测试采用第二种方式,采用以下代码把原始数据进行压缩

public static void main(String[] args) {ArticleRequestVO vo = new ArticleRequestVO();vo.setId(1L);vo.setTitle("bug弄潮儿");try {byte[] bytes = FileUtils.readFileToByteArray(new File("C:\Users\2230\Desktop\凯平项目资料\改装车项目\CXSSBOOT_DB_DDL-1.0.9.sql"));vo.setContent(new String(bytes));byte[] dataBytes = compress(JSON.toJSONString(vo));saveFile("d:/vo.txt", dataBytes);} catch (Exception e) {e.printStackTrace();

压缩后数据存储到d:/vo.txt,然后在 postman 中安装下图选择



Tags:Springboot   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
简介在项目中,存在传递超大 json 数据的场景。直接传输超大 json 数据的话,有以下两个弊端 占用网络带宽,而有些云产品就是按照带宽来计费的,间接浪费了钱 传输数据大导致网络...【详细内容】
2022-10-10  Tags: Springboot  点击:(0)  评论:(0)  加入收藏
前言最近自己用Spring Cloud Alibaba做了一个微服务架构的项目,部署的时候遇到了难题:内存不够。目前该项目有7个微服务,因为我只有一台阿里云的服务器(2C 4G),所以我只能把所有...【详细内容】
2022-10-06  Tags: Springboot  点击:(9)  评论:(0)  加入收藏
关于NettyNetty 是一个利用 Java 的高级网络的能力,隐藏其背后的复杂性而提供一个易于使用的 API 的客户端/服务器框架。MAVEN依赖 <dependencies> <!-- https://mvnrepos...【详细内容】
2022-09-27  Tags: Springboot  点击:(19)  评论:(0)  加入收藏
因业务需要, 公司内需要使用 SpringBoot Starter 构建 SDK. 不同的是使用了更为灵活的 Kotlin 语言, 构建脚本也换成了 Kotlin Script. 框架: SpringBoot 业务代码语言: Kot...【详细内容】
2022-09-27  Tags: Springboot  点击:(21)  评论:(0)  加入收藏
一、下载MinIo的地址https://min.io/download#/windows二、如何进行启动 绝对路径\minio.exe server F:\Data --console-address ":9001" 访问页面http://192.168.1.100:90...【详细内容】
2022-09-26  Tags: Springboot  点击:(23)  评论:(0)  加入收藏
姿势1:ThreadLocal+TaskDecorator用户工具类/** *使用ThreadLocal存储共享的数据变量,如登录的用户信息 */public class UserUtils { private static final ThreadLocal<...【详细内容】
2022-09-16  Tags: Springboot  点击:(46)  评论:(0)  加入收藏
添加依赖 org.springframework.boot spring-boot-starter-logging 在yml配置文件中添加配置应用配置文件logging: config: classpath: logback.xml 配置logback.xml文件信...【详细内容】
2022-09-16  Tags: Springboot  点击:(51)  评论:(0)  加入收藏
Spring官方已不推荐使用Autowired字段/属性注入bean,,一些大公司的新项目也明令禁止使用了。1. 说明最近公司升级框架,由原来的spring framerwork 3.0升级到5.0,然后写代码的时...【详细内容】
2022-09-16  Tags: Springboot  点击:(44)  评论:(0)  加入收藏
最近在开发一个新项目,用的框架(中间件)比较多,所以最近的文章,都会以优雅的实战为主,也可以是框架(中间件)的简单DEMO。今天给大家带来EhCache在SpringBoot框架下使用实战。简介EhC...【详细内容】
2022-09-16  Tags: Springboot  点击:(53)  评论:(0)  加入收藏
前言 对于一个web项目来说,日志框架是必不可少的,日志的记录可以帮助我们在开发以及维护过程中快速的定位错误。相信很多人听说过slf4j,log4j,logback,JDK Logging等跟日志框...【详细内容】
2022-09-13  Tags: Springboot  点击:(23)  评论:(0)  加入收藏
▌简易百科推荐
简介在项目中,存在传递超大 json 数据的场景。直接传输超大 json 数据的话,有以下两个弊端 占用网络带宽,而有些云产品就是按照带宽来计费的,间接浪费了钱 传输数据大导致网络...【详细内容】
2022-10-10    网易号  Tags:Springboot   点击:(0)  评论:(0)  加入收藏
简介Tokio 是 Rust 世界里最著名的异步执行框架,该框架包罗了几乎所有异步执行的接口,包括但不限于文件、网络和文件系统管理。在这些方便使用的高层接口之下则是一些“基石...【详细内容】
2022-10-07  达坦科技DateLord  今日头条  Tags:Tokio   点击:(5)  评论:(0)  加入收藏
/ 前言 /我收回标题上的话,从0手撸一个框架一点也不轻松,需要考虑的地方比较多,一些实现和细节值得商榷,是一个比较大的挑战,有不足的地方欢迎大佬们提供意见/ 依赖任务加载 /平...【详细内容】
2022-10-07  Meta多元宇宙  今日头条  Tags:框架   点击:(6)  评论:(0)  加入收藏
摘要:本文介绍了Sermant Agent的接入原理和如何使用Sermant Agent无修改接入CSE。 本文分享自华为云社区《【技术干货】Spring Cloud应用零代码修改接入华为云微服务引擎CSE-...【详细内容】
2022-10-06  华为云开发者联盟  今日头条  Tags:Spring Cloud   点击:(10)  评论:(0)  加入收藏
此列表来自于State of JS的报告,该报告是对JavaScript社区开发人员的年度综合调查,旨在分享他们对库的使用和满意度的看法,以及围绕工具和社区内的概念和意见,几周前发布的 2021...【详细内容】
2022-10-06  慧都科技  今日头条  Tags:   点击:(15)  评论:(0)  加入收藏
Web 框架的本质及自定义 Web 框架我们可以这样理解:所有的 Web 应用本质上就是一个 socket 服务端,而用户的浏览器就是一个 socket 客户端,基于请求做出响应。客户都先请求,服务...【详细内容】
2022-10-06  VT漫步  今日头条  Tags:框架   点击:(12)  评论:(0)  加入收藏
前言最近自己用Spring Cloud Alibaba做了一个微服务架构的项目,部署的时候遇到了难题:内存不够。目前该项目有7个微服务,因为我只有一台阿里云的服务器(2C 4G),所以我只能把所有...【详细内容】
2022-10-06  老诚不bug  今日头条  Tags:SpringBoot   点击:(9)  评论:(0)  加入收藏
一、IO模型 阻塞式IO模型 非阻塞式IO模型 IO复用 信号驱动式IO 异步IO Linux IO流程 2. 各个IO模型的比较 NIO的优势 事件驱动模型 避免多线程 单线程处理多任务 非阻塞,IO...【详细内容】
2022-10-02  青杠山上  今日头条  Tags:netty   点击:(8)  评论:(0)  加入收藏
每日分享最新,最流行的软件开发知识与最新行业趋势,希望大家能够一键三连,多多支持,跪求关注,点赞,留言。在这篇文章中了解一些可供您使用的最佳 Python Web 框架,您可以考虑将它们...【详细内容】
2022-09-29  qaseven   网易号  Tags:框架   点击:(56)  评论:(0)  加入收藏
关于NettyNetty 是一个利用 Java 的高级网络的能力,隐藏其背后的复杂性而提供一个易于使用的 API 的客户端/服务器框架。MAVEN依赖 <dependencies> <!-- https://mvnrepos...【详细内容】
2022-09-27  java小悠    Tags:SpringBoot   点击:(19)  评论:(0)  加入收藏
站内最新
站内热门
站内头条