Nginx奇技淫巧之：用户行为埋点数据采集实现

面向用户端的系统，往往会对用户行为进行数据埋点采集，如电商系统用户点击推荐商品、添加购物车、订单支付等。通过这些重要环节将用户的操作行为数据上报到后端，再由大数据对数据进行统计、分析计算，最终将结果反馈给运营和决策者，以便更好的服务用户和做好商业决策。
对企业来说，在法律允许范围内，数据应采尽采。数据越多对行为分析往往越准确。因此，接收采集数据的服务后端，必须考虑服务的高性能、高吞吐量问题。如何，快速地接收采集数据，并推送到后端大数据使用，同时保证系统服务的稳定和高效，将是一个很大的挑战。本文将向大家介绍Nginx作为采集后端服务的一种用法。希望对有相似场景的小伙伴有所帮助和启发。

数据采集流程架构

nginx作为一个高性能的服务组件，早已被各大厂反复验证。这里采用Nginx作为采集服务的后端。Nginx提供一个post埋点接口，如:http://xxxx/trackLog。接收前端埋点请求，将post请求body写入本地日志文件，直接响应返回。后端以异步方式，使用采集代理程序(如logstash)监听日志文件，并将数据推送到kafka。大数据程序(Flink)对kafka数据统计分析，形成结果数据提供给上层应用使用。

Nginx接收到前端页面的http post请求，将post中的body参数作为埋点的消息内容，以json格式按行追加到日志文件中。这个过程的关键点：如何将post body参数内容写入到一个单独的日志文件。下面是Nginx的相关配置。

Nginx post body参数配置

修改Nginx config配置文件，在配置文件中加入以下信息。

http 块添加以下配置

server 块添加以下配置

生效Nginx Config

测试post请求

日志查看

生成的日志在/usr/local/nginx/logs/track.log目录下，查看日志文件，日志文件内容已生成，验证完成。

总结

本文介绍了埋点采集服务Nginx的使用方案。包含整体流程架构，Nginx配置方式，数据验证等内容。相信看到这里的小伙伴，对采集方案有了大致的了解。当然，这个只是基础实现，在生产环境应用，还需要保证高可用等处理。如Nginx的多实例部署，日志文件按每天时间生成，logstash多文件扫描采集/数据清洗等，这些就不一一介绍了，留给小伙伴们思考。