docker容器日志采集实践

日志是服务运行过程中的一个关键环节，借助日志，我们可以排查定位问题，也可以借助集中化的日志管理平台（如ELK）来做一些必要的数据统计分析。在Docker环境中，日志的采集比传统环境更为复杂，因此了解Docker日志的管理机制，及基于此熟悉日志采集的最佳实践对于开发运维人员来说也是避不开的一个知识点。那就开始吧。

Docker容器的日志管理机制

1. Docker Daemon日志

Docker Daemon在linux中本身作为systemd service启动，因此可以通过 sudo journalctl -u docker 命令来查看Daemon本身的日志。

2. Docker容器日志

通过 docker logs container_id|container_name 可以查看Docker容器的输出日志，但这里的日志只包含容器的标准输出（STDOUT）与标准错误输出（STDERR），适用于一些将日志输出到STDOUT的容器,比如Nginx，查看nginx的dockerfile可发现其是将日志文件链接到了STDOUT与STDERR来实现的，

    RUN ln -sf /dev/stdout /var/log/nginx/access.log
    && ln -sf /dev/stderr /var/log/nginx/error.log

但如果容器内部应用日志是输出到日志文件（比如Spring Boot项目或Tomcat容器，一般将日志输出到日志文件中），则无法通过 docker logs 命令查看。

docker logs 会显示历史日志，日志太多的话要等半天才能看到最新日志，同时也对Docker Daemon造成一定的压力，可使用 docker logs --tail 200 container_id来查看最新的N条或使用docker logs -f container_id（类似于tail -f）

3. Docker日志处理机制

当我们启动一个容器时，其实是作为Docker Daemon的一个子进程运行，Docker Daemon可以拿到容器里进程的标准输出与标准错误输出，然后通过Docker的Log Driver模块来处理。如下图所示

目前支持的Log Drvier包括：

• none：容器没有日志，docker logs不输出任何内容
• local：日志以自定义格式存储
• json-file：日志以json格式存储，默认的Log Driver
• syslog：将日志写入syslog。syslog守护程序必须在主机上运行
• journald：将日志写入journald。journald守护程序必须在主机上运行
• gelf：将日志写入Graylog Extended Log Format端点，如Graylog或Logstash
• fluentd：将日志写入fluentd。fluentd守护程序必须在主机上运行
• awslogs：将日志写入Amazon CloudWatch Logs
• splunk：通过HTTP Event Collector将日志写入splunk
• etwlogs：将日志作为ETW（Event Tracing for windows）事件写入。只在Windows平台可用
• gcplogs：将日志写入google Cloud Platform Logging
• logentries：将日志写入Rapid7 Logentries

使用Docker-CE版本时，docker logs命令仅适用于 local， json-file， journald 三种Log Driver。

可通过docker info来查看Docker Daemon（针对所有容器）或docker inspect来查看单个容器所使用的Log Driver

# Docker Daemon
[devuser@test-server-1 ~]$ docker  info |grep  "Logging Driver"
Logging Driver: json-file
# 单个Docker 容器
[devuser@test-server-1 ~]$ docker inspect  -f '{{.HostConfig.LogConfig.Type}}'  76f82aa32468
json-file

修改Docker Daemon使用的Log Driver可通过修改配置文件 /etc/docker/daemon.json 进行，重启Docker后该配置对该Docker Daemon管理的所有容器生效， 如

{
    "log-driver": "local",
    "log-opts": {
        "max-size": "10m",
        "max-file": 3
    }
}

设置单个容器的Log Driver则可以在容器运行时通过参数指定，如

[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver local  --log-opt max-size=10m  --log-opt max-file=3  --restart=always nginx
63155291e724276d6154a26958b0e523a003958b1cdf7df9f1f0903bfc989b99

[root@tool-server ~]# tail -f /var/lib/docker/containers/63155291e724276d6154a26958b0e523a003958b1cdf7df9f1f0903bfc989b99/local-logs/container.log
stdout192.168.40.160 - - [02/Apr/2020:06:05:56 +0000] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"ܻ 
stdou192.168.40.160 - - [02/Apr/2020:06:05:56 +0000] "GET /favicon.ico HTTP/1.1" 404 555 "http://192.168.40.110/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"

以下对常用的几种Log Driver进行详细介绍

1. local

local Log Driver会将容器的STDOUT/STDERR输出写到宿主机的磁盘。前面示例了将Docker Daemon或单个容器的Log Driver设置为local，可以看到local的日志保存路径为
/var/lib/docker/containers/{container_id}/local-logs/container.log

local Log Driver支持的配置属性如下

配置属性描述max-size单个日志文件的最大大小，默认为20m（单位可为k,m,g）max-file最多存在多少个日志文件，文件数超过该值则会删除最旧的文件，默认为5compress是否对切割文件进行压缩，默认为true

2. json-file

json-file Log Driver是Docker默认启用的Driver，将容器的STDOUT/STDERR输出以json的格式写到宿主机的磁盘，日志文件路径为
/var/lib/docker/containers/{container_id}/{container_id}-json.log

格式如下，包含三个字段： log, stream, time。

[root@tool-server ~]# tail -f /var/lib/docker/containers/2cef9daeac7b009c636ed2b1a7ad8fe3342bc0d5dcd55e69d7a45a586d7abc47/2cef9daeac7b009c636ed2b1a7ad8fe3342bc0d5dcd55e69d7a45a586d7abc47-json.log
{"log":"2020-03-31T10:27:30.639+0000 I  SHARDING [conn4] Marking collection yapi.project as collection version: \u003cunsharded\u003en","stream":"stdout","time":"2020-03-31T10:27:30.639749587Z"}
{"log":"2020-03-31T10:27:30.756+0000 I  SHARDING [conn2] Marking collection yapi.log as collection version: \u003cunsharded\u003en","stream":"stdout","time":"2020-03-31T10:27:30.756744876Z"}

json-file将日志的每一行封装到一个json串中，因此像JAVA的异常栈日志将会被拆分为多条json，在导入到ELK日志管理系统中时需要做合并处理。

json-file Log Driver支持的配置属性如下

配置属性描述max-size单个日志文件的最大大小，单位可为k,m,g。默认-1，表示无限制max-file最多存在多少个日志文件，文件数超过该值则会删除最旧的文件，默认为1labels在启动Docker容器时以逗号分隔的与日志相关的标签列表env在启动Docker容器时以逗号分隔的与日志相关的环境变量列表env-regex类似于env，用于匹配与日志相关的环境变量的正则表达式compress是否对切割文件进行压缩，默认为disabled

3. journald

journald Log Driver将容器的STDOUT/STDERR发送到systemd journal，与local，json-file一样可以使用 docker logs 来查看。也可以使用 journalctl命令来查看，如

[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver journald  --log-opt labels=profile  --log-opt env=ONLINE --label profile=dev --env "ONLINE=false"  --restart=always nginx
2011dc967d7e068b14d974bdc083d072fd09498a7de74984d482897d1b5c4200

[root@tool-server ~]# journalctl -f CONTAINER_NAME=nginx
-- Logs begin at Tue 2020-03-31 18:24:36 CST. --

Apr 02 18:20:05 tool-server 2011dc967d7e[3655]: 192.168.40.160 - - [02/Apr/2020:10:20:05 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"

journalctl的命令形式

journalctl CONTAINER_NAME=nginx # 输出指定容器的日志
journalctl -b CONTAINER_NAME=nginx # 输出从上次启动以来的所有日志
journalctl -o json CONTAINER_NAME=nginx # 以json格式显示日志，包含了label，env中指定的属性值
journalctl -f CONTAINER_NAME=nginx  # 类似于tail -f

journald Log Driver支持的配置属性如下

配置属性描述tag指定要在日志中设置CONTAINER_TAG与SYSLOG_IDENTIFIER值的模板labels定义一个标签列表，可在后面通过 --label 设置标签的值，该标签值会包含在日志体中env定义一个环境变量列表，可在后面通过 --env 指定环境变量的值，并且值会包含在日志体重env-regex与env类似，用于匹配与日志相关的环境变量的正则表达式

下图是使用 journalctl -o json CONTAINER_NAME=nginx 命令输出的完整json格式日志，其中包含了前面设置的profile标签与ONLINE环境变量。

除此之外，journald日志体中还会加上下面的数据

• CONTAINER_ID： 容器ID，12位
• CONTAINER_ID_FULL：完整的容器ID，64位
• CONTAINER_NAME：容器名称
• CONTAINER_TAG，SYSLOG_IDENTIFIER：容器的tag

具体从上图也可以看出。

4. syslog

syslog Log Driver将日志发送到syslog的服务器，在Linux中，一般使用rsyslog服务。

修改rsyslog配置，打开udp或tcp监听

[root@tool-server ~]# vim /etc/rsyslog.conf
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514

重启rsyslog

[root@tool-server ~]# systemctl restart  rsyslog

[root@tool-server ~]# netstat -ano|grep 514
udp        0      0 0.0.0.0:514             0.0.0.0:*                           off (0.00/0/0)
udp6       0      0 :::514                  :::*                                off (0.00/0/0)

以syslog Log Driver启动nginx容器

[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver syslog --log-opt syslog-address=udp://127.0.0.1:514  --restart=always nginx
989db94a01c36b7ea767bcb8db8ccc64bd558291ef7bcb364efa1352c78b8878

# 查看syslog日志
[root@tool-server ~]# tail -f /var/log/messages
Apr  2 18:58:06 localhost 989db94a01c3[3655]: 192.168.40.160 - - [02/Apr/2020:10:58:06 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"

容器日志采集实践

1. 对于使用STDOUT/STDERR输出日志的容器，比如nginx，可通过默认的json-file，从前文提到的目录下通过filebeat或logstash进行监听采集
2. 对于使用日志文件记录的容器，比如tomcat，可通过目录挂载的方式将容器日志目录挂载到宿主机目录，然后监听宿主机目录进行日志采集，比如启动时指定参数 -v /data/tomcat/logs:/usr/local/tomcat/logs。但这种方式如果同一应用的容器在一个服务器节点上启动多个时，会造成日志文件名相同产生冲突，对于这种情况，如果使用的是logback日志框架，之前的文章自定义logback日志文件的名称 提供了一种方案
3. 如果既有标准输出又有日志文件输出，可考虑第三方日志采集框架，比如阿里巴巴开源的log-pilot
4. 如果是Serverless环境，即没有具体的物理机或虚拟机，通过云容器服务部署的情况，则可以通过挂载云盘的方式，将容器日志目录挂载到云盘目录下，通过监听云盘目录进行日志采集

出于篇幅与时间关系，这里只列出几种不同场景的日志采集方案，1,2场景比较好理解，对于4一般云平台都有相关的文档可查阅，场景3后续可再整理一篇实操文来补充说明。