需求，日志收集的时候，时间格式是国际标准时间格式。形如yyyy-MM-dd'T'HH:mm:ss.SSS。 （2023-12-05T02:45:50.282Z）这个时区也不对，那如何将此类型的时间，进行格式化呢？
本篇文章体统一个案例，可以格式化各种类型的时间，已经调整到各个时区。
先看效果
如何做到？
这里使用了es的 pipeline 来转换数据。因为日志是beat收集的，如果使用logstash收集日志，则可以在logstash上进行修改。这里并不需要引入新的技术，已经引入更多的资源开销。实际上logstash的资源开销还是很大的。固这里使用 pipeline 的方式。
添加一个 pipeline 管道
PUT _ingest/pipeline/angus_test_pipeline
{
"description": "日期格式化示例",
"processors": [
{
# 用到管道的时间处理
"date": {
# 要转换的字段。
"field": "crawler_time",
# 转换后的字段，这里是可以将字段转到另外一个字段上，也可以转回当前字段。
"target_field": "crawler_time",
# 注意这里是输入时间的格式，可以填多个。因为是标准时间，所以指定了ISO8601。这里一定要知道自己输入的时间格式，然后配置到这里。
"formats": [
"ISO8601"
],
# 这里是输出字段的时间格式。然后会进行格式化。
"output_format": "yyyy-MM-dd HH:mm:ss",
# 如果想要调整时区，在这里修正时区。注意这是输出时间的时区。
"timezone": "Asia/Shanghai"
}
}
]
}创建索引，指定默认的管道
这里只用了最见到的配置，为了测试好演示。其它配置都是默认的。
PUT angus_temp
{
"mappings": {
"properties": {
"crawler_time": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
}
}
},
"settings": {
"index": {
"default_pipeline": "angus_test_pipeline"
}
}
}添加一条时间测试
POST angus_temp/_doc/1
{
"crawler_time":"2023-12-05T02:45:50.282Z"
}验证结果
GET angus_temp/_search