本快速入门在Windows环境下,演示配置Logtail采集阿里云ECS日志并投递日志到MaxCompute的基本流程。本快速入门涉及采集日志、实时查询、投递日志等日志服务基本功能,是日志服务的入门级操作指南。
日志服务(Log Service)是阿里云提供的、针对海量日志收集、存储、查询的平台化服务。您可以使用日志服务来集中收集服务集群中所有的日志,并支持实时消费,实时查询和投递到OSS、MaxCompute等其他云产品做进一步分析。
视频介绍:阿里云日志服务快速指南
使用注册成功的阿里云账号登录 日志服务产品页,单击 管理控制台。
在日志服务管理控制台,将鼠标移至页面右上角您的用户名上方,在显示的菜单中单击 AccessKey管理。创建密钥对(AccessKey),确认状态已设置为启用。
当您第一次进入日志服务管理控制台,系统会提示您创建一个项目(Project)。您也可以通过单击右上角的创建Project进行操作。
创建Project需要指定Project名称与所属区域,请根据您的实际需求进行创建。
在Project创建完成的同时,系统会提示您创建一个日志库(以下称为Logstore)。您也可以进入该Project,通过单击右上角的创建进行操作。创建Logstore需要指定如何使用这些日志。
请参考选择网络,根据您当前的网络环境和ECS所处地域选择合适的Logtail安装方式。
下载Logtail安装包到云服务器ECS。单击此处下载Windows安装包。
将安装包解压缩到当前目录,进入目录logtail_installer
。以管理员身份运行cmd,并执行安装命令.\logtail_installer.exe install cn_hangzhou
进行安装。
更多信息请参考安装Logtail(Windows系统)和 安装Logtail(Linux系统)。
在日志服务管理控制台单击目标Project进入Logstore列表。单击目标Logstore对应的数据接入向导图标。您也可以单击管理,在Logtail配置列表中创建配置。
Logtail配置流程包含以下操作步骤:选择数据类型、数据源设置、查询分析&可视化和投递 & ETL。后两个步骤为可选步骤。
日志服务支持多种云产品、自建软件和自定义数据的日志收集。本文以采集文本日志为例,详细步骤及说明请参考采集文本日志。
单击自定义数据中的文本文件。
请按照页面提示填写配置名称、日志路径和日志文件名称。文件名称可以填写完整名称,也支持通配符模式匹配。
指定日志收集模式为分隔符模式或完整正则模式时,需要您填写日志样例。日志服务支持在配置Logtail的同时,根据您选择的配置对日志样例尝试解析。如果解析失败,需要您修改分隔符配置或者正则表达式。请将需要解析的日志样例填写到对应位置。
您可以指定分隔符为制表符、竖线、空格,也可以自定义分隔符。请根据您的日志格式选择正确的分隔符,否则日志数据会解析失败。
一般情况下,请保持高级选项的默认配置。如您有其他需求,请参考采集文本日志中的高级配置相关说明。
如果您之前没有创建过机器组,请先根据页面提示创建机器组,然后将Logtail配置应用到机器组。
完成以上步骤后,日志服务即刻开始收集阿里云ECS上的日志,您可以通过控制台和API/SDK对已收集的日志进行实时消费。
如您需要对日志内容进行查询、分析或投递消费,单击下一步。
完成采集配置后,您的ECS日志正在被实时采集,如您需要对采集到的日志进行查询分析,则需要执行本步骤,在数据采集向导中配置索引。
您也可以在Logstore列表界面,单击查询进入查询界面,并单击右上角的开启索引,在右侧弹出菜单中配置索引。
您可以选择开启全文索引属性,并确认是否启用大小写敏感、确认分词符内容。
单击键名称右侧的加号新增一行,填写键名称、类型、别名、大小写敏感、分词符、选择是否开启统计。
设置查询分析之后,如果还需要配置日志投递或ETL,请单击下一步。
日志服务不仅支持对多种来源、格式的数据进行批量采集和管理维护,还支持将日志数据投递到OSS、MaxCompute等云产品进行计算分析。另外,日志服务提供流式的全托管数据加工服务,依托于函数计算服务,即ETL。通过配置一个ETL Job,日志服务将定时获取数据更新并触发函数执行:增量消费日志服务Logstore的数据,在函数里完成自定义加工任务。用于数据加工的函数可以是日志服务提供的模板或者用户自定义函数。
如您需要投递日志到OSS、MaxCompute,或者配置ETL,请单击对应的开启投递按钮。
本文档以投递MaxCompute为例。为把日志服务内的日志投递到MaxCompute,您需要首先准备好相应的MaxCompute环境。
__source__
、__time__
、__topic__
、__extract_others__
和__partition_time__
是日志服务的系统保留字段,建议使用。对于映射配置的限制详情请参见通过日志服务投递日志到MaxCompute。
填写完成后,单击确认即可开始投递。
分析在步骤3 配置数据接入向导中配置了索引,可以对采集到的日志数据进行实时查询与SQL分析。
请返回至Logstore列表,单击查询进入查询界面。输入关键字、Topic或者查询分析语句,并设定日志时间范围、单击查询/分析来查询日志,详细说明请参考查询日志。
另外,日志服务支持上下文查询、快速查询、快速分析等查询功能,还支持通过SQL语句获取多种格式的分析图表、通过仪表盘自制数据分析大盘等多种方式的可视化分析手段,更多功能请参考其他功能。
例如,查询指定时间段的PV,并以表格形式表示。