直接使用logstash web运行最简单,不用配置别的东西。logstash会占用2个端口,默认的是9200,elasticsearch会占用,其次是9292logstash的web会占用(其实就是kibana)。

注 elasticsearch是一个搜索的api,不同于logstash。即使内嵌使用也是2个程序,所以使用的是2个端口。如果想只使用1个端口的话,需要自定义安装elasticsearch,并且kibana以elasticsearch插件形势安装。

阅读全文

上一篇中我们进行了logstash1.4.0的配置练习,其中主要在input和filter上,这篇中我们将进行logstash的数据展示,侧重于output。

日志如果就以文字展示,那么今天有多少人访问,http错误了多少是可以表示出来。但是今天访问的人多数是在什么时候,http错误是什么时候就不好形象的表示了。那么我们学习一下图表。

使用Etsy’s Logster分析http response code

Etsy的有一些优秀的开源工具。其中之一就是logster,它能帮助我们根据数据产生精美的图表。

创建文件logster.conf

input {
  file { 
    path => "/tmp/*_log" 
    type => "apache-access"
  }
}

filter {
  grok { 
    type => "apache-access"
    pattern => "%{COMBINEDAPACHELOG}" 
  }
}

output {
  statsd { 
    # 统计每个事件的状态码
    increment => "apache.response.%{response}" 
    # 使用 'bytes' 来统计
    count => [ "apache.bytes", "%{bytes}" ]
  } 
}
阅读全文

集成kibana需要安装elasticsearch。

安装elasticsearch

键入以下命令下载,解压

curl -O https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.0.1.tar.gz
tar -zxvf elasticsearch-1.0.1.tar.gz

然后安装kibana,键入以下命令安装

cd elasticsearch-1.0.1/
bin/plugin -install elasticsearch/kibana

运行elasticsearch

./bin/elasticsearch

然后访问http://192.168.137.101:9200/_plugin/kibana/src/index.html

http://192.168.137.101:9200/_plugin/kibana/直接访问的页面会显示kibana版本过旧,其实不是的。可以更新该页面让其不显示。

阅读全文

logstash更新到了1.4.0版本了,结构的变化更加方便管理使用了。原来是jar包结构,现在是使用常见的bin目录结构。目前下载1.4.0真心不容易啊,花了1天时间下载完。

简单运行 (注:windows运行会错误,请使用linux测试)

首先我们下载二进制包

curl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.0.tar.gz

然后解压并且进入该目录

tar -zxvf logstash-1.4.0.tar.gz
cd logstash-1.4.0

最后运行

bin/logstash -e 'input { stdin { } } output { stdout {} }'

运行后可以在控制台输入一些字符试一试(运行需要时间,1秒左右吧),比如

hello world

2014-04-03T02:16:21.620+0000 avalon hello world # 控制台自动输出

是不是真的很简单。好,我们来结束这次运行Ctrl+c,回车一下清除日志的输出。

阅读全文

上一篇中我们进行了logstash1.4.0的简单使用,和一些核心介绍。这篇我们来详细的进行实际运用。

配置文件

虽然使用-e 来配置很有用,但是多数我们都想使用配置文件来完成。使先我们来创建1个文件叫”logstash-simple.conf”,然后录入以下内容

input { stdin { } }
output {
  elasticsearch { host => localhost }
  stdout { codec => rubydebug }
}

然后运行命令

bin/logstash -f logstash-simple.conf
阅读全文

logstash 安装

目前使用的是1.3.3版本 安装安装使用很简单。如果你安装好了java环境,使用下面命令就可以运行。

java -jar logstash-1.3.3-flatjar.jar agent -f logstash.conf – web

配置文件

logstash.conf 是配置文件

下面是一个简单的配置文件

1
2
3
4
5
6
input {
stdin { }
}
output {
elasticsearch { embedded => true }
}

input中是数据读入设置,一般有stdin(控制台)、file(文件)等等(有很多对应的文件格式读入比如log4j、redis等等)

output中主要是显示配置 一般很少配置这个采用默认就可以(需要调试信息的时候多数在这配置)

有时候读入文件不能满足logstash的格式要求,或读入的数据需要处理,这时候需要使用filter来进行修正。

阅读全文
  • 第 1 页 共 1 页

Javy Liu

author.bio


author.job


beijing