本文概述
- 你可以使用GoAccess分析哪些指标？
- 你可以在哪个操作系统上安装？
- 在Ubuntu上安装GoAccess
- 在CentOS上安装
- 在CentOS/Ubuntu上使用Source进行安装
- 验证安装
- 使用GoAccess分析Nginx和Apache
- 通过HTTP实时监控
使用开源实时日志分析器监视和分析Web服务器日志– GoAccess
Web故障排除很有趣, 如果你没有使用正确的工具, 可能会令人沮丧。
如果你正在支持繁忙的网站, 那么通常需要分析和监视Web服务器日志以进行性能和容量规划。这对于Web工程师至关重要。
可以手动检查较小的日志大小是可以的, 但是如果文件较大, 那么遍历数百万行以找到指标并不是一件有趣的事情。
因此, 你需要使用工具来简化管理员的工作并提高工作效率。
GoAccess是一种轻量级的开源日志分析器, 它支持多种日志格式, 并且可以与以下任何一种一起使用。
- Nginx的
- Apache HTTP
- AWS ELB, S3, CloudFront
- 谷歌云存储
你可以使用GoAccess分析哪些指标？
你几乎在日志中捕获的所有内容。给你一个想法：
- 需要时间来处理请求
- 访客IP, DNS, 主机
- 访客的浏览器和操作系统详细信息
- 404未找到详细信息
- 最高要求/访客
- 带宽
- 静态文件
- 地理位置
- 状态码
- 和更多..
寻找要监控你站点的这些指标吗？
好！
你可以在哪个操作系统上安装？
GoAccess只有一个依赖项-ncurses。如果可以安装, 则可以在任何操作系统上使用它。
可在分发包中用于：
- 的Ubuntu
- Debian
- 软呢帽
- CentOS的
- FreeBSD/OpenBSD
- 松弛软件
- Arch Linux
- Gentoo
- MacOS的
- Windows通过Cygwin
但是, 你也可以从源代码构建或与Docker一起使用。
如果你是Docker的新手, 我建议你学习此Docker Mastery课程。
在Ubuntu上安装GoAccess
- 以root特权登录到Ubuntu服务器
- 使用apt-get如下安装
apt-get install goaccess简单。
在CentOS上安装
登录服务器并执行yumcommand
yum install goaccess在CentOS/Ubuntu上使用Source进行安装
喜欢从源头编译吗？
步骤如下。
- 如果使用CentOS, 请安装以下依赖项
yum install gcc ncurses-devel glib2-devel geoip-devel tokyocabinet-devel- 如果使用Ubuntu
apt-get install libncursesw5-dev libgeoip-dev make- 使用wget下载最新软件包
wget http://tar.goaccess.io/goaccess-1.2.tar.gz- 解压缩下载的文件
gunzip –c goaccess-1.2.tar.gz | tar xvf –- 转到新创建的文件夹, 该文件夹是在提取后获得的
cd goaccess-1.2- 用下面的命令编译
./configure --enable-geoip=legacy --enable-utf8
make
make install做得好, 你已经安装了GoAccess, 并且已全部设置好以分析日志。
验证安装
安装完成后, 只需在命令提示符下执行goaccess, 它就会打印出如下用法。
[[email protected] goaccess-1.2]# goaccess
GoAccess - 1.2
Usage: goaccess [filename] [ options ... ] [-c][-M][-H][-q][-d][...]
The following options can also be supplied to the command:
Log & Date Format Options
--date-format=<dateformat> - Specify log date format. e.g., %d/%b/%Y
--log-format=<logformat> - Specify log format. Inner quotes need to be
escaped, or use single quotes.
--time-format=<timeformat> - Specify log time format. e.g., %H:%M:%S
User Interface Options
-c --config-dialog - Prompt log/date/time configuration window.
-i --hl-header - Color highlight active panel.
-m --with-mouse - Enable mouse support on main dashboard.
--color=<fg:bg[attrs, PANEL]> - Specify custom colors. See manpage for more
details and options.
--color-scheme=<1|2|3> - Schemes: 1 => Grey, 2 => Green, 3 => Monokai.
--html-custom-css=<path.css> - Specify a custom CSS file in the HTML report.
--html-custom-js=<path.js> - Specify a custom JS file in the HTML report.
--html-prefs=<json_obj> - Set default HTML report preferences.
--html-report-title=<title> - Set HTML report page title and header.
--json-pretty-print - Format JSON output w/ tabs & newlines.
--max-items - Maximum number of items to show per panel.
See man page for limits.
--no-color - Disable colored output.
--no-column-names - Don't write column names in term output.
--no-csv-summary - Disable summary metrics on the CSV output.
--no-progress - Disable progress metrics.
--no-tab-scroll - Disable scrolling through panels on TAB.
--no-html-last-updated - Hide HTML last updated field.
Server Options
--addr=<addr> - Specify IP address to bind server to.
--daemonize - Run as daemon (if --real-time-html enabled).
--fifo-in=<path> - Path to read named pipe (FIFO).
--fifo-out=<path> - Path to write named pipe (FIFO).
--origin=<addr> - Ensure clients send the specified origin header
upon the WebSocket handshake.
--port=<port> - Specify the port to use.
--real-time-html - Enable real-time HTML output.
--ssl-cert=<cert.crt> - Path to TLS/SSL certificate.
--ssl-key=<priv.key> - Path to TLS/SSL private key.
--ws-url=<url> - URL to which the WebSocket server responds.
File Options
- - The log file to parse is read from stdin.
-f --log-file=<filename> - Path to input log file.
-l --debug-file=<filename> - Send all debug messages to the specified
file.
-p --config-file=<filename> - Custom configuration file.
--invalid-requests=<filename> - Log invalid requests to the specified file.
--no-global-config - Don't load global configuration file.
Parse Options
-a --agent-list - Enable a list of user-agents by host.
-d --with-output-resolver - Enable IP resolver on HTML|JSON output.
-e --exclude-ip=<IP> - Exclude one or multiple IPv4/6. Allows IP
ranges e.g. 192.168.0.1-192.168.0.10
-H --http-protocol=<yes|no> - Set/unset HTTP request protocol if found.
-M --http-method=<yes|no> - Set/unser HTTP request method if found.
-o --output=file.html|json|csv - Output either an HTML, JSON or a CSV file.
-q --no-query-string - Ignore request's query string. Removing the
query string can greatly decrease memory
consumption.
-r --no-term-resolver - Disable IP resolver on terminal output.
--444-as-404 - Treat non-standard status code 444 as 404.
--4xx-to-unique-count - Add 4xx client errors to the unique visitors
count.
--all-static-files - Include static files with a query string.
--crawlers-only - Parse and display only crawlers.
--date-spec=<date|hr> - Date specificity. Possible values: `date`
(default), or `hr`.
--double-decode - Decode double-encoded values.
--enable-panel=<PANEL> - Enable parsing/displaying the given panel.
--hour-spec=<hr|min> - Hour specificity. Possible values: `hr`
(default), or `min` (tenth of a min).
--ignore-crawlers - Ignore crawlers.
--ignore-panel=<PANEL> - Ignore parsing/displaying the given panel.
--ignore-referer=<NEEDLE> - Ignore a referer from being counted. Wild cards
are allowed. i.e., *.bing.com
--ignore-status=<CODE> - Ignore parsing the given status code.
--num-tests=<number> - Number of lines to test. >= 0 (10 default)
--process-and-exit - Parse log and exit without outputting data.
--real-os - Display real OS names. e.g, Windows XP, Snow
Leopard.
--sort-panel=PANEL, METRIC, ORDER - Sort panel on initial load. For example:
--sort-panel=VISITORS, BY_HITS, ASC. See
manpage for a list of panels/fields.
--static-file=<extension> - Add static file extension. e.g.: .mp3.
Extensions are case sensitive.
GeoIP Options
-g --std-geoip - Standard GeoIP database for less memory
consumption.
--geoip-database=<path> - Specify path to GeoIP database file. i.e., GeoLiteCity.dat, GeoIPv6.dat ...
Other Options
-h --help - This help.
-V --version - Display version information and exit.
-s --storage - Display current storage method. e.g., B+
Tree, Hash.
--dcf - Display the path of the default config
file when `-p` is not used.
Examples can be found by running `man goaccess`.
For more details visit: http://goaccess.io
GoAccess Copyright (C) 2009-2016 by Gerardo Orellana
[[email protected] goaccess-1.2]#使用GoAccess分析Nginx和Apache
分析access.log的最快方法之一是使用-fparameter。
例如：
goaccess -f access.log上面, 我指示打开文件access.log。这将向你显示整个仪表板和以下15个部分。
- 每天的不重复访客
- 要求的档案
- 静态请求(字体, 图像, pdf等)
- 找不到(404)请求
- 访客的IP /主机详细信息
- 访客的作业系统
- 浏览器详细资料
- 时间分配
- 推荐人
- HTTP状态码
- 地理位置
如果所选文件正在实时更新, 则你会注意到指标在终端上已更新。在这里, 你可以浏览需要分析的指标。
通过HTTP实时监控
GoAccess使你可以将输出重定向到HTML文件, 你可以将其用作实时监视。当你不想每次需要验证某些指标时都登录到服务器时, 这非常方便。
goaccess /var/log/nginx/access.log -o /var/www/geekflare.com/htdocs/real-time.html --log-format=COMBINED --real-time-html上面, 我将输出重定向到htdocs下可用的real-time.html文件。由于是htdocs, 因此只要需要查看指标, 我都可以从https://geekflare.com/real-time.html访问此文件。
漂亮的仪表板！
但是, 我不建议在生产中采用这种方式。我确定你不希望有人阅读你的网络服务器日志, 并且你可能希望应用以下限制。
- 用用户名和密码保护文件
- 只允许从你的IP访问
- 使用具有自定义端口的其他URL并将其放在防火墙之后, 以便仅允许的IP /用户可以访问
GoAccess看起来是功能强大的开源日志分析器。它是轻量级且免费的, 请继续尝试。
你可能也有兴趣签出基于云的日志分析器。
