教えてHauoo!　σ（￣▽￣；）はぅのぶ.log: syslog

ラベル syslog の投稿を表示しています。すべての投稿を表示

2020年9月28日月曜日

syslog フォーマット syslogヘッダー削除 template

syslogのログの最初の timestamp と hostnameいらないんですけど

元ログ

Jan 21 04:32:43 localhost squid[26560]: 1453379563.668

赤字の箇所、これいらない。

■syslogd の場合

/etc/syslog.conf　の修正

(誰か教えて。)

syslog　サービスのリスタート

/etc/rc.d/init.d/syslog restart

■rsyslogの場合

/etc/rsyslog.conf

templateルールを作る、このままコピペ

$template NAME,"<%PRI%>%syslogtag:1:32%%msg:::sp-if-no-1st-sp%%msg%"

syslogの送信設定に";NAME"を追加する

local4.Info @xxx.xxx.xxx.xxx;NAME

rsyslogのサービスの再起動

service rsyslog restart

■注意

/etc/syslog.conf　の修正
syslog.confの中に
*.info があるから /var/log/messages　にも書き込まれ。
ログ量がダブルになってしまい溢れてしまう。

# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none /var/log/messages

なので、上の例でいくと ";local4.none"を追加させてあげると良い

*.info;mail.none;authpriv.none;cron.none;local4.none /var/log/messages

local4 は、/var/log/messages に書き込まないよ。

■Syslog-ngの場合

template t_DESTSERVER {template("<${PRI}>$PROGRAM[$PID]: $MSG\n"); template_escape(no);};
filter f_DESTSERVER { facility(local3) and level(info); };
destination d_DESTSERVER {udp("DESTSERVERのIPアドレス" port(514) template(t_DESTSERVER)); };
log {source(s_sys);filter(f_DESTSERVER);destination(d_DESTSERVER);};

2016年4月13日水曜日

drop-last-lf

https://access.redhat.com/documentation/ja-JP/Red_Hat_Enterprise_Linux/7/html/System_Administrators_Guide/s1-basic_configuration_of_rsyslog.html

2016年1月22日金曜日

squid ログ syslog 出力他のサーバ -その2 syslogの設定

今回の環境&便利コマンド

# syslogd -v
syslogd 1.4.1

/etc/rc.d/init.d/syslog restart

■syslog側の設定

/etc/syslog.conf　の修正

最終行に追加
# 構文 *.*<space/tab>@<server_name>
*.* @xxx.xxx.xxx.xxx
local4.Info @xxx.xxx.xxx.xxx #こっちで良いかも知れないちょっと調べてみて Facility　/ Severity

syslog　サービスのリスタート
/etc/rc.d/init.d/syslog restart

■syslogのログの最初の timestamp と hostnameいらない(検証中)

/etc/syslog.conf　の修正

Jan 21 04:32:43 localhost squid[26560]: 1453379563.668

templateルールを作る、このままコピペ
$template NAME,"<%PRI%>%syslogtag:1:32%%msg:::sp-if-no-1st-sp%%msg%"
syslogの送信設定に";NAME"を追加する
local4.Info @xxx.xxx.xxx.xxx;NAME

syslog　サービスのリスタート
/etc/rc.d/init.d/syslog restart

変わってない...
これは、rsyslogのやり方 orz
Jan 21 05:08:46 localhost squid[841]: 1453381726.094

■注意

/etc/syslog.conf　の修正

syslog.confの中に
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none /var/log/messages

*.info があるから /var/log/messages　にも書き込まれちゃう。ログ量W
なので";local4.none"を追加させてあげると良い

*.info;mail.none;authpriv.none;cron.none;local4.none /var/log/messages

2016年1月21日木曜日

squid ログ syslog 出力他のサーバ -その1 squidの設定(もっとURLの情報を出力したい)　strip_query_terms QueryString

■もっとURLの情報を出力したい

?以降が取れていない。表示されない (QueryString と呼ぶらしい。)
/etc/squid/squid.conf　の修正

strip_query_terms を offにする、デフォルトon

strip_query_terms off
(squid 3.xからは config上にstrip_query_termsの記述が無くdefaultで "strip_query_terms on" なので "strip_query_terms off" を明示的に追加する)

squidのリロード(confの再読み込み)
/etc/init.d/squid reload

説明
http://squid.robata.org/Reference/squid3.4.0.3/strip_query_terms.html
デフォルトでは、Squidはロギング(logging)する前に、リクエストされたURLからクエリ用語を取り除きます。
これは、ユーザーのプライバシーを保護し、ログサイズを削減します。

http://www.squid-cache.org/Versions/v2/2.6/cfgman/strip_query_terms.html

squidのログ
1453461900.778 425 127.0.0.1 TCP_MISS/200 9257 GET "http://search.yahoo.co.jp/search?p=gppppppppppppppppppppppp" - DIRECT/124.83.241.252 text/html [User-Agent: Wget/1.11.4 Red Hat modified\r\nAccept: */*\r\nHost: search.yahoo.co.jp\r\n] [HTTP/1.0 200 OK\r\nServer: ATS\r\nDate: Fri, 22 Jan 2016 11:25:04 GMT\r\nContent-Type: text/html; charset=UTF-8\r\nP3P: policyref="http://privacy.yahoo.co.jp/w3c/p3p_jp.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"\r\nCache-Control: private\r\nVary: Accept-Encoding\r\nAge: 0\r\nConnection: close\r\n\r]

squid ログ syslog 出力他のサーバ -その1 squidの設定

今回の環境&便利コマンド
# squid -v
Squid Cache: Version 2.6.STABLE21

squidの構文の確認
squid -k parse

テストURL
http://search.yahoo.co.jp/search?p=gppppppppppppppppppppppp

■普通の状態のsquidのログ

1453461548.114 854 127.0.0.1 TCP_MISS/200 9257 GET http://search.yahoo.co.jp/search? - DIRECT/124.83.241.187 text/html
1453461574.865 395 127.0.0.1 TCP_MISS/200 9257 GET http://search.yahoo.co.jp/search? - DIRECT/124.83.241.187 text/html

■logformatの成型

/etc/squid/squid.conf　の修正

logformatの追加

## Native log file format Without Header:
logformat squid %ts.%03tu %6tr %>a %Ss/%03>Hs %<st %rm %ru %un %Sh/%<A %mt

squidのログ
1453941569.392 400 127.0.0.1 TCP_MISS/200 9156 GET http://search.yahoo.co.jp/search? - DIRECT/182.22.11.60 text/html

※squid 2.x系　3.x系デフォルト

## Native log file format With Header:
logformat squid %ts.%03tu %6tr %>a %Ss/%03>Hs %<st %rm %ru %un %Sh/%<A %mt [%>h] [%<h]

squidのログ
1453461973.237 426 127.0.0.1 TCP_MISS/200 9257 GET http://search.yahoo.co.jp/search? - DIRECT/124.83.241.187 text/html [User-Agent: Wget/1.11.4 Red Hat modified\r\nAccept: */*\r\nHost: search.yahoo.co.jp\r\n] [HTTP/1.0 200 OK\r\nServer: ATS\r\nDate: Fri, 22 Jan 2016 11:26:17 GMT\r\nContent-Type: text/html; charset=UTF-8\r\nP3P: policyref="http://privacy.yahoo.co.jp/w3c/p3p_jp.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"\r\nCache-Control: private\r\nVary: Accept-Encoding\r\nAge: 1\r\nConnection: close\r\n\r]

おまけ検証　- Full URLを取るために、%ru に" "は必要か

Pattern#1　%ru なし
logformat squid %ts.%03tu %6tr %>a %Ss/%03>Hs %<st %rm %ru %un %Sh/%<A %mt [%>h] [%<h]

squidのログ
1453896839.759 1257 127.0.0.1 TCP_MISS/200 9157 GET http://search.yahoo.co.jp/search?p=gppppppppppppppppppppppp - DIRECT/182.22.11.123 text/html [User-Agent: Wget/1.11.4 Red Hat modified\r\nAccept: */*\r\nHost: search.yahoo.co.jp\r\n] [HTTP/1.0 200 OK\r\nServer: ATS\r\nDate: Wed, 27 Jan 2016 12:13:59 GMT\r\nContent-Type: text/html; charset=UTF-8\r\nP3P: policyref="http://privacy.yahoo.co.jp/w3c/p3p_jp.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"\r\nCache-Control: private\r\nVary: Accept-Encoding\r\nAge: 1\r\nConnection: close\r\n\r]

Pattern#2　"%ru" あり
logformat squid %ts.%03tu %6tr %>a %Ss/%03>Hs %<st %rm "%ru" %un %Sh/%<A %mt [%>h] [%<h]

squidのログ
1453896953.718 496 127.0.0.1 TCP_MISS/200 9158 GET "http://search.yahoo.co.jp/search?p=gppppppppppppppppppppppp" - DIRECT/182.22.11.124 text/html [User-Agent: Wget/1.11.4 Red Hat modified\r\nAccept: */*\r\nHost: search.yahoo.co.jp\r\n] [HTTP/1.0 200 OK\r\nServer: ATS\r\nDate: Wed, 27 Jan 2016 12:15:53 GMT\r\nContent-Type: text/html; charset=UTF-8\r\nP3P: policyref="http://privacy.yahoo.co.jp/w3c/p3p_jp.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"\r\nCache-Control: private\r\nVary: Accept-Encoding\r\nAge: 0\r\nConnection: close\r\n\r]

[結果]必要ないと思われる

■squid のログをsyslogに出力する(v2.6 以下)

/etc/squid/squid.conf　の修正

access_log /var/log/squid/access.log squid
#以下の追加
access_log syslog squid

squidのリロード(confの再読み込み)
/etc/init.d/squid reload

2016年1月20日水曜日

squidのログファイル形式をapacheの形式へ変更する

■squidのログファイル形式をapacheの形式へ変更する

/etc/squid/squid.conf　の修正

----------------------------------
#Default:
# emulate_httpd_log off
emulate_httpd_log on
----------------------------------

/etc/init.d/squid restart
# restartが必要です

http://www.turbolinux.com/support/document/knowledge/550.html

サンプルログ

emulate_httpd_log off

1453897970.995 491 127.0.0.1 TCP_MISS/200 9157 GET http://search.yahoo.co.jp/search?p=gppppppppppppppppppppppp - DIRECT/182.22.11.59 text/html

emulate_httpd_log on

logformatの設定も必要です。

Pattern#1
## Httpd log file format With Header:
logformat squid %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st %Ss:%Sh [%>h] [%<h]

127.0.0.1 - - [27/Jan/2016:04:42:38 -0800] "GET http://search.yahoo.co.jp/search?p=gppppppppppppppppppppppp HTTP/1.0" 200 9162 TCP_MISS:DIRECT [User-Agent: Wget/1.11.4 Red Hat modified\r\nAccept: */*\r\nHost: search.yahoo.co.jp\r\n] [HTTP/1.0 200 OK\r\nServer: ATS\r\nDate: Wed, 27 Jan 2016 12:42:38 GMT\r\nContent-Type: text/html; charset=UTF-8\r\nP3P: policyref="http://privacy.yahoo.co.jp/w3c/p3p_jp.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"\r\nCache-Control: private\r\nVary: Accept-Encoding\r\nAge: 0\r\nConnection: close\r\n\r]

Pattern#2
logformat squid %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh

127.0.0.1 - - [27/Jan/2016:04:48:06 -0800] "GET http://search.yahoo.co.jp/search?p=gppppppppppppppppppppppp HTTP/1.0" 200 9157 "-" "Wget/1.11.4 Red Hat modified" TCP_MISS:DIRECT

Pattern#3
logformat squid %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st %Ss:%Sh

127.0.0.1 - - [27/Jan/2016:04:51:03 -0800] "GET http://search.yahoo.co.jp/search?p=gppppppppppppppppppppppp HTTP/1.0" 200 9158 TCP_MISS:DIRECT

emulate_httpd_log on/off しなくてもlogformat変更すればいけるのだが?

んー何度か試したが、logformatの変更だけでよい気がしてきた。

ただ単に emulate_httpd_log on にしても変わらない。

どんな意味があるんだろ
# TAG: emulate_httpd_log       on|off
#       The Cache can emulate the log file format which many 'httpd'
#       programs use. To disable/enable this emulation, set
#       emulate_httpd_log to 'off' or 'on'. The default
#       is to use the native log format since it includes useful
#       information Squid-specific log analyzers use.
#
#Default:
# emulate_httpd_log off
# emulate_httpd_log on

登録: 投稿 (Atom)