Erinevus lehekülje "Logi" redaktsioonide vahel

Redaktsioon: 15. september 2010, kell 15:56

Sisukord

1 sissejuhatus
2 logikliendi seadistus
3 Teenuste logimine läbi syslog'i
- 3.1 Apache logimine
4 Vsftpd logimine
5 logiserveri seadistus
6 Logimine mysql'i
7 Php-syslog-ng
8 Roteerime logiserveris logisid
9 Php-Syslog
- 9.1 php-syslog-ng FreeBSD nipid
10 Lingid

sissejuhatus

Logimist korraldab serveris tavaliselt tarkvara nimega syslog, levinud on ka täiustatud logimootor nimega syslog-ng. Antud tekstis tegeleme keskse logimisega logiserverisse, mille ip'ks on näiteks 192.168.1.10. Reeglina soovitatakse seadistada arvutid logima võrgus töötavasse logiserverisse, nt turvalisuse ja logitöötluse kaalutlustel

   _____   logiserver 192.168.1.10
  |     |  :514/tcp
  |_____|  :514/udp
     |
     |
    -|---------|----------|----....---|--
               |          |           |
             __|__      __|__       __|__
            |     |    |     |     |     |
            |_____|    |_____|     |_____|
        
              smtp       www         dns

kus

logisever (syslog-ng) kuulab ühedusi oma 514/tcp ja 514/udp soketitel
smtp, www ja dns arvutid logivad oma andmed logiserverisse, kasutades nii tavalist syslogi kui syslog-ng abi

Vajalik võib logiserveri pidamine olla näiteks juhtudel kui peale serveri häkkimist või selle failisüsteemi täielikku purunemist saaks jälgida mis on toimunud. Tsentraalse statistika genereerimiseks, info kombineerimiseks jne

logikliendi seadistus

syslog.conf'is näiteks kui on rida

auth,authpriv.*                 /var/log/auth.log

siis võib tekitada kõrvale

auth,authpriv.*                 @192.168.1.10

ja rohkem polegi vaja lihtsaks logimiseks peale seda saadetakse juba auth ja authpriv teated kõik masinale 192.168.1.10

tavalise syslog'i puhul näiteks freebsd's võime /etc/syslog.conf'i kirjutada

*.notice;kern.debug;lpr.info;mail.crit          @192.168.1.10
auth.info;authpriv.info                         @192.168.1.10
mail.info                                       @192.168.1.10

ehk siis messages, auth ja mail antud näites

syslog-ng kasutamisel oleks analoogne seadistus

destination loghost { udp("192.168.1.10"); };
log { source(src); filter(f_mail); destination(loghost); };
log { source(src); filter(f_authpriv); destination(loghost); };
log { source(src); filter(f_messages); destination(loghost); };

Teenuste logimine läbi syslog'i

Osa tarkvara ei kasuta logimiseks sysloq'i, vaid eelistavad ise tegeleda logi kirjutamiega - näiteks apache. Nende tarkvaradega tuleb rohkem vaeva näha.

Selleks juhuks on syslog-ng's hulga vabu local'eid

filter f_local0 { facility(local0); };
filter f_local1 { facility(local1); };
filter f_local2 { facility(local2); };
filter f_local3 { facility(local3); };
filter f_local4 { facility(local4); };
filter f_local5 { facility(local5); };
filter f_local6 { facility(local6); };
filter f_local7 { facility(local7); };

Näide logimisest skriptis

Soovime näiteks teha või meil on juba serveris skript mille teateid soovime saada läbi syslog'i kuhugi faili ning samas kirjutada ka logiserverisse. Logifail, kuhu soovime et kirjutataks infot, on /var/log/katse

Kirjutame syslog.conf'i read

destination katse { file("/var/log/katse"); };
log { source(src); filter(f_local4); destination(katse); };

ning nüüd anname käsu testiks shell'is

/usr/bin/logger -p local4.info "this is a test message"

faili /var/log/katse peaks tekkima rida

Jun 11 19:46:50 hostname kasutaja: this is a test message

Nüüd kui soovime, et teated läheksid ka logi serverisse, on vaja syslog.conf'i lisada vaid read

destination loghost { udp("192.168.1.10"); };
log { source(src); filter(f_local4); destination(loghost); };

Serveris 192.168.1.10 kuhu logi saadetakse peame aga konfiguratsiooni selleks ,et info vastuvõetaks ja test faili lisataks kirjutama

destination test {
   file("/log/serverid/$FULLHOST/test.log"
  owner(root) group(wheel) perm(0600) dir_perm(0700) create_dirs(yes));
};

Apache logimine

Apache on üks laialdaselt levinud programmidest mille arendajad on aga mingil põhjusel syslogi justkui lausa äraunustanud. Viimati ErrorLog'i sai suunata syslog peale kuid CustomLog'i mitte nii ,et tuli seda eraldi seadistada. Parandage seda teksti kui asi praeguseks muutunud.

Programmi apache logimise läbi syslog'i saame selliselt

Avame httpd.conf'i

asendame rea

ErrorLog /var/log/httpd/error.log

reaga

ErrorLog syslog:local4

ja access log'i jaoks rida

CustomLog "|/usr/bin/logger -p local5.info" combined

syslog.conf muudatused tulevad

destination loghost { udp("192.168.1.10"); };

filter f_local5 { facility(local5); };
filter f_local4 { facility(local4); };

destination http_error { file("/var/log/httpd/error.log"); };
destination http_access { file("/var/log/httpd/access.log"); };

log { source(src); filter(f_local4); destination(loghost); };
log { source(src); filter(f_local4); destination(http_error); };
log { source(src); filter(f_local5); destination(loghost); };
log { source(src); filter(f_local5); destination(http_access); };

FreeBSD's võib tavalist syslogi ja syslog.conf'i kasutades teha ka sellise seadistuse

local5.*                                             /var/log/httpd-access.log
local4.*                                                /var/log/httpd-error.log
local5.*                                             @192.168.0.10
local4.*                                             @192.1680.10

Syslog on suhteliselt primitiivne vahend nii ,et kui kuskil on defineeritud jaotis märgiga ! syslogi lõpus siis tuleks oma read kirjutada ENNE seda muidu loetakse lisatud read blokki kuuluvaks.õ

Vsftpd logimine

vsftpd.conf

xferlog_enable=YES
syslog_enable=YES

facilityna kasutab vsftpd nimetus ftp

syslog-ng.conf täiendused

destination ftp { file("/var/log/ftp.log"); };

filter f_messages { level(debug .. emerg)
        and not facility(auth, authpriv, mail, ftp, local4, local5); };

log { source(src); filter(f_ftp); destination(ftp); destination(loghost); flags(final); };

ja syslogi serveris asuvasse syslong-ng.confi tuleb lisada täiendus

log { source(net); filter(f_ftp); destination(remote_ftp); };

filter f_messages { level(info .. emerg)
        and not facility(auth, authpriv, mail, ftp, local4, local5); }; 

destination remote_ftp {
   file("/log/serverid/$FULLHOST/ftp.log"
   owner(root) group(wheel) perm(0600) dir_perm(0700) create_dirs(yes));
};

logiserveri seadistus

Serveripoolel soovitaks kasutada rohkemate võimaluste poolest kui võimalik syslog-ng tarkvara. Antud näide on ainult syslog-ng'l toimiv

vaikimisi üritab syslog kirjutada logifailid ühte defineeritud faili kokku. Esimese tööna tuleb defineerida failid kuhu mis tüüpi logi kirjutatakse. Kasutame muutujat $FULLHOST radadepuhul. See annab meile võimaluse ,et logiserveris tekivad kaustad ja failid tekitatakse automaatselt sellise struktuuriga

/log/serverid/mail.server.ee/messages
/log/serverid/mail.server.ee/mail.log
/log/serverid/mail.server.ee/auth.log
/log/serverid/www.server.ee/messages
/log/serverid/www.server.ee/mail.log
/log/serverid/www.server.ee/auth.log
/log/serverid/www.server.ee/http_error.log
/log/serverid/www.server.ee/http_access.log

konfifail ise

source net {
        udp();
};

destination remote {
   file("/log/serverid/$FULLHOST/messages.log"
  owner(root) group(wheel) perm(0600) dir_perm(0700) create_dirs(yes));
};
 
destination remote_auth {
   file("/log/serverid/$FULLHOST/auth.log"
   owner(root) group(wheel) perm(0600) dir_perm(0700) create_dirs(yes));
};

destination remote_mail {
   file("/log/serverid/$FULLHOST/mail.log"
   owner(root) group(wheel) perm(0600) dir_perm(0700) create_dirs(yes));
};

destination remote_http_error {
   file("/log/serverid/$FULLHOST/http_error.log"
   owner(root) group(wheel) perm(0600) dir_perm(0700) create_dirs(yes));
};

destination remote_http_access {
   file("/log/serverid/$FULLHOST/http_access.log"
   owner(root) group(wheel) perm(0600) dir_perm(0700) create_dirs(yes));
};

Logimine mysql'i

Parema ülevaatlikuse saavutamiseks on parem salvestada logisid näiteks mysql serverisse ja kasutada mingit veebipõhist otsimisskripti näiteks php-sysloq'i mis annab suurema eelise kuna võimaldab otsida mitmetest serveritest teateid korraga ja otsinguid kombineerida.

Syslog-ng ise mysql tuge ei sisalda. Kuid ta lubab startida väliseid käsklusi milledeabil saab ka mysql'i võrgust tulevat logivoogu suunata.

log {
source(net);
destination(d_mysql);
};

destination d_mysql {
program("/usr/local/bin/mysql -ulog -pparool log"
template("INSERT INTO logs (host, facility, priority, level, tag, datetime, program, msg)
VALUES ( '$HOST', '$FACILITY', '$PRIORITY', '$LEVEL', '$TAG', '$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC', '$PROGRAM', '$MSG' );\n")
template-escape(yes));
};

Php-syslog-ng

Projekti kodulehe võib leida google juurest http://code.google.com/p/php-syslog-ng/

Installime php koos toega asjadele gd, mysql, xml, zlib ning cli versiooniga. ning php, seadistame vhosti ja aliased.

Hangime ja pakime lahti php-syslog-ng, stardime veebikaudu installi. Soovitatav oleks kasutada firefoxi

Pisut detailsem installi howto http://nms.gdd.net/index.php/Installation_Guide

mysql vajab kindlasti seadistust kuna muidu hakkab liigsest liiklusest tulenevalt blokeerima

Roteerime logiserveris logisid

Selleks sobib hästi logrotate ning selle seadistus

/srv/log/serverid/*/*log {
    compress
    dateext
    maxage 365
    rotate 99
    size=+1024k
     notifempty
     missingok
     create 644 root wheel
     postrotate
     find /srv/log/serverid/ -mtime +40 -ls -exec rm {} \;
     endscript
}

Mis pakib kokku kõik megabaidist suuremad logid, nimetab nad kuupäevaliselt, loob uued root kasutaja õigustesse kuuluvad failid ning kustutab varunduskataloogist üle neljakümmne päeva vanused logid.

Selle konfi alusel võib logrotate käivitada kord päevas. Skripti võib täiendada veel syslogi serveri restardiga.

Php-Syslog

Hea Google poolt toetatav mysqli salvestatud logide otsija, peamiseks probleemiks on ogsingu aeglus liiga suurte andmetabelite puhul üle mitme päeva.

php-syslog-ng FreeBSD nipid

kui graafikud ei toimi

1: An easy way to use TrueType fonts in BSD is to install XfStt which is available through ports collection at "/usr/ports/x11-servers/Xfstt/". After the installation a directory will be created for TrueType fonts at "/usr/local/lib/X11/fonts/TrueType/".

2: downloading verdana.ttf and placing it in /usr/local/lib/X11/fonts/TrueType/ I fetched my copy from "http://www.afosteo.org/Download/Fonts/"

3: The final step is to point JPgraph TTF_DIR parameter inside the jpg-config.inc configuration file to to proper location. jpg-config.inc is located at php-syslog-ng/html/includes/jpgraph

crontab

# PHP-Syslog-NG
@daily php /usr/local/www/scripts/logrotate.php >> /var/log/php-syslog-ng/php-syslog-ng.log 
@daily find /usr/local/www/php-syslog-ng/html/jpcache/ -atime 1 -exec rm -f '{}' ';' 
*/5 * * * * php /usr/local/www/php-syslog-ng/scripts/reloadcache.php >> /var/log/php-syslog-ng/reloadcache.log
*/5 * * * * php /usr/local/www/php-syslog-ng/scripts/SqueezeDB-v2.0.php >> /var/log/php-syslog-ng/squeezedb.log

Lisaks muuta failides absoluutsedrajad vastavaks kus on määratud /www/php-syslog-ng Seda tuleb teha lisaks skriptidele ka failis nimega

/usr/local/www/php-syslog-ng/scripts/lpdcache.php

Kuna mul millegipärast reloadcache.php andis php mäluhoiatusi ,et seda napib muutsin programmi vastavalt õpetusele http://code.google.com/p/php-syslog-ng/issues/detail?id=86