Kuutõrvaja - Kasutaja kaastöö [et]

Ceph

2018-03-19T10:44:35Z

Valmar:

NB! Katsetused tehtud versiooniga ceph-0.80.x "Firefly"

===Sissejuhatus===

Ceph on dünaamiliselt exabaidini laiendatav objekti, bloki, and failihoidla, mis arendatud pidades silmas tõrkekindlust. Cephi toetus on uuemates kernelites olemas.

Device Drivers
Block devices
Rados block device (RBD)
File systems
Btrfs filesystem support
Btrfs POSIX Access Control Lists
FUSE (Filesystem in Userspace) support
Network File Systems
Ceph distributed file system

Cephi esimene stable reliis (Argonaut) tuli välja aastal 2012. Hetkel on aktiivne verisoon koodnimega Firefly

ceph-0.56.x "Bobtail"
ceph-0.67.x "Cuttlefish"
ceph-0.72.x "Dumpling"
ceph-0.80.x "Firefly"

Tegemist on väga kiirelt areneva tarkvaraga. Üks näide sellest kui toores tegelikult see kõik on kasvõi see, et fstrimi tugi jõudis rbd sisse alles 2014 lõpus ilmunud kerneliga ja see on suht oluline täiendus.

===Cephi struktuur===

Et kõik ausalt ära rääkida siis Ceph koosneb kolmest põhikompnentist, millede kogumit nimetatakse RADOSiks. Seal on Object Storage Daemon (OSD), Monitor (MON) ja Meta-Data Server (MDS).
Lisaks on olemas algoritm nimega crush mis ütleb kus info peaks asuma ning rados on see mootor, mis selle töö ära teeb.

[[Pilt:Ceph Architecture1.gif]]

'''OSD''' on deemon mis tegeleb andmete hoidmise ja paigaldamisega. See deemon peab töötama igas clustri nodes, kus on salvestusseadmed (sas, sata vms kettad). Kui süsteemis pole raidi tuleb nodes käivitada iga ketta kohta oma OSD deemon (nt 4 ketast tähendab 4 deemonit). Kui kasutuses raid siis piisab ühest. Vaikimisi on ühe OSD kohta kolm nn pooli (data, metadata ja rbd).

Teine oluline komponent on '''monitor'''. Tegemist on kergekaalulise deemoniga, mis tegeleb klientide ja muude väliste tarkvaratükkidega läbiviidava suhtlusega. Samuti tegeleb ta info terviklikkuse kontrollimise jms töödega (Quorum decisions). Näiteks, kui mountida ceph failisüsteem kliendi poolelt siis tuleb see ühendada MON serveri aadressiga. Ideaalne on cephi soovituse järgi omada clustris kolme monitori.

'''Meta-data server''' on koht kuhu salvestatakse metadata. Seda deemonit on tegelikult vaja vaid Ceph failisüsteemi kasutades, RBD'd (cephi blockdevicet kasutades seda vaja ei ole). Hetkel pole clustrisse üle ühe MDS teenuse võimalik paigaldada, arendus käib. Metadata serverites on mõnedes seadistustes kasutatud SSD kettaid.

Ceph rühmitab infot kandvad objektid PGdesse (placement groupidesse) ja seob need omakorda poolidesse. Iga pooli kohta saab määrata mitme PG vahel seal objektid jagatakse, aga sellest pikemalt juba allpool. Poolide
peale tekitatakse omakorda failisüsteemid, blokkseadmed jne

[[Pilt:Poolig.png]]

Ceph on võimeline jagama ja talletama infot kolmel viisil.
#Ceph RGW, mis on Amazon S3 ja openstackiga ühilduv API. Sellele ligipääsuks on vaja paigaldada Radosgw nimeline tarkvara (tegemist fastcgi mooduliga ja tuleb paigaldada fastcgi võimelisele veebiserverile).
#Ceph RBD, mis jagab blokkseadmeid (nt virtuaalmasinatele) ja pakub snapshottimist, provisioneerimist ja pakkimist. RBD tugi on olemas Proxmox VE süsteemis ja olemas on ka QEMU-RBD http://ceph.com/docs/master/rbd/qemu-rbd/.
#CephFS, mis hajus posix ühilduv failisüsteem, seda saab mountida nii kerneli draiveri kui fuse abil ning ta vajab serverites täiendavat MDS (metadata) teenust http://ceph.com/docs/master/cephfs/kernel/

Nagu juba varem öeldud siis on vaja näiteks lihtsa ainult blockseadmeid säilitava ja jagava clustri ehitamiseks OSD ja MON deemoneid sisaldavaid servereid.

[[Pilt:Ceph-skeem.png]]

Tasub tähele panna, et monitorid ise andmeid osd-delt ei liiguta. Monitor jagab vaid map-i ja kasutajad suhtlevad edasi osd-dega otse üle avaliku (public) võrgu.

===Clustri planeerimine===

Cephi clustri koostamiseks on olemas päris arvutult erinevaid võimalusi. Kuna tegemist on väga modulaarse ja võimalusterohke tarkvaraga sõlbu kõik sellest, et mis on vajadus, milleks tahetakse seda hiljem kasutama hakata, mis on infrastruktur, palju on raha ja nodesid jne jne. Näiteks tuleks blokseadmeid jagav cephi SAN mitmeti erinev veebiprojektile vajaminevast objektilaost Mõned üldised soovitused siiski netis on õnneks olemas.

Clustriks vajalike arvutite hulgast rääkides ei ole soovitatav kasutada alla kolme serveri, paljud allikad nimetavad production clustri minimaalseks suuruseks viis serverit ning soovitavad nt kolme serveri lahendust kasutada ainult testimiseks.

Esimene küsimus - mitu OSD ja MON serverit/teenust? Kiire gogeldamisega jõuab selleni, et nt 10 monitori igas clustri "õlas" on paha. Soovitatakse kasutada keskmistel või suurtel clustritel kolme. Liiga palju monitore pidid tekitama overheadi endavahelise sünkimisega. Raidi kasutada ei soovitata, soovitatakse kettad panna JBOD formaati raidikaardi korral ja iga ketta kohta üks OSD deemon (seejuures ühe masina kohta üle kaheksa OSD ehk siis ketta ei soovitata). Sageli olid clustrinoded koostatud nii, et 2 väikest ketast opsüsteemiga, 2 SSD ketast journaliga (selleni kohe jõuan) ja kaheksa suurt ketast info jaoks.

Järgneval pildil on blokk-seadmeid jagava clustri skeem, kus kakskümmend kuus OSD masinat, mis kasutavaid kettaid ilma raidita ning omavad iga ketta kohta ühe OSD deemoni ja kolm monitor nodet.

[[Pilt:Ceph-topo.jpg]]

Iga salvestamiseks oleva terabaidi kohta soovitatakse OSDl omada üks gigabait mälu (läheb peamiselt vaja taastamisel jms operatsioonidel). Metadata serveritel 1G iga deemoni instance kohta. Väidetakse, et enamus OSD aeglusi tuleb sellest, et faile hoitakse ühel ja samal kettal.

Teine küsimus - kuidas jagada data ja journal info. Ceph lammutab nimelt kõik info enne ketastele kirjutamist kahte lehte. Esimene siis journal ja teine metadata. Vaikimisi pannakse journal info igale kettale data kõrval asuvasse eraldi olevasse kausta ja Ceph peab suutma kirjutada journali info enne seda, kui saab alustada andmete kirjutamist, mis tekitab traditsioonilistes failisüsteemides nagu EXT4 ja XFS seisaku. Btrfs failisüsteem suudab kirjutada journalit ja infot paraleelselt, mistõttu sobib paremini. Samas on hetkel btrfsi ja cephi kooskasutamine mitte soovitatav kuna väikeste failide jõudlus kipub kaduma. Btrfs kirjutab
neid nagu aru võis saada mitmest listivestlusest liiga suure blokiga.

Siinpuhul leidsin tõesti väga palju näiteid, kus kasutatakse süsteemi, et iga kuue "pöörleva" traditsioonilise kõvaketta kohta pannakse serverisse üks SSD ketas metadata jaoks. Pakuti välja selline valem

Journal number = (SSD seq write speed) / (spinning disk seq write speed)

Ehk siis SSD teeb keskmiselt ~500MB/s seq write ja tavaline ketas 110 siis tuligi suhtarv midagi 4.5 mida siis nad ümardasid veel.

Oletame, et meil on kõvaketas, mis kirjutab 100MB/s nimg me paigutame nii journali kui andmed samale kettale. Koos vaikimis writeahead seadistusega lüüakse kirjutamiskiirus viie sekundi järel kaheks.

Device: wMB/s
sdb1 - journal 50.11
sdb2 - osd_data 40.25

Btrfs kasutamine hoiab vähemalt teoreetiliselt ära selle, et info kirjutamine hakkaks ootama journali kirjutamise taga (journal kirjutatakse alati esimesena), kuid kirjutamisel jagavad nad sellest hoolimata olemasolevat ketta ribalaiust. Seetõttu võib hoida journalit ka btrfsi peal. Subjektiivsed testid näitasid, et kiirusevõit kolides btrfs peal oleval journalilt ümber eraldi SSD peal oleval journalile on kuskil 15-25% aidates ilmselt clustrist viimast pigistada aga pole ilmselgelt esmavajalik, eriti kui vaja on pigem maksimaalselt suurt mahtu ja hoida clustri hind madal. Samas oli 2014 aastal veel btrfs kasutamisel probleeme väikeste blokkide kiire kirjutamisega ja ka cephi arendajad ei soovitanud seda veel productionis rakendada.

Ceph OSDs calculate data placement with CRUSH, selleks vajab OSD vähemalt 4 tuuma. Lisades Cephi clustrisse OSD deemoni uuendatakse cluster mapi ning viiakse läbi tasakaalustamine, mille käigus osad PGd migreeritakse eksisteerivatelt OSDdelt ümber uutele tühjale osdle.

Vähemalt test lingil http://ceph.com/community/ceph-performance-part-1-disk-controller-write-throughput/ näitab, et mõistlik oleks kasutada raidikaardil JBOD (just bunch of drives) võimekust, ehk
jagada läbi raidikaardi kõik kettad ükshaaval opsüsteemile ilma raidita välja ning tekitada igale sellisele kettale oma OSD deemon. Samuti tuleks parima jõudluse saavutamiseks kasutada btrfs failisüsteemi.

Cephile ehitatud objektihoidla skeem.

[[Pilt:Ceph Architecture2.gif]]

Võrgu koostamine

Soovituslik oleks eraldada OSD deemonite omavaheline sünkronisatsioon ja infovahetus eraldi võrku/vlani.

===Cephi paigaldus Debianile ceph-deploy utiliidiga===

Cephi cluster mida ehitama hakkame näeb välja järgnev.

[[Pilt:CEPH-net.png]]

See koosneb kuuest data nodest, kolmest monitorist ja ühest kontrollmasinst.

Näites on kasutatud cephi versiooni 0.80.6.

admin masinas milleks meil on ceph1 anname järgnevad käsud

Genereerime ssh võtme
# ssh-keygen

ja kopeerime võtme kõigile nodedele

ssh-copy-id root@ceph2
ssh-copy-id root@ceph3
ssh-copy-id root@ceph4
ssh-copy-id root@ceph5
ssh-copy-id root@ceph6
ssh-copy-id root@ceph7
ssh-copy-id root@ceph8
ssh-copy-id root@ceph9

Seejärel tekitame järgneva /etchosts faili

10.40.6.117 ceph1
10.40.6.118 ceph2
10.40.6.119 ceph3
10.40.6.120 ceph4
10.40.6.121 ceph5
10.40.6.122 ceph6
10.40.6.123 ceph7
10.40.6.124 ceph8
10.40.6.125 ceph9

hosts fail ja enviroment paika kõigile

# for masin in `cat nodes.txt`; do echo -n "$masin: " && scp -r /etc/environment root@$masin:/etc/environment; done
# for masin in `cat nodes.txt`; do echo -n "$masin: " && scp -r /etc/hosts root@$masin:/etc/hosts; done

Installime ceph-deploy programmi

# wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | apt-key add -
# echo deb http://ceph.com/debian-dumpling/ $(lsb_release -sc) main | tee /etc/apt/sources.list.d/ceph.list
# apt-get update
# apt-get install ceph-deploy

cephi tarkvara tuleb järgneva käsuga paigaldada kõigile nodedele

# ceph-deploy install ceph1 ceph2 ceph3 ceph4 ceph5 ceph6 ceph7 ceph8 ceph9

Seejärel tuleb luua monitor(id) neid tekitame kolm tk

# ceph-deploy new ceph3 ceph4 ceph2
# ceph-deploy mon create-initial ceph2 ceph3 ceph4

Seejärel peaks tekkima deploy masina root kausta ceph.conf (samuti kõikide nodede /etc kauasta)

# defineerime monitorid
mon_initial_members = ceph3, ceph6, ceph2
mon_host = 10.0.0,10.0.0.22,10.0.0.11

# ilma selle reata ei ole võimalik klientidel autentimist kasutada
auth supported = cephx

# defineerime autentimise lahenduse
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true

# Võrgu seadistuseks, et OSDe liiklus oleks eraldi
cluster network = 10.7.0.0/24
public network = 10.2.0.0/24

filestore journal parallel = true

mon_clock_drift_allowed = 1

# osd spetsiifilised seadistused
[osd]
osd journal size = 2048
osd_op_threads = 4
osd_disk_threads = 4
osd mkfs options btrfs = -f
osd mkfs type = btrfs
osd mount options btrfs = noatime,nodiratime

# kliendi seadistused
[client]
rbd cache = true
rbd cache writethrough until flush = true
#admin socket = /var/run/ceph/rbd-client-$pid.asok

Kui on soov kasutada xfsi asemel btrfsi tuleb konfi täiendada. Vaikimisi tekib xfs seega tuleks näitada btrfs ette võtmega osd mkfs type = btrfs. Selleks kui meil pole tegu puhaste ketastega vaid neil oli juba varem nt btrfs olemas tuleb anda -f (force) võti osd mkfs options btrfs = "-f". Ning --overwrite-conf parameeter on ka selle tarbeks

Lisaks tekivad deploy masina root kausta failid ceph.bootstrap-mds.keyring ceph.bootstrap-osd.keyring ceph.client.admin.keyring mis olulised hiljem nt kliendil ligipääsuks clustrile

Edasi data nodede paigaldus. Neid on meil kokku viis. ceph6 ceph5 ceph7 ceph8 ceph9 on masinad mil on süsteemis neli ketast

sda - süsteem
sdb
sdc
sdd

Ja siis hakkame kettaid ja osd'sid valmistama ehk paigaldame kõigile serveritele OSD (iga ketas nõuab eraldi OSD deemonit). journal võib olla nii fail kui ka haljas blockseade. Hetkel tekitatakse igale kettale eraldi 1-10G suurune journal partitsioon.

ceph-deploy disk zap ceph7:sdb
ceph-deploy disk zap ceph7:sdc
ceph-deploy disk zap ceph7:sdd

ceph-deploy --overwrite-conf osd prepare --fs-type btrfs ceph7:sdb
ceph-deploy --overwrite-conf osd prepare --fs-type btrfs ceph7:sdc
ceph-deploy --overwrite-conf osd prepare --fs-type btrfs ceph7:sdd

ceph-deploy disk zap ceph6:sdb
ceph-deploy disk zap ceph6:sdc
ceph-deploy disk zap ceph6:sdd

ceph-deploy --overwrite-conf osd prepare --fs-type btrfs ceph6:sdb
ceph-deploy --overwrite-conf osd prepare --fs-type btrfs ceph6:sdc
ceph-deploy --overwrite-conf osd prepare --fs-type btrfs ceph6:sdd

# selleks, et ka peale booti võetaks osd külge
ceph-deploy osd activate ceph7:/dev/sdb
ceph-deploy osd activate ceph7:/dev/sdc
ceph-deploy osd activate ceph7:/dev/sdd

Ja nii kõigile nodedele

Kuidas opsüsteem teab mis kettad automaagiliselt kuhu kaustadesse mountida? Ceph osd create käsuga luuakse partitsioon mille labeliks Ceph UUID. Kui udev tuvastab boodil cephi uuid partitsiooni kutsub ta välja ceph-disk activate /dev/sdX käsu, mis moundib failisüsteemi /var/lib/ceph/osd/cluster-osd-id alla ning stardib omakorda init skripti mis paneb tööle sobiva OSD deemoni.

nullist alustamiseks, juhul kui kõik läks nässu.
ceph-deploy purge ceph1 ceph2 ceph3 ceph4 ceph5 ceph6 ceph7 ceph8 ceph9
ceph-deploy purgedata ceph1 ceph2 ceph3 ceph4 ceph5 ceph6 ceph7 ceph8 ceph9
ceph-deploy forgetkeys

PS: Purgedata teeb ka unmoundi.

Konfiguratsiooni muutmise järel tuleb see kopeerida ka kõigile monitoridele/data nodedele, selleks

# ceph-deploy --overwrite-conf config push ceph2 ceph3 ceph4 ceph5 ceph6 ceph7 ceph8 ceph9

Journali osas tundub, et 7200 RPM kiirusega ketaste ning gigase võrgu puhul on mõistlik kasutada 10Gb suurust journalit.

[osd]
osd journal size = 10000

Võimalus seadistada journal ja data erinevatesse kohtadesse. Näiteks soovides seadistada journali igas data nodes eraldi mounditud SSD kettale tuleb lisada ceph.conf faili

[osd]
osd journal = /journal/osd.$id.journal

OSD deemoni journali /var/lib alt uude (nt ssd peale) kohta tõstmine

Juba toimiva ja töötava OSD journali liigutamine nõuab rohkem samme. Esiteks tuleb OSD mille journalit hakkame liigutama seisata

# /etc/init.d/ceph.osd-$number stop

Seejärel kirjutame journali sisu kettale tühjaks

# ceph-osd -i $number --flush-journal

Seejärel muudame ceph.conf failis journali asukohta ja genereerime uue journali, mis tekib siis juba uude kohta
# ceph-osd -i $number --mkjournal

Ning stardime osd deemoni uuesti

# /etc/init.d/ceph.osd-$number start

Kui on soov tõsta journal tmpfs peale võiks seadistatud veel olla

journal dio = false

Seda on vaja kuna tmpfs ei toeta Direct I/O'd. Tasub märkida, et journali käitamine mälukettal tähendab põhimõtteliselt kaudset journali väljalülitamist. Kahjuks selleasemel, et pakkuda cluster-failisüsteemile võtit journal=disable on ehitatud sisse võimalus toppida journal tmfsile, mis põhimõtteliselt tähendab journali väljalülitamist sest journal (andmebaas mis vähendab võimalust ootamatute crashide puhul jääda katkise failisüsteemiga) asub mälukettal ning hävib esimesena.

ja nii filestore journal writeahead = true kui filestore journal parallel = true võiksid olla välja lülitatud

Kui on soov (ülaltoodud hoiatusest hoolimata) ikkagi kasutada btrfsi siis tasub silmas pidada, et 2014 oktoobri seisuga stabiilne debiani kernel seda hästi ei toeta
ja vajalik on paigaldada unstable kernel. Lisaks võib kontrollida kas journal_parallel on sisse lülitatud

# ceph --admin-daemon /var/run/ceph/ceph-osd.4.asok config show | grep paral
"filestore_journal_parallel": "false",

selle toimima panekuks konfi

filestore journal parallel = true

===Kasutamine===

Klientmasinale ei pea paigaldama kogu cephi täies mahus, pakettide paigalduseks piisab näiteks kui adminmasinas anda käsk

# ceph-deploy install ceph-client

Selleks, et klientmasinasse paigaldataks ka cephi konfiguratsioon ja ceph.client.admin.keyring tuleb anda admin-masinas käsk

# ceph-deploy admin ceph-client

Statistika vaatamiseks

# '''ceph status'''
cluster 0a588263-cc78-407c-9282-7539cc947a86
health HEALTH_WARN too few pgs per osd (12 < min 20); clock skew detected on mon.ceph3, mon.ceph4
monmap e1: 3 mons at {ceph2=10.40.6.118:6789/0,ceph3=10.40.6.119:6789/0,ceph4=10.40.6.120:6789/0}, election epoch 6, quorum 0,1,2 ceph2,ceph3,ceph4
osdmap e82: 15 osds: 15 up, 15 in
pgmap v139: 192 pgs, 3 pools, 0 bytes data, 0 objects
62608 kB used, 21319 GB / 21349 GB avail
192 active+clean

Veel saab vaadata osd deemonite statistikat

# ceph osd tree

weight peaks näitama seejuures suurust (weight 1 on tera, weight 1.8 kaks jne).

Selle muutmiseks, näiteks on osd13 ekslikult lisatud liiga väiksena. Suurendame osd.13 ketta 3T pealt 2T peale

$ ceph osd crush reweight osd.13 2

Kontrollime muudatust

$ ceph osd tree | grep osd.13
13 2 osd.13 up 1

OSD kustutamine

# ceph osd out osd.5
# ceph osd crush remove osd.5
# ceph auth del osd.5
Seejärel tuleb logida nodesse ja panna osd seisma. Lõplikult eemaldub osd cephi süsteemist käsuga
# ceph osd rm 5

Cephi OSD ketta võib andmenodes mountida ka käsitsi

mount /dev/sd<XY> /var/lib/ceph/osd/ceph-<K>/

Ja seejärel startida OSD deemoni

start ceph-osd id=<K>

Node startimisel käivitab cephi init skript ühe OSD deemoni iga kausta kohta, mis leitud /var/lib/ceph/osd alt võttes OSD id kausta nimest. Näiteks kui seal on
ceph-2 siis starditakse OSD.2

Monitori info asub kaustas

/var/lib/ceph/mon/ceph-<myid>

Cephi monitori info kustutamiseks ja uue monitori initsialiseerimiseks

# rm -rf /var/lib/ceph/mon/ceph-<myid>
# ceph-mon --mkfs -i <myid> --keyring /etc/ceph/ceph.client.admin.keyring

Konfi saab vaadata data nodede seest nt

# ceph --admin-daemon /var/run/ceph/ceph-osd.0.asok config show | grep paral
"filestore_journal_parallel": "true",

Mõningaid cephi parameetreid saab kõigis nodedes jooksvalt muuta injectargs abil, nt tõstame parandamise paraleelsust

ceph tell osd.* injectargs '--osd-max-backfills 32'

Jooksvalt sättimisest isegi tekst http://www.sebastien-han.fr/blog/2012/10/22/ceph-inject-configuration-without-restart/

====Poolid====

Esiteks poolide kohta mõned põhimõtted, kõik failisüsteemid, rbd seadmed jms peavad kuuluma pooli. Pool on selline väga oluline üksus
mis koondab enda alla andmeid sisaldavad PG-d. Igal poolil tuleb luues ära määrata ka PGde arv ning seegi mõjutab mingil (testide järgi mitte küll üliolulisel määral) pooli omadusi. Üks olulisemaid pooli omadusi on aga koopiate arv, ehk mitu tükki igast andmeühikust on clustri peale hajutatud.

Näiteks võib arhiveerimiseks mõeldud poolile panna julgelt ilmselt koopiate arvuks 2 aga näiteks veebi, andmebaaside jms jaoks võiks see arv olla 2 või vahel isegi 4. Koopiate arvu hulka ja ka PG-de hulka saab muide jooksvalt muuta seega pole probleemi ka kui hiljem seda ümber seadistada.

Iga pooli statistikat saab ka vaadata eraldi mis teeb utiliseerimise jälgimise mõnusamaks.

Poolil suuruse limiiti vaikimisi pole ehk pool võtab niipalju ruumi kui seal sees infot on. Näiteks kui paneme sinna sisse 100G jagu virtuaalmasinaid siis
storagest võtab see kolme koopia puhul ruumi 300GB jagu. Küll on aga võimalik poolile seadistada täiendavalt quota, ehk öelda palju baite või objekte võib ta maksimaalselt sisaldada.

Peale cephi paigaldamist on olemas juba kolm vaikimisi pooli, näiteks rbd nimeline. Neid saab ise juurde tekitada ning igale poolile saab seadistada

# Mitu OSDd võib rikneda, ehk mitu replikat failist hoitakse.
# Placement groups mis määrib ära koormuse ja info jaotuse. Tavaliselt 100tk OSD kohta,
# CRUSH reeglid.
# Snapshotid
# Kasutajaõigused

Olemasolevaid poole näeme käsuga

$ ceph osd lspools
1 testpool,4 ectestpool,

Tekitame uue pooli, selleks käsk

$ ceph osd pool create <my-new-pool> <pg_num>

Näiteks

$ ceph osd pool create testpool 512

Nagu näha on loomisel on vajalik seadistada ka PG ehk placement groupide arv muutujaga pg_num kuna neid automaatselt ei seadistata. NB! Tasub jälgida, et kasutusel oleks realistlik number PG'sid. Infot clustrisse kirjutades mapitakse objektid PGdeks ning need PGd mapitakse omakordad OSDdele. PGde arvu suurendamine aitab hajutada clustri koormust paremini. Aga seda numbrit ei tohi ka ülemäära suureks ajada kuna iga PG napsab õige pisut CPU jõudlust ning mälu OSD kaudu, mis seda endas hoiab. Pg numbrite kohta on selline reegel:

# Vähem kui 5 OSDs süsteemis - pg_num 128
# 5 kuni 10 OSDd pg_num 512
# 10 kuni 50 OSD'd pg_num 2096
# Rohkem kui 50 OSD korral tasub pg_num arvutada ise. Soovitatav valem on võtta iga OSD kohta sada PG'd ning jagada
saadud arv replica numbriga (osd pool default size). Ehk siis 200 OSD deemoni ja pool default size= 3 korral tuleks see arv umbkaudu 4400. (100*200)/3=333.
Saadud tulemuse juures on soovitatud ametlikul lehel veel järgnevat "The result should be rounded up to the nearest power of two". Ehk siis tulemus
võiks lõpuks olla 8192.

Tähele tuleb aga panna seda, et 8192 tuleb panna pooli PGde arvuks kui kogu cephi peal on vaid üks pool mis kasutab 100% kettast. Kui on plaan tekitada
kaks või kolm pooli, millest iga kasutab võrdselt ühe kolmandiku cephi mahust, tuleks see saadud arv jagada veel omakorda kolmega. Ehk siis PG-de arv on
terve clustri ülene. See kokkuvõtteks teeb kogu PG-de arvutamise üsna kohmakaks ja samas ka oluliseks.

PS: Katsetused näitasid, et vastupidiselt ametlikele soovitusele tundub 128 PGd ühe pooli kohta nelja nodelises ja 12 OSD sisaldavas clustris andvat täiesti rahuldava kiiruse. Rohkem PGsid kippus näiteks DD kirjutamiskiirust alla tõmbama (testitud sai samas 1M suuruste blokkidega kirjutamist). Ilmselt vajab täiendavat katsetamist.

Selleks, et vaadata palju pooli pg_num on seadistatud

# ceph osd pool get kettaimidzad pg_num
pg_num: 8

Nende seadistamiseks nt poolil rbd tuleb anda käsk

# ceph osd pool set kettaimidzad pg_num 128
# ceph osd pool set kettaimidzad pgp_num 128

Tähele tasub panna, et pg-de arvu hiljem vähendada ei saa, ainult suurendada.

Vaatame replikatsiooni taset

# ceph osd pool get kettaimidzad size
size: 3

Seadistame testimiseks pooli replikatsiooniks 2 (Set number of replicas across all nodes)

# ceph osd pool set kettaimidzad size 2
set pool 6 size to 2

Võib seadistada ka muutuja '''min_size''' juhuks kui vaja süsteemi kirjutada degraded olekus mil ei jätku replikate jaoks piisavalt resurssi.
Ehk kui süsteemis vajalikku replicate arvu tagada ei suudeta, siis kirjutamist ette ei võeta.

# ceph osd pool set kettaimidzad min_size 1

Vaatame statistikat ja poolide liiklust

# '''ceph osd pool stats'''
pool data id 0
nothing is going on

pool metadata id 1
nothing is going on

pool rbd id 2
-89/0 objects degraded (-inf%)
recovery io 167 MB/s, 41 objects/s

pool kettaimidzad id 5
nothing is going on

Kustutamine. Vaikimisi on versioonist 11 poolide kustutamine keelatud, lubamiseks tuleb lisada konfi

mon_allow_pool_delete = false

Kustutamiseks tuleb pooli nimi kirjutada kaks korda ja lisada veel täiendav kinnitus)

ceph osd pool delete rbd rbd --yes-i-really-really-mean-it

Võimalik on ka määrata kasutajaid, mis võivad kasutada ainult teatud poole.

[client.test]
key = AQA5XRZRUPvHABAABBkwuCgELluyyXSSYc5Ajw==
caps osd = “allow * pool=test, allow * pool=test2”
caps mds = “allow”
caps mon = “allow *”

Pooli ümebernimetamine on samuti võimalik

# ceph osd pool rename {current-pool-name} {new-pool-name}

NB! rados käsuga saab ka pooli teha aga pole soovitatav, see tekitab pooli mitmete piirangutega.

Proxmoxile/openstackile tuleb iga pool eraldi külge võtta. See üks pool on nt proxmoxile nagu eraldi LVMi viilakas, kuhu siis prox oskab ise rbd kettaid, lvmi viilakate lõikamise analoogsena, tekitada. FC/iSCSIle tavapärast multipathi cephi poolide külgevõtmiseks, seda pole ka otseselt vaja kuna cephi klient ei suhtle ühe kindla kontrolleri IP-ga nagu iscsil vaid kõigi monitoride ja kõigi OSDdega.

====Rbd blokkseade====

Pooli sisse luuakse omakorda nt rbd kettad. Tekitame sinna näiteks ühe 10 giga suuruse tüki

# rbd create myimage2 --size 10240 --pool kettaimidzad

Ilma --pool võtmeta tekitatakse myimage2 vaikimisi loodud rbd pooli. Suuruse võib anda ka kujul ---size 2T

Selleks, et ketas võetaks opsüsteemile külge

# rbd map myimage2 --id admin --pool kettaimidzad

Failisüsteemi loomine ja külgehaakimine

# mkfs.ext4 /dev/rbd0
# mount /dev/rbd0 /mnt

tekitatud rbd ketaste vaatamiseks (ilma pool parameetrita näidatakse vaid rbd poolis olevat infot)

# '''rbd -p kettaimidzad list'''
myimage2
myimage3

Mis kettad ühendatud?

# '''rbd showmapped'''
id pool image snap device
0 kettaimidzad myimage2 - /dev/rbd0
1 kettaimidzad myimage3 - /dev/rbd1

Kliendi poolt lahti haakimiseks

# rbd unmap /dev/rbd0

Eemaldamiseks klustrist (kui pole tegemist default pooliga tuleb -p võtmega öelda ka pool)

# rbd rm myimage2 -p kettaimidzad

Rbd boodil külgevõtmine. Bootskript on olemas ja asub /etc/init.d/rbdmap

# update-rc.d rbdmap defaults

Seejärel tuleb muuta /etc/ceph/rbdmap sisu

# RbdDevice Parameters
rbd/mysql id=admin,keyring=/etc/ceph/ceph.client.admin.keyring

Ja lõpuks muuta fstabi

/dev/rbd0 /mnt/mysql-data ext4 defaults,noatime,_netdev 0 0

Kasutatud ruumi vabastamiseks võib aegajalt käivitada fstrim käsu, selleks paistab ei pea isegi eraldi discard võtmega failisüsteemi haakima.

_netdev parameeter annab opsüsteemile teada, et rbd seadet ei tohi mountida enne kui võrk ei tööta.

http://www.sebastien-han.fr/blog/2012/11/15/make-your-rbd-fly-with-flashcache/ cache rbd blokkseadmete töö kiirendamiseks.

====Cephfs====

Suhtlus kliendi, MDS ja OSD vahel käib lihtsustatult järgnevalt

# Klient saadab Open päringu MDS serverile
# MDS vastab faili inode, faili suuruse jne info
# Klient kirjutab otse OSDle.

Cephfs vajab esiteks metadata serverit MDS, selle paigaldamiseks tuleb anda käsk

ceph-deploy mds create {host-name}[:{daemon-name}

Näiteks

# ceph-deploy mds create ceph1:mds1

Hetkel manuaalide järgi ei ole produktsioonis soovitatav kasutada rohkem kui ühte mds serverit.

Cepfsi saab mountida nii kerneli driveri abil kui üle fuse. Esimesena tuleb paigaldada paketid

# apt-get install ceph-fs-common ceph-fuse

Seejärel tekitame vajaliku pooli ja seadistame muu vajaliku

$ ceph osd pool create cephfs_data <pg_num>
$ ceph osd pool create cephfs_metadata <pg_num>

Ja loome failisüsteemi

$ ceph fs new <fs_name> <metadata> <data>

Näiteks

$ ceph fs new cephfs cephfs_metadata cephfs_data

Ligipääsuks võti

# '''cat ceph.client.admin.keyring'''
[client.admin]
key = AfasdfllAALKDKLAKFLJSALKKasfg==

Ja seejärel haagime

# mount -t ceph 192.168.0.1:6789:/ /mnt/mycephfs -o name=admin,secret=AQATSKdNGBnwLhAAnNDKnH65FmVKpXZJVasUeQ==

Monitori aadresse võib olla mitu nind need tuleb eraldada komaga, kui port pole määratud kasutatakse 6789 vaikimisi.

Või siis fuse abil mountimine:

ceph-fuse -m {ip-address-of-monitor}:6789 ~/mycephfs

Fstabi kaudu mountimiseks /etc/fstab faili kirje

192.168.200.101:6789:/ /srv ceph name=cephfs,secretfile=/etc/ceph/client.cephfs,noatime 0 2

====Kasutajad====

Tekitame kasutaja mart, kes saab kirjutada ja lugeda pooli nimega zoo

# ceph auth get-or-create client.mart mon 'allow r' osd 'allow rw pool=zoo'
[client.moodle]
key = akKAKDLKklalsdkjasdAKKlaskdjalksdjAKKK==

Saadud võtme võib salvestada faili ceph.client.mart.keyring ja kasutada cephi käskude juures parameetrina: --keyring=/etc/ceph/ceph.client.mart.keyring

Ligipääsuõiguste vaatamiseks

# ceph auth get client.mart
exported keyring for client.mart
[client.mart]
key = akKAKDLKklalsdkjasdAKKlaskdjalksdjAKKK==
caps mon = "allow r"
caps osd = "allow rw pool=zoo"

Õiguste muutmiseks

# ceph auth caps client.mart mon 'allow rw' osd 'allow rwx pool=zoo'
updated caps for client.mart

Tasub tähele panna, et seejuures kirjutatakse kõik vanad õigused üle.

Kasutaja kustutamine

# ceph auth del client.mart
updated

===Crushi peenhäälestus===

Kui Cephi klient loeb või kirjutab infot siis ühendub ta alati esimese primaarse OSDga aktiivse osdde nimekirjast. Näiteks on primaarseteks
2,3,4 siis valib client osd.2 kasutamiseks. Selleks, et klient ei üritaks ühenduda aeglaste OSD masinatega saab seadistada järgneva käsuga OSD kaalukust.

# ceph osd primary-affinity <osd-id> <weight>

Cephis saab masinaid jagada crush mapis nö rackidesse ehk masinad vaikimisi jaotatakse root harusse, iga masina külge kinnistatakse siis omakorda osd-d aga masinaid saab jagada veel omakorda gruppideks. Neid tüüpe mille alusel jagada on terve rodu

# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root

Meie ülaltoodud näites on vaikimisi kõik masinad seatud root alla ja kõik aga võimalik on teha ka selline topoloogia

root
rack1
data1
data2
data3
rack2
data4
data5
data6

ja seadistada täiendavalt crushis

ruleset-failure-domain=rack

Mis see annab? manual ütleb seda, et antud reegel kindlustab, et kaks andmeblokki pole kunagi paigutatud ühte ja samasse racki.

Ehk siis kui on osd-sid kandvad andmenoded jaotatud kogu ceph peal kahte füüsilisse racki kumbki eraldi füüsilise switchiga siis kui üks switch üles ütleb või kapil vool kaob töötab ceph teoreetiliselt ja hädapäraselt teise poolega edasi. Sest crushi loogika üritab hoida nii, et kummaski kapis on üks koopia andmetest olemas.

===Erasure Coding===

RAIDi asemel kasutatav, kiiremini taastuv ja vähem kettaruumi vajav liiasussüsteem objektandmemassiivide jaoks.

EC ei oma partial writes funktsionaalsust, seega on selle ette vaja teha writebackiga cache tier.
EC pooli peale ei saa luua RBD imaget, v.a. juhul kui see luuakse cachetud EC poolile.

Cachemine on efektiivne juhul, kui enamasti loetakse andmeid, mida just kirjutati. Kuna EC pool suudab RBD imaget kasutada ainult läbi cache, ei ole see suvaliste lugemiste-kirjutamiste tegemiseks efektiivne, kuna tekib lisa vahelüli. ECd soovitatakse Cephiga kasutada, kui chace istub SSDde peal. Sel juhul on jõudluse langus keerlevate ketaste kasutamisega võrreldes tunduvalt väiksem.

Põhimõtted

* n = k + m kus
* k = Mitmesse juppi originaalsed andmed jaotatud on.
* m = Originaalsetele andmejuppidele lisatud lisakoodid. Võib vaadelda kui andmete säilimise usaldusväärsuse taset.
* n = Protsessi läbi tekitatud juppide summa.

Taaste : Taaste toimimiseks on vaja k juppi n juppidest ja seega talub süsteem iga m jupi hävimist.

Usaldusväärsuse tase : Süsteemi talub juppide hävimist kuni m arvuni.

Kodeerimise määr (r) : r = k / n , kus r < 1

Vajaminev maht : 1 / r

Näide 1 : (3,5) Kustutuskood suvalise andmefaili kohta näeks välja järgmine:
n = 5 , k = 3 ja m = 2 ( m = n - k )

Kustutuskoodi valem: 5 = 3 + 2
Seega 2 kodeeritud juppi lisatakse 3 andmejupile et luua 5 juppi, mida hoitakse hajutatult cephi klastris. Vea ilmnemisel on originaalfaili loomiseks vaja 3 juppi 5-st. Seega antud näitel suudab süsteem taluda kahe jupi kadu.

* Kodeerimise määr (r) = 3 / 5 = 0.6 < 1
* Vajaminev maht = 1 / 0.6 = 1.6 times of original file.

Kui originaalfaili suurus on 1GB, on selle cephi klastris kustutuskoodimist kasutades hoiustamiseks (3,5) poolis vaja 1.6GB andmesalvestusmahtu.

====EC profiilid====

* k - juppide arv milleks andmed jaotatakse. Iga jupp paikneb eraldi OSDl.

* erasure-code-k=<juppide_arv>
Vaikimisi 2

* m - Lisatud koodide(juppide) arv. OSDde arv, mille kaotust võib taluda.

erasure-code-m=<lisajuppide_arv>
Vaikeväärtus 1

* plugin - Hetkel on kasutusel jerasure, aga äkki peaks mõtlema GF-complete peale üleminekule. Kuni kaks korda kiirem.

* erasure-code-plugin=<plugina_nimi>
Vaikeväärtus 1

* directory ===> The directory name from where EC plugin library will loaded from. In most of the cases this parameter is automatically added once you define plugin name .The equivalent command line parameter for this is

* erasure-code-directory=<directory_path>
Default value = /usr/lib64/ceph/erasure-code

* ruleset-failure-domain - Veakäitluse skoop. Hea sättida tasemele 'OSD', et saavutada paremad taastevõimalused.
Vaikeväärtus = host

====EC profiili loomine====

data1 ~ # ceph osd erasure-code-profile set ectest
data1 ~ # ceph osd erasure-code-profile ls
default
ectest

data1 ~ # ceph osd erasure-code-profile get ectest
jerasure-per-chunk-alignment=false
k=2
m=1
plugin=jerasure
ruleset-failure-domain=osd
ruleset-root=default
technique=reed_sol_van
w=4

====EC profiili seadistamine====

võimalik et tuleb kasutada võtit --force.

Muudame väärtuse k 4ks.

data1 ~ # ceph osd erasure-code-profile set ectest ruleset-failure-domain=osd k=4 m=2
Error EPERM: will not override erasure code profile ectest

data1 ~ # ceph osd erasure-code-profile set ectest ruleset-failure-domain=osd k=4 m=2 --force

data1 ~ # ceph osd erasure-code-profile get ectest
directory=/usr/lib64/ceph/erasure-code
k=4
m=2
plugin=jerasure
ruleset-failure-domain=osd
technique=reed_sol_van

====EC ceph pooli loomine eelnevalt seadistatud parameetritega====

Pooli loomine käib järgnevalt:

ceph osd pool create <Pooli_nimi> <pg_arv> <pg_arv> erasure <EC_profiili_nimi>
data1 ~ # ceph osd pool create ECtemppool 128 128 erasure ectest
pool 'ECtemppool' created

data1 ~ # rados lspools
data
metadata
rbd
ECtemppool

data1 ~ # ceph osd dump | grep -i erasure
pool 22 'ECtemppool' erasure size 6 min_size 2 crush_ruleset 1 object_hash rjenkins pg_num 128 pgp_num 128 last_change 2034 owner 0 flags hashpspool stripe_width 4096

====Katsetame pooli kirjutamist ja taastet====

Loome faili

data1 ~ # echo "dmskaldjska'djskladjka;sdl" > ectest.txt
data1 ~ # cat testfile
dmskaldjska'djskladjka;sdl

Vaatame, mis meie loodud poolis on. Just loodud faili seal olla ei tohiks. Liigutame selle sinna.

data1 ~ # rados -p ECtemppool ls

data1 ~ #
data1 ~ # rados -p ECtemppool put object.1 ectest.txt
data1 ~ # rados -p ECtemppool ls
object.1

Uurime pgmapi abil, kus faili jupid asuvad.

data1 ~ # ceph osd map ECtemppool object.1
osdmap e1012 pool 'ECtemppool' (2) object 'object.1' -> pg 2.f560f2ec (2.6c) -> up ([15,12,6,13,21,29], p15) acting ([15,12,6,13,21,29], p15)

k=4 ja m=2 määramise tõttu asuvad kokku kuus juppi, igaüks erineval OSDl.

Katses loodud pool suudab taastuda kahe jupi (2 OSD) hävimisest.

Katsetame taastet:

data1 ~ # ceph osd down osd.21 osd.29
marked down osd.21. marked down osd.29.
data1 ~ # ceph osd map ECtemppool object.1
osdmap e1034 pool 'ECtemppool' (2) object 'object.1' -> pg 2.f560f2ec (2.6c) -> up ([15,12,6,13,NONE,NONE], p15) acting ([15,12,6,13,NONE,NONE], p15)

data1 ~ # ceph -w
cluster 4498e6af-b33b-450a-bc54-bcac90dc69e5
health HEALTH_WARN
1 pgs peering
54 pgs stale
monmap e1: 3 mons at {mon1=10.80.0.48:6789/0,mon2=10.80.0.49:6789/0,mon3=10.80.0.50:6789/0}
election epoch 78, quorum 0,1,2 mon1,mon2,mon3
osdmap e1043: 39 osds: 37 up, 37 in
flags sortbitwise
pgmap v209823: 1152 pgs, 2 pools, 3068 GB data, 768 kobjects
9043 GB used, 70076 GB / 79120 GB avail
1096 active+clean
54 stale+active+clean
1 active+clean+scrubbing+deep
1 peering

2016-07-25 13:31:08.590040 mon.0 [INF] pgmap v209822: 1152 pgs: 54 stale+active+clean, 1 peering, 1 active+clean+scrubbing+deep, 1096 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:09.591813 mon.0 [INF] osd.29 10.80.0.54:6808/1270 boot
2016-07-25 13:31:09.609586 mon.0 [INF] osdmap e1043: 39 osds: 37 up, 37 in
2016-07-25 13:31:09.645985 mon.0 [INF] pgmap v209823: 1152 pgs: 54 stale+active+clean, 1 peering, 1 active+clean+scrubbing+deep, 1096 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:10.744494 mon.0 [INF] osdmap e1044: 39 osds: 37 up, 37 in
2016-07-25 13:31:10.787185 mon.0 [INF] pgmap v209824: 1152 pgs: 54 stale+active+clean, 1 peering, 1 active+clean+scrubbing+deep, 1096 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:07.537255 osd.29 [WRN] map e1041 wrongly marked me down
2016-07-25 13:31:11.891079 mon.0 [INF] pgmap v209825: 1152 pgs: 54 stale+active+clean, 1 peering, 1 active+clean+scrubbing+deep, 1096 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:12.941188 mon.0 [INF] pgmap v209826: 1152 pgs: 54 stale+active+clean, 1 peering, 1 active+clean+scrubbing+deep, 1096 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:13.991767 mon.0 [INF] pgmap v209827: 1152 pgs: 54 stale+active+clean, 1 peering, 1 active+clean+scrubbing+deep, 1096 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:15.103604 mon.0 [INF] pgmap v209828: 1152 pgs: 13 stale+active+clean, 1 peering, 1 active+clean+scrubbing+deep, 1137 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:12.332372 osd.21 [INF] 1.2b6 scrub starts
2016-07-25 13:31:12.996763 osd.21 [INF] 1.2b6 scrub ok
2016-07-25 13:31:16.160389 mon.0 [INF] pgmap v209829: 1152 pgs: 1 peering, 1 active+clean+scrubbing+deep, 1150 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:17.279717 mon.0 [INF] pgmap v209830: 1152 pgs: 1 active+clean+scrubbing+deep, 1151 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:24.858209 mon.0 [INF] pgmap v209831: 1152 pgs: 1 active+clean+scrubbing+deep, 1151 active+clean; 3068 GB data, 9043 GB used, 70076 GB / 79120 GB avail
2016-07-25 13:31:20.513659 osd.0 [INF] 1.348 scrub starts
2016-07-25 13:31:21.077522 osd.0 [INF] 1.348 scrub ok

===Kiirustestid===

Etteruttavalt võib öelda, et cephi puhul tundub (jällegi kohati subjektiivse hinnanguna) olevat kõige suurem kirjutusjõudlus
just suurte blokkidega kirjutades ning väikeste failide ja random mustriga on see tunduvalt madalam kui võrk ja raud lubaks.

Integreeritud cephi testimise vahend RADOS bench

# rados bench -p '''pool''' 30 write -t 16

Antud käsk toimib 30 sekundit ja kirjutab 16 lõimega. Vaikimisi objektisuurus on 4mb.

Poolist testandmete kustutamine

$ rados -p {pool_name} cleanup --prefix bench

Praktikas suudab tavaline gigabit võrk kirjutada kiirusel 100 MB/sekundis. Rbd blokkseadme kirjutamiskiirust tuleks võrrelda ühe füüsilise ketta random kirjutamisega, et oleks õiglane test. Rbd nimelt kirjutab korraga paljudele erinevatele ketastele, mitte järjest nagu nt DD füüsilisel kettal.

Konkreetse osd kiiruse testimiseks, vaikimisi kirjutab test 1GB andmeid 4MB blokkidena. Tasule täheb ka panna, et tegemist on täiesti lokaalse testiga mille juures ei mõjuta võrgukiirus.

$ '''ceph tell osd.34 bench'''
{
"bytes_written": 1073741824,
"blocksize": 4194304,
"bytes_per_sec": 32216444
}

Nodede jälgimisel tundub olevat abiks '''dstat''' nimeline utiliit

[[Pilt:Dstat.png]]

Kiirusetestides tasub meeles pidada, et 4M on tüüpiline stripe ühik. http://dachary.org/loic/ceph-doc/man/8/rbd/#striping
Ehk siis RBD hajutatakse 4M kaupa ketastele. Seega annab just see blokisuurus rdd testides kõige parema tulemuse.

===Flashcache===

Flashcashe on tehnoloogia selleks, et cacheda kirjutamisi-lugemisi kasutades kiiret SSD ketast vahelaona.

# apt-get install gcc make git-core dkms build-essential linux-headers-`uname -r` -y

(pole sada prossa kindel kas gcc ja make on vajalikud, vaja testida)

# git clone https://github.com/facebook/flashcache.git
# cd flashcache
# make
# make install

Meil on serveris kaks ketast

*/dev/rbd1 (cehphis loodud võrguketas)
*/dev/sdb (lokaalne ssd)

Laadime mooduli

# modprobe flashcache

Dmesg peaks raporteerima

[1023454.971735] flashcache: flashcache-3.1.1 initialized

Järgmisena on vaja flascache_create töövahendiga kombineerida kaks blokkseadet device mapperis. Pole vaja karta, midagi olemasoleva rbd ketta ja sela oleva infoga ei juhtu

Haagime rbd ketta lahti

# umount /home

Süntaks on käsul järgnev

*flashcache_create home_cached <võtmed> <tekitatav ketas> <ssd> <aeglane ketas>

# '''flashcache_create -p back -s 230G -b 4k backup_cached /dev/sdb /dev/rbd0'''
cachedev backup_cached, ssd_devname /dev/sdb, disk_devname /dev/rbd0 cache mode WRITE_BACK
block_size 8, md_block_size 8, cache_size 482344960
Flashcache metadata will use 1265MB of your 24154MB main memory

Võtmete selgitused

*-p: operate in writeback mode, which means that we cache both write and read requests
*-s: set the size of the cache, it should be the same as the size of your partition
*-b: set the block size to 4K
*backup_cached: flashcache seadme nimetus

haagime tekkinud seadme külge

# mount /dev/mapper/backup_cached /mnt/

Vaatame tulemust

# df -h
Filesystem Size Used Avail Use% Mounted on
...
/dev/mapper/backup_cached 32T 65G 32T 1% /mnt

Statistika vaatmiseks

# dmsetup table
backup_cached: 0 68719460352 flashcache conf:
ssd dev (/dev/sdb), disk dev (/dev/rbd0p1) cache mode(WRITE_BACK)
capacity(237542M), associativity(512), data block size(4K) metadata block size(4096b)
disk assoc(0K)
skip sequential thresh(0K)
total blocks(60810752), cached blocks(60160782), cache percent(98)
dirty blocks(46144348), dirty percent(75)
nr_queued(0)
Size Hist: 1024:5 4096:217130775

Selleks, et boodil võetaks süsteem külge tuleb flashcache kaustas käivitada käsk

# make -f Makefile.dkms boot_conf

Seadme laadimiseks

# flashcache_load /dev/sdb1 backup_cached

Seadme hävitamiseks

# flashcache_destroy /dev/sdb1

===Cache tiering===

Põhimõtteliselt siis SSD ketastele ehitatud pisike pool mis sünkroniseerib oma sisu hiljem aeglastele ketastele. Manualis öeldakse:

A cache tier provides Ceph Clients with better I/O performance for a subset of the data stored in a backing storage tier. Cache tiering involves creating a pool of relatively fast/expensive storage devices (e.g., solid state drives) configured to act as a cache tier, and a backing pool of either erasure-coded or relatively slower/cheaper devices configured to act as an economical storage tier. The Ceph objecter handles where to place the objects and the tiering agent determines when to flush objects from the cache to the backing storage tier. So the cache tier and the backing storage tier are completely transparent to Ceph clients.

Rohkem lugemist http://ceph.com/docs/master/rados/operations/cache-tiering/?highlight=performance

===Jamadega jamamine ja tuunimine===

Üks esimesi käske vigade tuvastamiseks oleks

# ceph health detail

OSD staatust saab vaadata käsuga

# '''ceph daemon osd.9 status'''
{
"cluster_fsid": "01fc30bc-1b09-47aa-8332-7a218eef9b53",
"osd_fsid": "80c6a422-b2b7-4d5b-bee5-195b749c58e1",
"whoami": 9,
"state": "booting",
"oldest_map": 2053,
"newest_map": 2677,
"num_pgs": 95
}

Teate '''clock skew detected on mon.ceph3, mon.ceph4''' vastu aitab

mon_clock_drift_allowed = 1

Peale paigaldamist teade '''HEALTH_WARN too few pgs per osd (12 < min 20)'''

# ceph osd pool get rbd pg_num
pg_num: 64

Tundub, et see number on liiga väike, suurendame

# ceph osd pool set rbd pg_num 512
# ceph osd pool set rbd pgp_num 512

Pudelikaelade paika ajamine. Võib juhtuda, et cephi enda perf testi tehes kukub cur MB/s nulli ja tuleb teade

health HEALTH_WARN 41 requests are blocked > 32 sec

Abiks aegluse tekitajate otsimisel ilmselt käsk

# cat /var/log/ceph/ceph.log | grep 'slow request'| awk '{print $3}' | sort | uniq -c | sort -n
2 osd.10
2 osd.12
2 osd.14
4 osd.7
4 osd.9
6 osd.1
10 osd.8
170 osd.4

http://noahdesu.github.io/2014/01/31/ceph-perf-wtf.html

Kõikide PG'de ülekontrollimiseks sobib käsk

# ceph pg dump | grep -i active | cut -f 1 | while read i; do ceph pg deep-scrub ${i}; done

Cephi haldamiseks võib kirjutada igasuguseid vahvaid skripte näiteks kellaaja paika seadistamiseks

<source lang=bash>
for masin in `cat datanodes.txt | awk '{ print $2 }'`; do
echo $masin
ssh -q "$masin" bash <<-'EOF'
apt-get -y install ntp ntpdate
/etc/init.d/ntp stop
ntpdate 10.40.0.140
/etc/init.d/ntp start
date
EOF
done
</source>

Kui tegemist juba keerukama juhtumiga võib ceph.conf failist debugimist juurde keerata

debug ms = 1/5

[mon]
debug mon = 20
debug paxos = 1/5
debug auth = 2

[osd]
debug osd = 1/5
debug filestore = 1/5
debug journal = 1
debug monc = 5/20

====Probleem PG-dega====

soovitaks alustada sellest, et teha kindlaks mis OSD peal on need 16 kadunud pg'd. Seejärel ma vaataks need osd'd ehk kettad üle. Kas kettad annavad errorit? kas journali kirjutamine on ok? (on osd journalile eraldi ssd ketas?). Samuti võib neile OSDdele teha restardi (osd deemonitele siis) või isegi tervele nodele. Võibolla on üks osd jäänud imelikku seisu?

Vaadake selleks nt

ceph health detail

Seejärel tehke scrub neile pg'dele

ceph pg scrub {pg-id}

Seejärel proovige

ceph pg repair {katkise pg ID'd järjest}

Kui need ikka ei aita ja nt on kõik need kadunud PG'd ühel kindlal kettal siis võib selle ühe ketta/OSD lihtsalt crushi mapist eemaldada ja vaadata mida crush siis teeb.

Kui ikka mitte kui midagi siis on ilmselt juhtunud selline hull asi, et kuidagi on läinud kaduma PG metadata, selline asi võib juhtuda nt siis kui süsteemis vähe kettaid ja vähe pg'sid ja korraga jookseb mitu masinat kokku. Seejärel on viimane võimalus

ceph pg {pg-id} mark_unfound_lost revert|delete

Aga kui ka see ei aita siis tuleb teha uus pool uute pg'dega ja proovida vana info sinna üle sünkroniseerida.

====Ühe jama anatoomia====

Näidisjuhtum probleemist ja selle lahenduskäigust.

Kirjutamisel kukkus average MB/s pidevalt nulli ja logis olid teated health HEALTH_WARN 41 requests are blocked > 32 sec

Süüdlane tundus olevat üks osd milles 2.5 terabaidine ketas. Sai see osd eemaldatud ning vead kadusid aga keskmine MB/s kukkus ikkagi nulli.
Täpsem monitoorimine tõi ühel nodel, kus töötasid kaks OSDd ketastega sdb ja sdd välja järgmise pildi.

[[Pilt:Diskstats latency-day-ceph6.png]]

Ehk siis ka teine 2.5 terane ketas (sdd) oli kohutavalt aeglase latentsusega. Peale ka selle ketta eemaldamist kadusid keskmise kirjutamise anomaaliad.

Mis toimus? Kirjutamistel jagatakse Iga OSD peale jagatakse sama kogus infot. Kui üks ketas on teistest aeglasem siis peavad kiiremad ootama kuni aeglasem kinnitab, et kirjutamised on toimunud. Mistõttu terve clustri töövõimekus langeb. Aidata võib vahel ka see kui vähendada aeglaste ketaste raskust (weight).

PS: Kettad olid WD green seeria omad tõestades, et green kettad võivad olla küllap head kodukasutajatele aga mitte suurtes süsteemides.
==== Recovery tuunimine ====

Kui Ceph liiga usinalt end taastab ja liiklus klastri igapäevategevust segab, on abiks ceph.conf failis, osd alajaotuses määrata osd_recovery_sleep väärtus. See vähendab võrguliiklust märgatavalt, samas tuleb arvestada et taastusprotsess võtab selle võrra kauem.

Alustada võib 0.1-st ja vanema riistvara puhul minna välja 1-ni, kuigi enamasti soovitatakse jääda 0.1 ja 0.5 vahele. Suuremad väärtused aeglustavad taastusprotsessi liialt.

[https://drive.google.com/file/d/0B7I5sSnjMhmbN1ZOanF3T2JIZm8/view Veidi eksperimente sellel teemal]

===Kettakatkestuse korral===

Mis on cephi puhul suurim hirm? ikkagi ketta või node seiskumine, testime mis juhtub kui nt kaks ketast (rohkem kui meil replikatsioone süsteemis) eemaldada.

Reaalselt tundub, et nt replikatsiooni taseme 2 juures võib seiskuda kas üks node või hävida üks ketas suvalises masinas. Kuna crush üritab hoida nii, et ühte objekti
ei replikeeritaks samasse nodesse pole tähtis mitu OSDd seiskub ühe node piires.

====Ühe ketta kadu====

Ühe ketta eemaldamise peale algas tihe sebimine

pgmap v88842: 320 pgs, 4 pools, 75805 MB data, 47583 objects
114 GB used, 14710 GB / 14882 GB avail
313 active+clean
7 down+peering
recovery io 34269 kB/s, 24 objects/s

Otsustasin seepeale märkida teise OSD manuaalselt kadunud hingeks

# ceph osd out osd.11
# ceph osd crush remove osd.11

Algas taas mingi sagimine

pgmap v89053: 320 pgs, 4 pools, 76904 MB data, 48282 objects
120 GB used, 14704 GB / 14882 GB avail
2575/96659 objects degraded (2.664%)
316 active+clean
4 active+recovering
recovery io 180 MB/s, 130 objects/s
client io 55645 kB/s rd, 492 op/s

Ja sai nagu korda

pgmap v89082: 320 pgs, 4 pools, 76904 MB data, 48282 objects
121 GB used, 14704 GB / 14882 GB avail
320 active+clean
client io 203 kB/s rd, 50 op/s

Varemalt kettale loodud 10GB suurust faili luges samuti.

# dd if=suvakas of=/dev/null
21113848+0 records in
21113848+0 records out
10810290176 bytes (11 GB) copied, 9.44596 s, 1.1 GB/s

====Mitme ketta, ehk rohkemate ketaste kadu kui replikatsiooni number====

Tõmbasin julmalt kaks ketast cephi clustri kahest nodest välja. Mispeale kaks OSDd lõpetasid enga tegevuse.

Kahe ketta kadu kajastus kohe ka staatuses

pgmap v88655: 320 pgs, 4 pools, 76380 MB data, 48151 objects
107 GB used, 15642 GB / 15811 GB avail
7619/96397 objects degraded (7.904%)
29 stale+active+clean
82 active+degraded
8 peering
201 active+clean

Mõni aeg hiljem algas miski parandamine

pgmap v88791: 320 pgs, 4 pools, 76896 MB data, 48280 objects
108 GB used, 12861 GB / 13021 GB avail
359/96653 objects degraded (0.371%)
7 stale+active+clean
289 active+clean
9 incomplete
1 active+recovering
9 active+degraded
5 active+remapped
recovery io 91160 kB/s, 45 objects/s

* Degraded - Ceph has not replicated some objects in the placement group the correct number of times yet.
* Incomplete - Ceph detects that a placement group is missing a necessary period of history from its log. If you see this state, report a bug, and try to start any failed OSDs that may contain the needed information.

Tundub, et seda poolikut failisüsteemi saab isegi kasutada

# echo suvakas > faili
# cat faili
suvakas

Ilmselt saab ka osasid objekte lugeda (mis polnud täielikult kadunud PG'de peal)

Kui nüüd ühtegi neist kahest kettast parandada ei õnnestu on Ilmselt mõistlik katsuda tekitada uus rbd ketas ja pool ning sünkroniseerida kõik kättesaadav info sinna ümber. Proovisin lugeda enne crash kettale kirjutatud 11GB suurust faili aga ei õnnestunud. DD lõpetas sellepeale toimimise.

====Ühe node kadu====

Crush peaks vaikimisi üritama paigutada objektist tehtud koopiaid selliselt, et nad satuksid alati erinevatel serveritel asuvatesse PGdesse.

pgmap v89103: 320 pgs, 4 pools, 76904 MB data, 48282 objects
117 GB used, 14708 GB / 14882 GB avail
17155/96659 objects degraded (17.748%)
176 active+clean
144 active+degraded

Varemalt kirjutatud faili suudetakse lugeda

# dd if=suvakas of=/dev/null
21113848+0 records in
21113848+0 records out
10810290176 bytes (11 GB) copied, 9.27239 s, 1.2 GB/s

Samuti paistab cluster jäävat kirjutatavaks.

Samal ajal algab taustal PGde ümberpaigutamine

osdmap e208: 12 osds: 9 up, 9 in
pgmap v89300: 320 pgs, 4 pools, 77929 MB data, 48538 objects
123 GB used, 12851 GB / 13023 GB avail
320 active+clean
recovery io 31987 kB/s, 13 objects/s

Ja süsteem taas töökorras

osdmap e208: 12 osds: 9 up, 9 in
pgmap v89305: 320 pgs, 4 pools, 77929 MB data, 48538 objects
123 GB used, 12851 GB / 13023 GB avail
320 active+clean

====PG incomplete/Orphan PG====

Üks tõsisemaid ja fataalsemaid hädasid mis võib cephi tabada on terve PG täielik riknemine. Põhjuseid võib seal olla palju, näiteks on info küll replikeerituna kahe
OSD peal aga mõlemaid tabab fataalne kettarike. Ceph health näitab seljuhul järgnevat pilt

pg 2.56e is stuck inactive for 9608224.300756, current state incomplete, last acting [25,8]
pg 2.56e is stuck unclean for 9608224.301460, current state incomplete, last acting [25,8]
pg 2.56e is incomplete, acting [25,8]

Mille puhul võib ka märkida pg igavesti kadunuks

# ceph pg 4.7fc mark_unfound_lost revert

Viimases hädas võib õnnetu pg ka uuesti tekitada

# ceph pg force_create_pg 2.56e

Kuid on juhtumeid kus ka ülaltoodud käsud ei aita ning tuleb lõpuks terve pool maha kanda, uuesti luua ja andmed varukoopiatest taastada. Vana infot
pole seejuures võimalik samuti kätte saada kuna rbd ketta mountimine lõppeb kerneli paanikaga.

===Lingid===

Testclustri ehitamine
http://ceph.com/docs/master/start/quick-ceph-deploy/

OSD koormuste balanseerimine
http://cephnotes.ksperis.com/blog/2013/12/09/ceph-osd-reweight

Veel ühe clustri ehitamine
http://www.server-world.info/en/note?os=CentOS_6&p=ceph

Jõudlustestid
https://software.intel.com/en-us/blogs/2013/10/25/measure-ceph-rbd-performance-in-a-quantitative-way-part-i

Ilusad skeemid aga võõras keeles
http://wiki.zionetrix.net/informatique:systeme:ha:ceph

Veel üks võimalik kombinatsioon
http://www.openclouddesign.org/articles/vdi-storage/ceph-highly-scalable-open-source-distributed-file-system

Mõned testid
http://www.sebastien-han.fr/blog/2012/08/26/ceph-benchmarks/

Performanci nõuanded
http://www.slideshare.net/Inktank_Ceph/ceph-performance

Veel üks asjalik ehitusõpetus
http://www.sebastien-han.fr/blog/2012/06/10/introducing-ceph-to-openstack/

Testid raidikaartidega
http://ceph.com/community/ceph-performance-part-1-disk-controller-write-throughput/

http://www.anchor.com.au/blog/2012/09/a-crash-course-in-ceph/

http://www.jamescoyle.net/how-to/1244-create-a-3-node-ceph-storage-cluster

http://ceph.com/user-story/ceph-from-poc-to-production/ soovitused ja rahul kasutaja

http://www.severalnines.com/blog/how-cluster-liferay-mysql-galera-and-ceph-high-availability-and-performance?page=5 kasulik juhend, tasub uurida.

http://dachary.org/?p=1971 kah hea

Unix keskkonna administreerimine

2017-08-23T08:29:18Z

Valmar: /* Varundamine */

===Samba===

Kuidas programmide-komplekti Samba abil seada samas alamvõrgus tööle UNIXi ja Windowsi masinad nii, et saab vastastikku kasutada faili-ja printimisteenuseid, so:
Windowsist saab kasutada UNIXi failisüsteemi ja printerit
UNIXist saab kasutada Windowsi failisüsteemi ja printerit

Samuti selgitatakse kuidas seada Samba server tööle Windowsi domeenikontrollerina.

* [[Windowsi võrk]]
* [[Samba installeerimine]]
* [[Samba server ja paroolikontroll]]
* [[Samba kasutamine]]
* [[Samba server jaosrezhiimis]]
* [[Samba server kasutajarezhiimis]]
* [[Samba server Windowsi domeenikontrollerina]]
* [[Samba logi]]
* [[Smbclient - Samba Windowsi teenuste klientprogramm]]
* [[Graafiline Samba konfigureerimisliides SWAT]]
* [[FreeBSD's samba share mount]]
* [[Cups]] Printeri server
* [[Zentyal]] Domeenikontroller
----

===Epost===

Interneti üks esimesi ja jätkuvalt suurele hulgale kasutajatele väga oluline teenus on epost (ingl. k. email). Järgnevad palad käsitlevad postiserverite omavahelist koostööd, paigaldamist ja seadistamist ning on seetõttu eelkõige mõeldud neile, kelle ülesandeks on teha oma kasutajatele eposti teenus kättesaadavaks. Samas võivad kõik huvilised siit edasi lugedes aimu saada, kuidas eposti võrgus liigub.

* [[:Email]] Mis on eposti aadress, ekiri ja postivahetusprotokoll.
* [[:Sendmail]] Kuidas seadistada käima epostisüsteem kasutades Sendmaili.
* [[:spam]] Lühidalt rämpsposti tõrjumise viisidest
* [[:RT]] Request Tracker, vahend ühistöö hõlbustamiseks ja ühiskasutuses mailiaadressite kasutuse tõhustamiseks. (installiõpetus hetkel vaid FreeBSD jaoks)
* [[:Postfix]] - Populaarne postiedastusagent ning tema ümber töötav tarkvara
* [[Postfix TLS]] - Postfixi autentimine
* [[Dovecot]] Imap server versioon 1.x
* [[Dovecot 2]] Imap server Versioon 2.x

----

===Veeb===

* [[:Apache'i veebiserver]] Populaarseima vabavaralise veebiserveri õpetus
* [[:Nginx]] Alternatiivne veebiserver
* [[:Squid]] Interneti http liikluse vahendusserver
* [[Apache mod_chroot]] Apachele turvalise vahekihi loomine
* [[JMeter]] Veebiserveri koormustestimise tarkvara
* [[:Oracle 10g Application Server]]
* [[:Apache Tomcat]]
* [[:PHP käivitamine kasutaja õigustes]]
* [[HAProxy]] Veebi ja ka muude teenuste proxymine

----

===Andmebaas===

* [[:PostgreSQL]]
* [[:MySQL]]
* [[:Oracle andmebaas]]
----

===Autentimine===

* [[:Kerberos]] Ühe klassikalise UNIXi autentimissüsteemi kirjeldus

* [[:Su ja Sudo Programmi]] käivitamine teise kasutaja õigustes

* [[:PAM]] Kuidas programmile autentimist korraldada

* [[:ldap klient ja server]] keskse autentimise korraldamine (FreeBSD-Gentoo süsteemile orienteeritud tekst)

* [[:SSH kasutajate chrootimine Debian GNU/Linux näitel]]

* [[sshd mysql]] Mysql ja pam abil sshd autentimise korraldamine

* [[:Openssh chroot]] Kasutaja chrootimine openssh patchi kasutades kodukataloogi

* [[:Eduroam]] Kuidas liituda Eduroami projektiga ja seadistada selleks Freeradius server

----

===Võrk ja andmeside===

* [[:PPP üle SSH kanali]] Kuidas 'koduste vahenditega' VPNi tekitada
* [[:Linux ATM]] Linuxis ATM seadmetega võrgu loomine
* [[VPN ja SSH]] Lihtne VPN tunnel PPP ja SSH abil
* [[firehol]] Iptablesi mugav konfigureerimisliides tulemüüride loomiseks
* [[:IPMI]] Operatsioonisüsteemist sõltumatut arvutisüsteemi kaughaldamise liides
* [[:isc-dhcpd server]] DHCP serveri seadistus
* [[:Eduroam]] Eduroami häälestamine sülearvutil
* [[:OpenVPN]]
* [[:GNS3]] võrgusimulaatori kasutamine Debianiga
* [[:Packet filter]]
* [[:SOCKS proxy kasutamine]]
* [[:OpenSSH administreerimine]]
* [[:Kaughaldusliidesed]]
* [[:Torrent]] bittorrendi protokoll üldjoontes ja Opentrackeri tarkvara kasutamine
* [[:Wifi]]
* [[:OpenSSL]]
* [[:Netflow]] Cisco netflow kogumine ning graafiline analüüsimine
* [[:LACP kasutamine]] Link Aggregation Control Protocol kasutamine
* [[:L2 redundantsus]]
* [[Kõrgkäideldavus_UCARP_abil]]
* [[Tftp]] Tftp serveri seadistamine ja kasutamine
* [[Polipo]] Lihtne web proxy server
----

===Storage===

* [[:Salvestusseadmete kasutamine]]
* [[:GlusterFS]] Paralleelne võrgu failisüsteem
* [[:DRBD kasutamine Debianiga]]
* [[:Quota]] Kasutajate kõvakettaruumi kasutamise limiteerimine
* [[:ZFS failisüsteemi kasutamine]] Kasutamiseks FreeBSD ja Solarise keskkonnas, teiste zfs toega süsteemides testimata
* [[LizardFS]] Paraleelne võrgu failisüsteem
----

===Monitooring===

* [[:net-snmp]] Masina jooksva info võrgust kättesaadavaks tegemine
* [[:Munin]] Serverite infost graafikute joonistamine
* [[:Netflow]] Võrguliikluse logi

----

===Virtualiseerimine===

* [[:Virtualiseerimine]]
* [[:Xen kasutamine Debian Lenniga]]
* [[:Xen kasutamine Debian Etchiga]]
* [[:QEMU kasutamine Debian Lenniga]]
* [[:VMware Server v. 1 kasutamine Debian Etchiga]]
* [[:VMware Server v. 2 kasutamine Debian Lenniga]]
* [[:KVM kasutamine Debian Lenniga]]
* [[:KVM kasutamine Ubuntu 9.10 operatsioonisüsteemiga]]
* [[FreeBSD jail]] FreeBSD virtuaalsed serverid
* [[OpenVZ]] virtualserver gentoos
* [[:Ubuntu Cloud - 9.10]]
* [[:VirtualBox kasutamine Debian Squeeze operatsioonisüsteemiga]]
* [[:Proxmox]] KVM ja OpenVZ tehnikal baseeruvate virtuaalserverite haldusplatform
* [[Proxmox VE 3.x kasutajate haldus]] Proxmoxi kasutajate haldus

===Versioonihaldus===

* [[:Versioonihaldus]]
* [[:Subversion hoidla kasutamisest]]
* [[:Subversion hoidla kasutamine Debianiga]]
* [[:CVS hoidla kasutamine Linuxiga]]

===X-tee===

* [[:Turvaserveri kasutamine]]
* [[:MISPi kasutamine]]

===Nimeteenus===

* [[:Rekursiivse resolveri Unbound kasutamine]]
* [[:Pädeva nimeserveri NSD kasutamine]]
* [[:Tsoonifaili haldamine]]

===GIS===

* [[:GIS]]
* [[:PostGIS]]
* [[:Quantum GIS]]
* [[:uDig]]
* [[:GeoServer]]
* [[:Google Earth]]

===Varundamine===

* [[:rsync]] Vabavaraline failide ja kaustade sünkroniseerimise ja backupimise vahend
* [[:Bacula]]
* [[:Duplicati]] Vabavaraline blokipõhine failide ja kaustade backupimise vahend

===Misc===

* [[:Printimine]] Juhised BSD-stiilis printimise korraldamiseks
* [[:Arvuti kellaaeg]] Kuidas arvutite kell toimib ning kuidas tagada, et arvuti aeg oleks võimalikult lähedane 'õigele' ajale.
* [[:Stunnel]] Tarkvara krüptilise toe lisamiseks programmidele
* [[:Integrit]] Failisüsteemis toimuvate muudatuste jälgimine
* [[:Saal]] Saali (ing. k. swap) konfigureerimine.
* [[:Sertifikaadid]] Sertifitseerimiskeskuse loomine ja sertifikaadi kinnitamine
* [[:Linuxi tuum]] Linux tuuma install ja paigaldus
* [[Logrotate]] Kuidas logisid pakkida ja hallata automaagiliselt.
* [[logi]] Syslog, Syslog-ng tarkvarade seadistus ja logiserveri ehitamine
* [[:Password Gorilla]] Ligipääsude haldamise tarkvara
* [[:2TB piirang]] Linuxis suuremate partitsioonide kasutamine kui kaks terabaiti kasutades GPT partitsioneerimist
* [[:Alglaadija GRUB]] Tarkvara, mille abil toimub arvuti alglaadimine.
* [[Tentakel]]
* [[Linux Kasutajate administreerimine]]

Slurm resursihaldur

2016-11-23T10:28:47Z

Valmar: /* Veateated ja probleemid */

===Sissejuhatus===

Slurm (Simple Linux Utility for Resource Management) on arvutiklastri jaoks mõeldud rakendus mille ülesandeks on jagada etteantud töid mööda arvutiresursse laiali, monitoorida töötavaid protsesse ja pidada tööde üle järjekorda.

Üldiselt näeb slurmi arhidektuur välja sarnane allolevale pildile. On keskne haldusserver, kuhu kasutajad logivad ja käske käivitavad ning terve hulk
arvutusnodesid-servereid, milledele slurm töid edastab.

[[Pilt:SlurmArchitecture.gif]]

===Slurmi klustri paigaldus===

Kõigile nodedele tuleb paigaldada slurmi pakett

# aptitude install slurm-llnl

Tekitame konfiguratsiooni. Slurm kasutab enda tööde kohta info salvestamiseks mysql andmebaasi

Konfiguratsiooni kontrollimiseks

# scontrol show daemons

Slurm kasutab autentimiseks munge nimelist deemonit. Kopeeri /etc/munge/munge.key igasse nodesse ja stardi slurm teenus

# /etc/init.d/slurm-llnl start

Stardi munge

# /etc/init.d/munge start

Testimiseks

$ srun –ntasks=12 –partition=dungeon –label /bin/hostname

===Tööde käivitamine===

Saadame slurmi töö mis käivitatakse neli korda ja mis väljastab masina kerneli versiooni.

# '''srun --ntasks=4 uname -a'''
srun: job 561700 queued and waiting for resources
srun: job 561700 has been allocated resources
idu08
idu08
idu08
idu08

Või soovides käivitada lihtsalt kokku 24 tööd kõigil nodedel ja ja lasta slurmil ise nad jagada laiali

# srun --ntasks=24 --partition=gpu hostname

Tasub muidugi tähele panna, et srun sobib peamiselt testimiseks või väga lihtsateks töödeks ning keerukamatel kasutusjuhtudel tuleks kasutada käske salloc või sbatch
Põhimõtteliselt sama esimene näide skriptiga tehtuna, tekitame parallel_uname.sh

<source lang=bash>
#!/bin/bash
#SBATCH –J test # Seadistab töö nime mida näeb squeue käsuga
#SBATCH –N=4 # Määrab mitut füüsilist serverit kasutatakse
#SBATCH --ntasks-per-node=4 # Määrab, mitu ülesannet ühel serveril käivitatakse
#SBATCH --output=kontroll.out # Väljundfaili nimi – programm ei edastada väljundit kohe ekraanile vaid faili.
uname -a # käsk, mida käivitatakse. Antud juhul uname -a
</source>

Lisaks võib seadistada e-maili saatmise töö lõpu korral

#SBATCH --mail-type=END # Type of email notification- BEGIN,END,FAIL,ALL
#SBATCH --mail-user=ajk@123.com # Email to which notifications will be sent

Paneme käima

# '''sbatch parallel_uname.sh'''
Submitted batch job 65918

Ja väljund

# cat slurm-65918.out
Linux stage59 2.6.32-431.17.1.el6.x86_64 #1 SMP Wed May 7 14:14:17 CDT 2014 x86_64 x86_64 x86_64 GNU/Linux

====MPI tööde käivitamine====

Message Passing Interface ehk MPI on paraleelsete programmide loomiseks

Kasutamiseks on vaja laadida moodulid

module load intel
module load openmpi

Slurm skript võiks näha välja järgnev

<source lang=bash>
#!/bin/bash
#SLURM -J myjob
#SLURM -p mpi-core8
#SLURM -t 01:00:00
#SLURM -o myjob-%J.out
#SLURM -N 4
#SLURM --ntasks-per-node=8
module load gcc
module load openmpi
cd subdir
mpirun -np 32 ./myapp
exit 0
</source>

https://computing.llnl.gov/tutorials/mpi/

http://brazos.tamu.edu/software/openmpi.html

===Tööde haldus===

Tööde nimekirja näeb

# squeue
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
561555 gpu python hpc_tane R 4-22:47:46 1 idu41
561544 gpu punct2 ottokar R 5-02:52:19 1 idu40
561538 gpu punct2 ottokar R 5-03:06:09 1 idu39
561528 gpu train_HO hpc_tane R 6-07:54:01 1 idu40
561490 gpu train_HO hpc_tane R 7-06:15:40 1 idu39
561795 long EUWEST_6 elmer R 10:09:00 1 idu30
561802 long EESTI1_7 elmer R 4:01:17 1 idu02
561801 long EESTI1_4 elmer R 4:01:18 1 idu01
561800 long EUWEST_7 elmer R 4:01:19 1 idu12
561794 long SLOVAK_6 elmer R 10:13:23 1 idu06
561793 long EESTI1_2 elmer R 16:04:42 1 idu05
561792 long EESTI1_6 elmer R 16:09:14 1 idu03
561647 long bash hpc_kuz R 3-19:32:13 1 idu04
561810 long run_R-1- hpc_eero R 1:58:03 1 idu34
561811 long run_R-1- hpc_eero R 1:58:03 1 idu31
561813 long run_R-1- hpc_eero R 1:58:03 1 idu32
561809 long run_R-1- hpc_eero R 2:08:03 1 idu29
561806 long run_R-1- hpc_eero R 2:18:03 1 idu33
561808 long run_R-1- hpc_eero R 2:18:03 1 idu35

Töö staatuse nägemiseks tuleb scontrolile anda ette JOBID

# '''scontrol show job 561581'''
JobId=561581 Name=SLOVAK_6
UserId=elmer(10010) GroupId=elmer(10010)
Priority=1503 Account=(null) QOS=(null)
JobState=RUNNING Reason=None Dependency=(null)
Requeue=1 Restarts=0 BatchFlag=0 ExitCode=0:0
RunTime=09:06:37 TimeLimit=12:00:00 TimeMin=N/A
SubmitTime=2016-02-25T06:26:02 EligibleTime=2016-02-25T06:26:02
StartTime=2016-02-25T06:26:02 EndTime=2016-02-25T18:26:02
PreemptTime=None SuspendTime=None SecsPreSuspend=0
Partition=long AllocNode:Sid=juur:22238
ReqNodeList=(null) ExcNodeList=(null)
NodeList=idu38
BatchHost=idu38
NumNodes=1 NumCPUs=8 CPUs/Task=8 ReqS:C:T=2:4:1
MinCPUsNode=8 MinMemoryNode=18G MinTmpDiskNode=0
Features=(null) Gres=(null) Reservation=(null)
Shared=OK Contiguous=0 Licenses=(null) Network=(null)
Command=/storage/jobs/g-9.sh
WorkDir=/cluster/elmer

Töö lõppu on muidugi võimatu ette teada/ennustada. Võib-olla umbes töö alustaja ise teab, kaua see VÕIKS aega võtta.

idu seisu vaatamiseks juurest või suvalisest idust anda käsk

# '''scontrol show node idu38'''
NodeName=idu38 Arch=x86_64 CoresPerSocket=6
CPUAlloc=8 CPUErr=0 CPUTot=12 CPULoad=5.82 Features=K20
Gres=gpu:2
NodeAddr=idu38 NodeHostName=idu38
OS=Linux RealMemory=48000 AllocMem=18432 Sockets=2 Boards=1
State=MIXED ThreadsPerCore=1 TmpDisk=200000 Weight=100
BootTime=2015-01-21T00:23:33 SlurmdStartTime=2015-01-21T00:24:09
CurrentWatts=0 LowestJoules=0 ConsumedJoules=0
ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/ s

===Slurmi partitsioonid===

Tööde paremaks halduseks on mõistlik erinevad masinad jagada erinevatesse partitsioonide gruppidesse.

Partitsioonide konfiguratsiooni nägemiseks

# sinfo
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST
short* up 30:00 4 idle~ idu[08-11]
short* up 30:00 16 mix idu[01-06,12,29-37]
short* up 30:00 1 down idu07
long up infinite 4 idle~ idu[08-11]
long up infinite 16 mix idu[01-06,12,29-37]
long up infinite 1 down idu07
gpu up infinite 5 idle~ idu[08-11,38]
gpu up infinite 10 mix idu[01-06,12,39-41]
gpu up infinite 1 down idu07

Partitsioonide täpsem info

# '''scontrol show partition'''
PartitionName=short
AllocNodes=ALL AllowGroups=ALL Default=YES
DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO
MaxNodes=UNLIMITED MaxTime=00:30:00 MinNodes=1 MaxCPUsPerNode=UNLIMITED
Nodes=idu[01-12],idu[29-37]
Priority=100 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF
State=UP TotalCPUs=204 TotalNodes=21 SelectTypeParameters=N/A
DefMemPerCPU=2048 MaxMemPerCPU=12288

PartitionName=long
AllocNodes=ALL AllowGroups=ALL Default=NO
DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO
MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 MaxCPUsPerNode=UNLIMITED
Nodes=idu[01-12],idu[29-37]
Priority=150 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF
State=UP TotalCPUs=204 TotalNodes=21 SelectTypeParameters=N/A
DefMemPerCPU=2048 MaxMemPerCPU=12288

PartitionName=gpu
AllocNodes=ALL AllowGroups=ALL Default=NO
DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO
MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 MaxCPUsPerNode=UNLIMITED
Nodes=idu[01-12],idu[38-41]
Priority=1000 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF
State=UP TotalCPUs=144 TotalNodes=16 SelectTypeParameters=N/A
DefMemPerCPU=2048 MaxMemPerCPU=12288

Näiteks antud juhul asuvad GPUsid sisalduvad noded "long" partitsioonist väljaspool, et neile muid arvutusi ei antaks.

Nodede liigutamiseks partitsoonide vahel. /etc/slurm/slurm.conf lõpus on see partitsioonide konf
Muuda vastavalt partitsioone, mida tahad ja siis slurmi servisele restart (käivad tööd sellest katki ei lähe).

/etc/init.d/slurm restart

Masina seisu uuendamine, aktiivseks või siis idleks

# scontrol update state=IDLE nodename=idu38

===Veateated ja probleemid===

Mälulimiit on programmi poolt ületatud

slurmd[n1]: error: Job 60204 exceeded 10240 KB memory limit, being killed
slurmd[n1]: error: *** JOB 60204 CANCELLED AT 2011-05-27T19:34:34 ***

Mälulimiit on seadistatud liiga kõrge olemasoleva mälu jaoks

$ sbatch run.slurm
sbatch: error: Batch job submission failed: Requested node configuration is not available

http://www.umbc.edu/hpcf/resources-tara-2013/scheduling-policy.php

Node staatus on "down"

Esmalt võiks proovida seda manuaalselt muuta, näiteks:
scontrol update state=MIXED nodename=node84

===Lingid===

http://www.schedmd.com/slurmdocs/quickstart.html

https://rc.fas.harvard.edu/resources/running-jobs/

http://www.ibm.com/developerworks/library/l-slurm-utility/

IPMI

2016-11-16T10:59:31Z

Valmar:

===Sissejuhatus===

IPMI on lühend fraasist Intelligent Platform Management Interface.
Kujutab ta endast operatsioonisüsteemist sõltumatut arvutisüsteemide haldamise liidest, mille spetsifikatsiooni on loonud Intel, HP, Dell ja NEC.[http://www.intel.com/design/servers/ipmi/spec.htm] IPMI kasutamist toetab enamik serveritootjaid.
IPMI võimaldab üle tavalise TCP/IP võrgu servereid sisse-välja lülitada, vaadelda riistvara seisundit ning erinevate andurite näite (temperatuur, ventilaatorite pöörlemiskiirused jms), ''serial over LAN'' (SOL) abil suhelda serveri konsooliga, jne. Lisaks defineerib IPMI võimaluse teavitada administraatorit riistvara vigadest SNMP protokolli abil. Paljudel serveritel on IPMI vaikimisi integreeritud, osadel juhtudel on võimalik IPMI kasutamine vastava lisakaardi abil.

IPMI eelisteks on see,et ta on üsnagi hästi standardiseeritud ja töötab põhimõtteliselt kõigil tootjatel ühtemoodi. Konsool (mis IPMI puhul on serial-over-lan) võib eri IPMI versioonides olla erinevalt lahendatud, aga siiani on nad kõik siiski tööle saanud. Linuxis tuleb siis muidugi ka konsool serialporti suunata. IPMI tugev külg on eelkõige see, et häda korral saab üle SSH konsooli ja ipmitooli abil kätte nt rebooti vajava serveri suvalisest kohast ja ei pea mingite tootjaspetsiifiliste javajunnidega mässama.

Üks tavaline IPMI toega halduskaart näeb välja selline

[[Pilt:Supermicro aoc-ipmi20-e.jpg]]

IPMI kontrolleriga suhtlemiseks on olemas mitmeid vabavaralisi vahendeid, nagu ipmitool[http://ipmitool.sourceforge.net/], ipmiutil[http://ipmiutil.sourceforge.net/] ja openipmi[http://openipmi.sourceforge.net/].
Järgnevalt vaatame põgusalt IPMI kasutamist FreeBSD/Linux süsteemil ipmitool-i näitel.

===Paigaldus FreeBSD7 süsteemis===

# cd /usr/ports/sysutils/ipmitool
# make install clean

Seejärel võib anda käsu

# kldload ipmi

Ipmi mooduli püsivaks laadimiseks rida faili /boot/loader.conf

ipmi_load="YES"

===Paigaldus Linuxile===

Enamike distributsioonide kernelis on juba IPMI tugi olemas, kui see mingil põhjusel puudub siis tuleb tuuma kompileerimisel menuconfigus defineerida järgnev

Device Drivers --->
Character devices --->
<M> IPMI top-level message handler --->
--- IPMI top-level message handler
[ ] Generate a panic event to all BMCs on a panic
<M> Device interface for IPMI
<M> IPMI System Interface handler
<M> IPMI Watchdog Timer
<M> IPMI Poweroff

Ja loome ning paigaldame uued moodulid

make && make modules_install

IPMI kasutamiseks laadida moodulid

modprobe ipmi_msghandler
modprobe ipmi_si
modprobe ipmi_devintf

Kerneli teadete hulka peaksid ilmuma järgnevad read

ipmi message handler version 39.2
IPMI System Interface driver.
ipmi_si: Trying SMBIOS-specified kcs state machine at i/o address 0xca2, slave address 0x20, irq 0
ipmi: Found new BMC (man_id: 0x000157, prod_id: 0x0029, dev_id: 0x20)
IPMI kcs interface initialized

Moodulite automaatseks laadimiseks tuleb need lisada vastavasse faili.

Gentoo:

/etc/modules.autoload.d/kernel-2.6

Debian:
/etc/modules

Ipmitooli paigaldamine.

Gentoo:

# emerge ipmitool

Debian:

# apt-get install ipmitool

Versiooni ja nime näeme

# ipmitool mc info
Device ID : 32
Device Revision : 1
Firmware Revision : 0.62
IPMI Version : 2.0
Manufacturer ID : 343
Manufacturer Name : Intel Corporation
Product ID : 41 (0x0029)
Product Name : S5000PSL
Device Available : yes
Provides Device SDRs : no
Additional Device Support :
Sensor Device
SDR Repository Device
SEL Device
FRU Inventory Device
IPMB Event Receiver
Chassis Device
Aux Firmware Rev Info :
0x00
0x42
0x00
0x03

===Seadistus käsureal===

Esimesena tuleks muuta vaikimisi olev administraatori parool. Antud näites on administraatori kasutajanimeks Operator ja parooliks password.

Vaatame kasutajate nimekirja

# ipmitool user list
ID Name Callin Link Auth IPMI Msg Channel Priv Limit
1 true false true NO ACCESS
2 Operator true false true ADMINISTRATOR

Muudame kasutaja Operator konto parooli

# ipmitool user set password 2
Password for user 2:
Password for user 2:

Vahel on abiks kasutaja sisse lülitada

# ipmitool user enable 2

Kiire admin kasutaja loomine (kanalisse 1 luua kasutaja 2 privileegiga 4(admin) )

# ipmitool user set name 2 admin
# ipmitool user enable 2
# ipmitool user set password 2
# ipmitool channel setaccess 1 2 link=on ipmi=on callin=on privilege=4

Enamasti hangib IPMI kontroller endale võrguaadressi DHCP abil. Olemasolevate võrguseadete vaatamine:

# ipmitool lan print
Set in Progress : Set Complete
Auth Type Support : NONE MD2 MD5 PASSWORD
Auth Type Enable : Callback : NONE MD2 MD5 PASSWORD
: User : NONE MD2 MD5 PASSWORD
: Operator : NONE MD2 MD5 PASSWORD
: Admin : NONE MD2 MD5 PASSWORD
: OEM : NONE MD2 MD5 PASSWORD
IP Address Source : DHCP Address
IP Address : 192.168.1.19
Subnet Mask : 255.255.255.0
MAC Address : 00:e0:81:b0:9c:e3
SNMP Community String : public
IP Header : TTL=0x40 Flags=0x40 Precedence=0x00 TOS=0x10
BMC ARP Control : ARP Responses Enabled, Gratuitous ARP Disabled
Gratituous ARP Intrvl : 2.0 seconds
Default Gateway IP : 192.168.1.1
Default Gateway MAC : 00:00:00:00:00:00
Backup Gateway IP : 0.0.0.0
Backup Gateway MAC : 00:00:00:00:00:00
RMCP+ Cipher Suites : 0,1,2,3,6,7,8,11,12
Cipher Suite Priv Max : aaaaaaaaaaaaaaa
: X=Cipher Suite Unused
: c=CALLBACK
: u=USER
: o=OPERATOR
: a=ADMIN
: O=OEM

Kui ei soovita DHCP kasutamist, siis tuleb kõigepealt muuta IP aadressi konfiguratsioon staatiliseks:

# ipmitool lan set 1 ipsrc static

Seejärel võib asuda võrguparameetrite seadmisele:

# ipmitool lan set 1 ipaddr 192.168.1.19
# ipmitool lan set 1 netmask 255.255.255.0
# ipmitool lan set 1 defgw ipaddr 192.168.1.1

Lubame haldusmoodulil ka ARP päringutele vastamise:

# ipmitool lan set 1 arp respond on
# ipmitool lan set 1 arp generate on
# ipmitool lan set 1 arp interval 5

Vaatame kontrolliks serveri hetkeseisu:

# ipmitool chassis status
System Power : on
Power Overload : false
Power Interlock : inactive
Main Power Fault : false
Power Control Fault : false
Power Restore Policy : always-off
Last Power Event :
Chassis Intrusion : inactive
Front-Panel Lockout : inactive
Drive Fault : false
Cooling/Fan Fault : false
Front Panel Control : none

Tutvume sensorite infoga:

# ipmitool sdr
CPU 0 Temp | 36 degrees C | ok
CPU 1 Temp | 39 degrees C | ok
Ambient Temp0 | 29 degrees C | ok
Ambient Temp1 | 35 degrees C | ok
Vcc 12V | 12.40 Volts | ok
DDRP0 1.8V | 1.83 Volts | ok
DDRP1 1.8V | 1.83 Volts | ok
Vcc 3.3V | 3.30 Volts | ok
Vcc 5V | 5.08 Volts | ok
Vcc 3.3V STB | 3.25 Volts | ok
Blower Fan 0 | 4194.40 RPM | ok
Blower Fan 1 | 4429.60 RPM | ok
Axial Fan 0 | 10579 RPM | ok
Axial Fan 1 | 10579 RPM | ok
Processor 0 | 0x00 | ok
Processor 1 | 0x00 | ok

IPMI seadmega suhtlemisel saab kasutada erinevaid Cipher Suite'isid. Seadme juures on IPMI seadistustega määratud, millise šifrit kasutamist ühe või teise privieegiga kasutaja pöördumisel eeldatakse, tavaliselt vaikimisi nii

RMCP+ Cipher Suites : 0,1,2,3,4,5,6,7,8,9,10,11,12,13,14
Cipher Suite Priv Max : Xaaaaaaaaaaaaaa
: X=Cipher Suite Unused
: c=CALLBACK
: u=USER
: o=OPERATOR
: a=ADMIN
: O=OEM

kus

* 0,1,2 ... - šifrite nimekiri (0 - ilma krüptot, 1 - Auth-HMAC-SHA1; Int = None; Conf = None), .... vt man bmc-config

0 - Authentication Algorithm = None; Integrity Algorithm = None; Confidentiality Algorithm = None
1 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = None; Confidentiality Algorithm = None
2 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = HMAC-SHA1-96; Confidentiality Algorithm = None
3 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = HMAC-SHA1-96; Confidentiality Algorithm = AES-CBC-128
...

* Xaaaaaaaaaaaaaa - šifri ja kasutaja privileegi vastavus (antud juhul ilma krüpota pöördumine on keelatud, kõigi muudega saab administaator ja temast madalama privileegiga kasutajad pöörduda)

===Kaughaldus ipmitooli abil===

Toimub käsuga

ipmitool -I lan -H HOST_IP_ADDRESS -U USERNAME -a IPMI_COMMAND

Näiteks

ipmitool -I lan -H 192.168.1.19 -U Operator -a chassis status

Restardi tegemiseks sobib käsk

ipmitool -I lan -H 10.40.4.14 -U admin -a power reset

Konsooli pilti näeb järgneva käsuga

ipmitool -I lanplus -H 192.168.1.19 -U Operator sol activate

Vähemalt ILO100 puhul näeb vaid bios'i ning loaderist
edasise pildi vaatamiseks tuleb näiteks FreeBSD'd seadistada serialkonsool manualis juhendatud viisil
http://www.freebsd.org/doc/en/books/handbook/serialconsole-setup.html või Gentoos http://www.gentoo-wiki.info/HOWTO_Linux_serial_console

Kui käsu peale teatatakse

IPMI v1.5 Serial Over Lan (ISOL) not supported!

Tuleb vastav featuur BIOSis lubada.

===Kaughaldus freeipmi abil===

iDrac seadistuste küsimiseks

# bmc-config -D LAN_2_0 -v -u root -p parool -h 10.1.200.50 --checkout | less

kus

* -D - protokoll

===Probleemid===

Probleemide korral võib proovida kontrollerile teha kas külm

# ipmitool mc reset cold
Sent cold reset command to MC

Või kuumtaaskäivitust:

# ipmitool mc reset warm
Sent warm reset command to MC

Kanaleid võib üritada otsida skriptiga

# Channel
for i in $(seq 0 10); do
response=$(ipmitool lan print ${i} 2>/dev/null|grep "IP Address Source")
if [ "$response" ]; then echo "IPMI is on channel ${i}"; channel=$i; break; fi
done

FreeBSD's tuleb '''seq''' asemel kasutada '''jot 0 10'''

===IPMI Watchdog===

TODO

Valvekoera ülesanne seisneb teha masinale reboot kui see peaks kokku jooksma või muid rumalusi tegema.

Põhimõtteliselt on seadistatud IPMI kaardile teatud ajaga mahalugemine (countdown) nt 300 sekundit, mille
möödudes masin teeb reboodi. Kuni aga deemon masinas töötab siis lükkab see näiteks iga 5 sekundi tagant
mahalugemist taas nulli ehk tagasi 300 peale. Kui nüüd juhtub masin kinni jooksma ei saa deemon enam rebooti edasi lükatata, lugemine jookseb lõpuni ja serverile tehakse restart.

Linuxi kernelisse peab olema kompileeritud eelnevalt '''IPMI Watchdog Timer''' (vaata ülespoole kerneli seadistust).

Selleks, et vaadata watchdogi infot (antud juhul ei ole watchdog sisse lülitatud)

# ipmitool mc watchdog get
Watchdog Timer Use: Reserved (0x00)
Watchdog Timer Is: Stopped
Watchdog Timer Actions: No action (0x00)
Pre-timeout interval: 0 seconds
Timer Expiration Flags: 0x00
Initial Countdown: 0 sec
Present Countdown: 0 sec

Sisselülitamiseks

# ipmitool mc watchdog on

Linuxis on deemoniks watchdogd

# watchdogd

Deemon ja IPMI suhtlevad omavahel /dev/watchdog seadme kaudu.

FreeBSDs kasutamiseks tuleb paigaldada freeipmi pakett. Freeipmi paketist tuleb kaasa utiliit bmc-watchdog nimeline utiliit.

Setup a bmc-watchdog daemon that resets the machine after 15 minutes (900 seconds) if the OS has crashed (see default bmc-watchdog rc script /etc/init.d/bmc-watchdog for a more complete example):

# bmc-watchdog -d -u 4 -p 0 -a 1 -i 900

*-d, Run bmc-watchdog as a daemon.
*-u INT, Set timer use. The timer use value can be set to one of the following: 1 = BIOS FRB2, 2 = BIOS POST, 3 = OS_LOAD, 4 = SMS OS, 5 = OEM.
*-p INT, Set pre-timeout interrupt. The pre timeout interrupt can be set to one of the following: 0 = None, 1 = SMI, 2 = NMI, 3 = Messaging Interrupt.
*-a INT, Set timeout action. The timeout action can be set to one of the following: 0 = No action, 1 = Hard Reset, 2 = Power Down, 3 = Power Cycle.
*-i SECONDS, Set initial countdown in seconds.

Lingid:

*http://blog.bofh.it/id_125

*http://www.zomers.eu/knowledge/pfSense/Pages/Configure-pfSense-2.0-RC1-to-use-Watchdog-functionality.aspx

===FreeIPMI kasutamine===

FreeIPMI http://www.gnu.org/software/freeipmi/ tarkvara võimaldab sooritada praktiliselt samu tegevusi nagu IPMItool. Tarkvara paigaldamiseks sobib öelda nt

# apt-get install freeipmi-tools

Kõigi seadistuste salvestamiseks sobib öelda

# bmc-config --checkout > bmc-config.output.txt

Sektsioonide nimekirja küsimiseks

# bmc-config -L
User1
...
User16
Lan_Channel
Lan_Conf
Lan_Conf_Auth
Lan_Conf_Security_Keys
Lan_Conf_User_Security
Lan_Conf_Misc
Rmcpplus_Conf_Privilege
Serial_Channel
Serial_Conf
SOL_Conf

Konkreetse sektsiooni seadistuste küsimiseks

# bmc-config -S Lan_Conf -o
#
# Section Lan_Conf Comments
#
# In the Lan_Conf section, typical networking configuration is setup. Most users
# will choose to set "Static" for the "IP_Address_Source" and set the
# appropriate "IP_Address", "MAC_Address", "Subnet_Mask", etc. for the machine.
#
Section Lan_Conf
## Possible values: Unspecified/Static/Use_DHCP/Use_BIOS/Use_Others
IP_Address_Source Static
## Give valid IP address
IP_Address 10.1.1.130
## Give valid MAC address
MAC_Address 00:30:05:FC:9F:80
## Give valid Subnet Mask
Subnet_Mask 255.255.255.0
## Give valid IP address
Default_Gateway_IP_Address 10.1.1.4
EndSection

Parameetri väärtuse salvestamiseks, nt

# bmc-config --commit --key-pair="lan_conf:Subnet_Mask=255.255.255.0"

Tundub, et FreeIPMI puhul on selles mõttes mõnus seadistusi muuta, et saab küsida mõne sektsiooni kohta olemasoleva seadistuse, teha tekstis vajalikud muudatused ja laadida nad sisse

TODO

===Kasulikud lisamaterjalid===

* http://www.intel.com/design/servers/ipmi/
* http://sources.redhat.com/cluster/wiki/IPMI_FencingConfig
* http://dpw.threerings.net/projects/ipmi-kmod/
* http://gfs.wikidev.net/IPMI_Fencing
* http://wiki.adamsweet.org/doku.php?id=ipmi_on_linux
* http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/topic/liaai/ipmi/BPipmi.pdf
* http://en.wikipedia.org/wiki/Out-of-band_management
* http://securfox.wordpress.com/2009/10/01/howto-setup-ipmi-under-linux-rhel-centos-5/
* http://openipmi.sourceforge.net/

IPMI

2016-11-16T10:58:48Z

Valmar:

===Sissejuhatus===

IPMI on lühend fraasist Intelligent Platform Management Interface.
Kujutab ta endast operatsioonisüsteemist sõltumatut arvutisüsteemide haldamise liidest, mille spetsifikatsiooni on loonud Intel, HP, Dell ja NEC.[http://www.intel.com/design/servers/ipmi/spec.htm] IPMI kasutamist toetab enamik serveritootjaid.
IPMI võimaldab üle tavalise TCP/IP võrgu servereid sisse-välja lülitada, vaadelda riistvara seisundit ning erinevate andurite näite (temperatuur, ventilaatorite pöörlemiskiirused jms), ''serial over LAN'' (SOL) abil suhelda serveri konsooliga, jne. Lisaks defineerib IPMI võimaluse teavitada administraatorit riistvara vigadest SNMP protokolli abil. Paljudel serveritel on IPMI vaikimisi integreeritud, osadel juhtudel on võimalik IPMI kasutamine vastava lisakaardi abil.

IPMI eelisteks on see,et ta on üsnagi hästi standardiseeritud ja töötab põhimõtteliselt kõigil tootjatel ühtemoodi. Konsool (mis IPMI puhul on serial-over-lan) võib eri IPMI versioonides olla erinevalt lahendatud, aga siiani on nad kõik siiski tööle saanud. Linuxis tuleb siis muidugi ka konsool serialporti suunata. IPMI tugev külg on eelkõige see, et häda korral saab üle SSH konsooli ja ipmitooli abil kätte nt rebooti vajava serveri suvalisest kohast ja ei pea mingite tootjaspetsiifiliste javajunnidega mässama.

Üks tavaline IPMI toega halduskaart näeb välja selline

[[Pilt:Supermicro aoc-ipmi20-e.jpg]]

IPMI kontrolleriga suhtlemiseks on olemas mitmeid vabavaralisi vahendeid, nagu ipmitool[http://ipmitool.sourceforge.net/], ipmiutil[http://ipmiutil.sourceforge.net/] ja openipmi[http://openipmi.sourceforge.net/].
Järgnevalt vaatame põgusalt IPMI kasutamist FreeBSD/Linux süsteemil ipmitool-i näitel.

===Paigaldus FreeBSD7 süsteemis===

# cd /usr/ports/sysutils/ipmitool
# make install clean

Seejärel võib anda käsu

# kldload ipmi

Ipmi mooduli püsivaks laadimiseks rida faili /boot/loader.conf

ipmi_load="YES"

===Paigaldus Linuxile===

Enamike distributsioonide kernelis on juba IPMI tugi olemas, kui see mingil põhjusel puudub siis tuleb tuuma kompileerimisel menuconfigus defineerida järgnev

Device Drivers --->
Character devices --->
<M> IPMI top-level message handler --->
--- IPMI top-level message handler
[ ] Generate a panic event to all BMCs on a panic
<M> Device interface for IPMI
<M> IPMI System Interface handler
<M> IPMI Watchdog Timer
<M> IPMI Poweroff

Ja loome ning paigaldame uued moodulid

make && make modules_install

IPMI kasutamiseks laadida moodulid

modprobe ipmi_msghandler
modprobe ipmi_si
modprobe ipmi_devintf

Kerneli teadete hulka peaksid ilmuma järgnevad read

ipmi message handler version 39.2
IPMI System Interface driver.
ipmi_si: Trying SMBIOS-specified kcs state machine at i/o address 0xca2, slave address 0x20, irq 0
ipmi: Found new BMC (man_id: 0x000157, prod_id: 0x0029, dev_id: 0x20)
IPMI kcs interface initialized

Moodulite automaatseks laadimiseks tuleb need lisada vastavasse faili.

Gentoo:

/etc/modules.autoload.d/kernel-2.6

Debian:
/etc/modules

Ipmitooli paigaldamine.

Gentoo:

# emerge ipmitool

Debian:

# apt-get install ipmitool

Versiooni ja nime näeme

# ipmitool mc info
Device ID : 32
Device Revision : 1
Firmware Revision : 0.62
IPMI Version : 2.0
Manufacturer ID : 343
Manufacturer Name : Intel Corporation
Product ID : 41 (0x0029)
Product Name : S5000PSL
Device Available : yes
Provides Device SDRs : no
Additional Device Support :
Sensor Device
SDR Repository Device
SEL Device
FRU Inventory Device
IPMB Event Receiver
Chassis Device
Aux Firmware Rev Info :
0x00
0x42
0x00
0x03

===Seadistus käsureal===

Esimesena tuleks muuta vaikimisi olev administraatori parool. Antud näites on administraatori kasutajanimeks Operator ja parooliks password.

Vaatame kasutajate nimekirja

# ipmitool user list
ID Name Callin Link Auth IPMI Msg Channel Priv Limit
1 true false true NO ACCESS
2 Operator true false true ADMINISTRATOR

Muudame kasutaja Operator konto parooli

# ipmitool user set password 2
Password for user 2:
Password for user 2:

Vahel on abiks kasutaja sisse lülitada

# ipmitool user enable 2

Kiire admin kasutaja loomine (kanalisse 1 luua kasutaja 2 privileegiga 4(admin) )

# ipmitool user set name 2 admin
# ipmitool user enable 2
# ipmitool user set password 2
# ipmitool channel setaccess 1 2 link=on ipmi=on callin=on privilege=4
# ipmitool user enable 2

Enamasti hangib IPMI kontroller endale võrguaadressi DHCP abil. Olemasolevate võrguseadete vaatamine:

# ipmitool lan print
Set in Progress : Set Complete
Auth Type Support : NONE MD2 MD5 PASSWORD
Auth Type Enable : Callback : NONE MD2 MD5 PASSWORD
: User : NONE MD2 MD5 PASSWORD
: Operator : NONE MD2 MD5 PASSWORD
: Admin : NONE MD2 MD5 PASSWORD
: OEM : NONE MD2 MD5 PASSWORD
IP Address Source : DHCP Address
IP Address : 192.168.1.19
Subnet Mask : 255.255.255.0
MAC Address : 00:e0:81:b0:9c:e3
SNMP Community String : public
IP Header : TTL=0x40 Flags=0x40 Precedence=0x00 TOS=0x10
BMC ARP Control : ARP Responses Enabled, Gratuitous ARP Disabled
Gratituous ARP Intrvl : 2.0 seconds
Default Gateway IP : 192.168.1.1
Default Gateway MAC : 00:00:00:00:00:00
Backup Gateway IP : 0.0.0.0
Backup Gateway MAC : 00:00:00:00:00:00
RMCP+ Cipher Suites : 0,1,2,3,6,7,8,11,12
Cipher Suite Priv Max : aaaaaaaaaaaaaaa
: X=Cipher Suite Unused
: c=CALLBACK
: u=USER
: o=OPERATOR
: a=ADMIN
: O=OEM

Kui ei soovita DHCP kasutamist, siis tuleb kõigepealt muuta IP aadressi konfiguratsioon staatiliseks:

# ipmitool lan set 1 ipsrc static

Seejärel võib asuda võrguparameetrite seadmisele:

# ipmitool lan set 1 ipaddr 192.168.1.19
# ipmitool lan set 1 netmask 255.255.255.0
# ipmitool lan set 1 defgw ipaddr 192.168.1.1

Lubame haldusmoodulil ka ARP päringutele vastamise:

# ipmitool lan set 1 arp respond on
# ipmitool lan set 1 arp generate on
# ipmitool lan set 1 arp interval 5

Vaatame kontrolliks serveri hetkeseisu:

# ipmitool chassis status
System Power : on
Power Overload : false
Power Interlock : inactive
Main Power Fault : false
Power Control Fault : false
Power Restore Policy : always-off
Last Power Event :
Chassis Intrusion : inactive
Front-Panel Lockout : inactive
Drive Fault : false
Cooling/Fan Fault : false
Front Panel Control : none

Tutvume sensorite infoga:

# ipmitool sdr
CPU 0 Temp | 36 degrees C | ok
CPU 1 Temp | 39 degrees C | ok
Ambient Temp0 | 29 degrees C | ok
Ambient Temp1 | 35 degrees C | ok
Vcc 12V | 12.40 Volts | ok
DDRP0 1.8V | 1.83 Volts | ok
DDRP1 1.8V | 1.83 Volts | ok
Vcc 3.3V | 3.30 Volts | ok
Vcc 5V | 5.08 Volts | ok
Vcc 3.3V STB | 3.25 Volts | ok
Blower Fan 0 | 4194.40 RPM | ok
Blower Fan 1 | 4429.60 RPM | ok
Axial Fan 0 | 10579 RPM | ok
Axial Fan 1 | 10579 RPM | ok
Processor 0 | 0x00 | ok
Processor 1 | 0x00 | ok

IPMI seadmega suhtlemisel saab kasutada erinevaid Cipher Suite'isid. Seadme juures on IPMI seadistustega määratud, millise šifrit kasutamist ühe või teise privieegiga kasutaja pöördumisel eeldatakse, tavaliselt vaikimisi nii

RMCP+ Cipher Suites : 0,1,2,3,4,5,6,7,8,9,10,11,12,13,14
Cipher Suite Priv Max : Xaaaaaaaaaaaaaa
: X=Cipher Suite Unused
: c=CALLBACK
: u=USER
: o=OPERATOR
: a=ADMIN
: O=OEM

kus

* 0,1,2 ... - šifrite nimekiri (0 - ilma krüptot, 1 - Auth-HMAC-SHA1; Int = None; Conf = None), .... vt man bmc-config

0 - Authentication Algorithm = None; Integrity Algorithm = None; Confidentiality Algorithm = None
1 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = None; Confidentiality Algorithm = None
2 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = HMAC-SHA1-96; Confidentiality Algorithm = None
3 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = HMAC-SHA1-96; Confidentiality Algorithm = AES-CBC-128
...

* Xaaaaaaaaaaaaaa - šifri ja kasutaja privileegi vastavus (antud juhul ilma krüpota pöördumine on keelatud, kõigi muudega saab administaator ja temast madalama privileegiga kasutajad pöörduda)

===Kaughaldus ipmitooli abil===

Toimub käsuga

ipmitool -I lan -H HOST_IP_ADDRESS -U USERNAME -a IPMI_COMMAND

Näiteks

ipmitool -I lan -H 192.168.1.19 -U Operator -a chassis status

Restardi tegemiseks sobib käsk

ipmitool -I lan -H 10.40.4.14 -U admin -a power reset

Konsooli pilti näeb järgneva käsuga

ipmitool -I lanplus -H 192.168.1.19 -U Operator sol activate

Vähemalt ILO100 puhul näeb vaid bios'i ning loaderist
edasise pildi vaatamiseks tuleb näiteks FreeBSD'd seadistada serialkonsool manualis juhendatud viisil
http://www.freebsd.org/doc/en/books/handbook/serialconsole-setup.html või Gentoos http://www.gentoo-wiki.info/HOWTO_Linux_serial_console

Kui käsu peale teatatakse

IPMI v1.5 Serial Over Lan (ISOL) not supported!

Tuleb vastav featuur BIOSis lubada.

===Kaughaldus freeipmi abil===

iDrac seadistuste küsimiseks

# bmc-config -D LAN_2_0 -v -u root -p parool -h 10.1.200.50 --checkout | less

kus

* -D - protokoll

===Probleemid===

Probleemide korral võib proovida kontrollerile teha kas külm

# ipmitool mc reset cold
Sent cold reset command to MC

Või kuumtaaskäivitust:

# ipmitool mc reset warm
Sent warm reset command to MC

Kanaleid võib üritada otsida skriptiga

# Channel
for i in $(seq 0 10); do
response=$(ipmitool lan print ${i} 2>/dev/null|grep "IP Address Source")
if [ "$response" ]; then echo "IPMI is on channel ${i}"; channel=$i; break; fi
done

FreeBSD's tuleb '''seq''' asemel kasutada '''jot 0 10'''

===IPMI Watchdog===

TODO

Valvekoera ülesanne seisneb teha masinale reboot kui see peaks kokku jooksma või muid rumalusi tegema.

Põhimõtteliselt on seadistatud IPMI kaardile teatud ajaga mahalugemine (countdown) nt 300 sekundit, mille
möödudes masin teeb reboodi. Kuni aga deemon masinas töötab siis lükkab see näiteks iga 5 sekundi tagant
mahalugemist taas nulli ehk tagasi 300 peale. Kui nüüd juhtub masin kinni jooksma ei saa deemon enam rebooti edasi lükatata, lugemine jookseb lõpuni ja serverile tehakse restart.

Linuxi kernelisse peab olema kompileeritud eelnevalt '''IPMI Watchdog Timer''' (vaata ülespoole kerneli seadistust).

Selleks, et vaadata watchdogi infot (antud juhul ei ole watchdog sisse lülitatud)

# ipmitool mc watchdog get
Watchdog Timer Use: Reserved (0x00)
Watchdog Timer Is: Stopped
Watchdog Timer Actions: No action (0x00)
Pre-timeout interval: 0 seconds
Timer Expiration Flags: 0x00
Initial Countdown: 0 sec
Present Countdown: 0 sec

Sisselülitamiseks

# ipmitool mc watchdog on

Linuxis on deemoniks watchdogd

# watchdogd

Deemon ja IPMI suhtlevad omavahel /dev/watchdog seadme kaudu.

FreeBSDs kasutamiseks tuleb paigaldada freeipmi pakett. Freeipmi paketist tuleb kaasa utiliit bmc-watchdog nimeline utiliit.

Setup a bmc-watchdog daemon that resets the machine after 15 minutes (900 seconds) if the OS has crashed (see default bmc-watchdog rc script /etc/init.d/bmc-watchdog for a more complete example):

# bmc-watchdog -d -u 4 -p 0 -a 1 -i 900

*-d, Run bmc-watchdog as a daemon.
*-u INT, Set timer use. The timer use value can be set to one of the following: 1 = BIOS FRB2, 2 = BIOS POST, 3 = OS_LOAD, 4 = SMS OS, 5 = OEM.
*-p INT, Set pre-timeout interrupt. The pre timeout interrupt can be set to one of the following: 0 = None, 1 = SMI, 2 = NMI, 3 = Messaging Interrupt.
*-a INT, Set timeout action. The timeout action can be set to one of the following: 0 = No action, 1 = Hard Reset, 2 = Power Down, 3 = Power Cycle.
*-i SECONDS, Set initial countdown in seconds.

Lingid:

*http://blog.bofh.it/id_125

*http://www.zomers.eu/knowledge/pfSense/Pages/Configure-pfSense-2.0-RC1-to-use-Watchdog-functionality.aspx

===FreeIPMI kasutamine===

FreeIPMI http://www.gnu.org/software/freeipmi/ tarkvara võimaldab sooritada praktiliselt samu tegevusi nagu IPMItool. Tarkvara paigaldamiseks sobib öelda nt

# apt-get install freeipmi-tools

Kõigi seadistuste salvestamiseks sobib öelda

# bmc-config --checkout > bmc-config.output.txt

Sektsioonide nimekirja küsimiseks

# bmc-config -L
User1
...
User16
Lan_Channel
Lan_Conf
Lan_Conf_Auth
Lan_Conf_Security_Keys
Lan_Conf_User_Security
Lan_Conf_Misc
Rmcpplus_Conf_Privilege
Serial_Channel
Serial_Conf
SOL_Conf

Konkreetse sektsiooni seadistuste küsimiseks

# bmc-config -S Lan_Conf -o
#
# Section Lan_Conf Comments
#
# In the Lan_Conf section, typical networking configuration is setup. Most users
# will choose to set "Static" for the "IP_Address_Source" and set the
# appropriate "IP_Address", "MAC_Address", "Subnet_Mask", etc. for the machine.
#
Section Lan_Conf
## Possible values: Unspecified/Static/Use_DHCP/Use_BIOS/Use_Others
IP_Address_Source Static
## Give valid IP address
IP_Address 10.1.1.130
## Give valid MAC address
MAC_Address 00:30:05:FC:9F:80
## Give valid Subnet Mask
Subnet_Mask 255.255.255.0
## Give valid IP address
Default_Gateway_IP_Address 10.1.1.4
EndSection

Parameetri väärtuse salvestamiseks, nt

# bmc-config --commit --key-pair="lan_conf:Subnet_Mask=255.255.255.0"

Tundub, et FreeIPMI puhul on selles mõttes mõnus seadistusi muuta, et saab küsida mõne sektsiooni kohta olemasoleva seadistuse, teha tekstis vajalikud muudatused ja laadida nad sisse

TODO

===Kasulikud lisamaterjalid===

* http://www.intel.com/design/servers/ipmi/
* http://sources.redhat.com/cluster/wiki/IPMI_FencingConfig
* http://dpw.threerings.net/projects/ipmi-kmod/
* http://gfs.wikidev.net/IPMI_Fencing
* http://wiki.adamsweet.org/doku.php?id=ipmi_on_linux
* http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/topic/liaai/ipmi/BPipmi.pdf
* http://en.wikipedia.org/wiki/Out-of-band_management
* http://securfox.wordpress.com/2009/10/01/howto-setup-ipmi-under-linux-rhel-centos-5/
* http://openipmi.sourceforge.net/

IPMI

2016-11-16T10:48:12Z

Valmar:

===Sissejuhatus===

IPMI on lühend fraasist Intelligent Platform Management Interface.
Kujutab ta endast operatsioonisüsteemist sõltumatut arvutisüsteemide haldamise liidest, mille spetsifikatsiooni on loonud Intel, HP, Dell ja NEC.[http://www.intel.com/design/servers/ipmi/spec.htm] IPMI kasutamist toetab enamik serveritootjaid.
IPMI võimaldab üle tavalise TCP/IP võrgu servereid sisse-välja lülitada, vaadelda riistvara seisundit ning erinevate andurite näite (temperatuur, ventilaatorite pöörlemiskiirused jms), ''serial over LAN'' (SOL) abil suhelda serveri konsooliga, jne. Lisaks defineerib IPMI võimaluse teavitada administraatorit riistvara vigadest SNMP protokolli abil. Paljudel serveritel on IPMI vaikimisi integreeritud, osadel juhtudel on võimalik IPMI kasutamine vastava lisakaardi abil.

IPMI eelisteks on see,et ta on üsnagi hästi standardiseeritud ja töötab põhimõtteliselt kõigil tootjatel ühtemoodi. Konsool (mis IPMI puhul on serial-over-lan) võib eri IPMI versioonides olla erinevalt lahendatud, aga siiani on nad kõik siiski tööle saanud. Linuxis tuleb siis muidugi ka konsool serialporti suunata. IPMI tugev külg on eelkõige see, et häda korral saab üle SSH konsooli ja ipmitooli abil kätte nt rebooti vajava serveri suvalisest kohast ja ei pea mingite tootjaspetsiifiliste javajunnidega mässama.

Üks tavaline IPMI toega halduskaart näeb välja selline

[[Pilt:Supermicro aoc-ipmi20-e.jpg]]

IPMI kontrolleriga suhtlemiseks on olemas mitmeid vabavaralisi vahendeid, nagu ipmitool[http://ipmitool.sourceforge.net/], ipmiutil[http://ipmiutil.sourceforge.net/] ja openipmi[http://openipmi.sourceforge.net/].
Järgnevalt vaatame põgusalt IPMI kasutamist FreeBSD/Linux süsteemil ipmitool-i näitel.

===Paigaldus FreeBSD7 süsteemis===

# cd /usr/ports/sysutils/ipmitool
# make install clean

Seejärel võib anda käsu

# kldload ipmi

Ipmi mooduli püsivaks laadimiseks rida faili /boot/loader.conf

ipmi_load="YES"

===Paigaldus Linuxile===

Enamike distributsioonide kernelis on juba IPMI tugi olemas, kui see mingil põhjusel puudub siis tuleb tuuma kompileerimisel menuconfigus defineerida järgnev

Device Drivers --->
Character devices --->
<M> IPMI top-level message handler --->
--- IPMI top-level message handler
[ ] Generate a panic event to all BMCs on a panic
<M> Device interface for IPMI
<M> IPMI System Interface handler
<M> IPMI Watchdog Timer
<M> IPMI Poweroff

Ja loome ning paigaldame uued moodulid

make && make modules_install

IPMI kasutamiseks laadida moodulid

modprobe ipmi_msghandler
modprobe ipmi_si
modprobe ipmi_devintf

Kerneli teadete hulka peaksid ilmuma järgnevad read

ipmi message handler version 39.2
IPMI System Interface driver.
ipmi_si: Trying SMBIOS-specified kcs state machine at i/o address 0xca2, slave address 0x20, irq 0
ipmi: Found new BMC (man_id: 0x000157, prod_id: 0x0029, dev_id: 0x20)
IPMI kcs interface initialized

Moodulite automaatseks laadimiseks tuleb need lisada vastavasse faili.

Gentoo:

/etc/modules.autoload.d/kernel-2.6

Debian:
/etc/modules

Ipmitooli paigaldamine.

Gentoo:

# emerge ipmitool

Debian:

# apt-get install ipmitool

Versiooni ja nime näeme

# ipmitool mc info
Device ID : 32
Device Revision : 1
Firmware Revision : 0.62
IPMI Version : 2.0
Manufacturer ID : 343
Manufacturer Name : Intel Corporation
Product ID : 41 (0x0029)
Product Name : S5000PSL
Device Available : yes
Provides Device SDRs : no
Additional Device Support :
Sensor Device
SDR Repository Device
SEL Device
FRU Inventory Device
IPMB Event Receiver
Chassis Device
Aux Firmware Rev Info :
0x00
0x42
0x00
0x03

===Seadistus käsureal===

Esimesena tuleks muuta vaikimisi olev administraatori parool. Antud näites on administraatori kasutajanimeks Operator ja parooliks password.

Vaatame kasutajate nimekirja

# ipmitool user list
ID Name Callin Link Auth IPMI Msg Channel Priv Limit
1 true false true NO ACCESS
2 Operator true false true ADMINISTRATOR

Muudame kasutaja Operator konto parooli

# ipmitool user set password 2
Password for user 2:
Password for user 2:

Vahel on abiks kasutaja sisse lülitada

# ipmitool user enable 2

Kiire admin kasutaja loomine (kanalisse 1 luua kasutaja 2 privileegiga 4(admin) )

# ipmitool user set name 2 admin
# ipmitool user set password 2
# ipmitool channel setaccess 1 2 link=on ipmi=on callin=on privilege=4
# ipmitool user enable 2

Enamasti hangib IPMI kontroller endale võrguaadressi DHCP abil. Olemasolevate võrguseadete vaatamine:

# ipmitool lan print
Set in Progress : Set Complete
Auth Type Support : NONE MD2 MD5 PASSWORD
Auth Type Enable : Callback : NONE MD2 MD5 PASSWORD
: User : NONE MD2 MD5 PASSWORD
: Operator : NONE MD2 MD5 PASSWORD
: Admin : NONE MD2 MD5 PASSWORD
: OEM : NONE MD2 MD5 PASSWORD
IP Address Source : DHCP Address
IP Address : 192.168.1.19
Subnet Mask : 255.255.255.0
MAC Address : 00:e0:81:b0:9c:e3
SNMP Community String : public
IP Header : TTL=0x40 Flags=0x40 Precedence=0x00 TOS=0x10
BMC ARP Control : ARP Responses Enabled, Gratuitous ARP Disabled
Gratituous ARP Intrvl : 2.0 seconds
Default Gateway IP : 192.168.1.1
Default Gateway MAC : 00:00:00:00:00:00
Backup Gateway IP : 0.0.0.0
Backup Gateway MAC : 00:00:00:00:00:00
RMCP+ Cipher Suites : 0,1,2,3,6,7,8,11,12
Cipher Suite Priv Max : aaaaaaaaaaaaaaa
: X=Cipher Suite Unused
: c=CALLBACK
: u=USER
: o=OPERATOR
: a=ADMIN
: O=OEM

Kui ei soovita DHCP kasutamist, siis tuleb kõigepealt muuta IP aadressi konfiguratsioon staatiliseks:

# ipmitool lan set 1 ipsrc static

Seejärel võib asuda võrguparameetrite seadmisele:

# ipmitool lan set 1 ipaddr 192.168.1.19
# ipmitool lan set 1 netmask 255.255.255.0
# ipmitool lan set 1 defgw ipaddr 192.168.1.1

Lubame haldusmoodulil ka ARP päringutele vastamise:

# ipmitool lan set 1 arp respond on
# ipmitool lan set 1 arp generate on
# ipmitool lan set 1 arp interval 5

Vaatame kontrolliks serveri hetkeseisu:

# ipmitool chassis status
System Power : on
Power Overload : false
Power Interlock : inactive
Main Power Fault : false
Power Control Fault : false
Power Restore Policy : always-off
Last Power Event :
Chassis Intrusion : inactive
Front-Panel Lockout : inactive
Drive Fault : false
Cooling/Fan Fault : false
Front Panel Control : none

Tutvume sensorite infoga:

# ipmitool sdr
CPU 0 Temp | 36 degrees C | ok
CPU 1 Temp | 39 degrees C | ok
Ambient Temp0 | 29 degrees C | ok
Ambient Temp1 | 35 degrees C | ok
Vcc 12V | 12.40 Volts | ok
DDRP0 1.8V | 1.83 Volts | ok
DDRP1 1.8V | 1.83 Volts | ok
Vcc 3.3V | 3.30 Volts | ok
Vcc 5V | 5.08 Volts | ok
Vcc 3.3V STB | 3.25 Volts | ok
Blower Fan 0 | 4194.40 RPM | ok
Blower Fan 1 | 4429.60 RPM | ok
Axial Fan 0 | 10579 RPM | ok
Axial Fan 1 | 10579 RPM | ok
Processor 0 | 0x00 | ok
Processor 1 | 0x00 | ok

IPMI seadmega suhtlemisel saab kasutada erinevaid Cipher Suite'isid. Seadme juures on IPMI seadistustega määratud, millise šifrit kasutamist ühe või teise privieegiga kasutaja pöördumisel eeldatakse, tavaliselt vaikimisi nii

RMCP+ Cipher Suites : 0,1,2,3,4,5,6,7,8,9,10,11,12,13,14
Cipher Suite Priv Max : Xaaaaaaaaaaaaaa
: X=Cipher Suite Unused
: c=CALLBACK
: u=USER
: o=OPERATOR
: a=ADMIN
: O=OEM

kus

* 0,1,2 ... - šifrite nimekiri (0 - ilma krüptot, 1 - Auth-HMAC-SHA1; Int = None; Conf = None), .... vt man bmc-config

0 - Authentication Algorithm = None; Integrity Algorithm = None; Confidentiality Algorithm = None
1 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = None; Confidentiality Algorithm = None
2 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = HMAC-SHA1-96; Confidentiality Algorithm = None
3 - Authentication Algorithm = HMAC-SHA1; Integrity Algorithm = HMAC-SHA1-96; Confidentiality Algorithm = AES-CBC-128
...

* Xaaaaaaaaaaaaaa - šifri ja kasutaja privileegi vastavus (antud juhul ilma krüpota pöördumine on keelatud, kõigi muudega saab administaator ja temast madalama privileegiga kasutajad pöörduda)

===Kaughaldus ipmitooli abil===

Toimub käsuga

ipmitool -I lan -H HOST_IP_ADDRESS -U USERNAME -a IPMI_COMMAND

Näiteks

ipmitool -I lan -H 192.168.1.19 -U Operator -a chassis status

Restardi tegemiseks sobib käsk

ipmitool -I lan -H 10.40.4.14 -U admin -a power reset

Konsooli pilti näeb järgneva käsuga

ipmitool -I lanplus -H 192.168.1.19 -U Operator sol activate

Vähemalt ILO100 puhul näeb vaid bios'i ning loaderist
edasise pildi vaatamiseks tuleb näiteks FreeBSD'd seadistada serialkonsool manualis juhendatud viisil
http://www.freebsd.org/doc/en/books/handbook/serialconsole-setup.html või Gentoos http://www.gentoo-wiki.info/HOWTO_Linux_serial_console

Kui käsu peale teatatakse

IPMI v1.5 Serial Over Lan (ISOL) not supported!

Tuleb vastav featuur BIOSis lubada.

===Kaughaldus freeipmi abil===

iDrac seadistuste küsimiseks

# bmc-config -D LAN_2_0 -v -u root -p parool -h 10.1.200.50 --checkout | less

kus

* -D - protokoll

===Probleemid===

Probleemide korral võib proovida kontrollerile teha kas külm

# ipmitool mc reset cold
Sent cold reset command to MC

Või kuumtaaskäivitust:

# ipmitool mc reset warm
Sent warm reset command to MC

Kanaleid võib üritada otsida skriptiga

# Channel
for i in $(seq 0 10); do
response=$(ipmitool lan print ${i} 2>/dev/null|grep "IP Address Source")
if [ "$response" ]; then echo "IPMI is on channel ${i}"; channel=$i; break; fi
done

FreeBSD's tuleb '''seq''' asemel kasutada '''jot 0 10'''

===IPMI Watchdog===

TODO

Valvekoera ülesanne seisneb teha masinale reboot kui see peaks kokku jooksma või muid rumalusi tegema.

Põhimõtteliselt on seadistatud IPMI kaardile teatud ajaga mahalugemine (countdown) nt 300 sekundit, mille
möödudes masin teeb reboodi. Kuni aga deemon masinas töötab siis lükkab see näiteks iga 5 sekundi tagant
mahalugemist taas nulli ehk tagasi 300 peale. Kui nüüd juhtub masin kinni jooksma ei saa deemon enam rebooti edasi lükatata, lugemine jookseb lõpuni ja serverile tehakse restart.

Linuxi kernelisse peab olema kompileeritud eelnevalt '''IPMI Watchdog Timer''' (vaata ülespoole kerneli seadistust).

Selleks, et vaadata watchdogi infot (antud juhul ei ole watchdog sisse lülitatud)

# ipmitool mc watchdog get
Watchdog Timer Use: Reserved (0x00)
Watchdog Timer Is: Stopped
Watchdog Timer Actions: No action (0x00)
Pre-timeout interval: 0 seconds
Timer Expiration Flags: 0x00
Initial Countdown: 0 sec
Present Countdown: 0 sec

Sisselülitamiseks

# ipmitool mc watchdog on

Linuxis on deemoniks watchdogd

# watchdogd

Deemon ja IPMI suhtlevad omavahel /dev/watchdog seadme kaudu.

FreeBSDs kasutamiseks tuleb paigaldada freeipmi pakett. Freeipmi paketist tuleb kaasa utiliit bmc-watchdog nimeline utiliit.

Setup a bmc-watchdog daemon that resets the machine after 15 minutes (900 seconds) if the OS has crashed (see default bmc-watchdog rc script /etc/init.d/bmc-watchdog for a more complete example):

# bmc-watchdog -d -u 4 -p 0 -a 1 -i 900

*-d, Run bmc-watchdog as a daemon.
*-u INT, Set timer use. The timer use value can be set to one of the following: 1 = BIOS FRB2, 2 = BIOS POST, 3 = OS_LOAD, 4 = SMS OS, 5 = OEM.
*-p INT, Set pre-timeout interrupt. The pre timeout interrupt can be set to one of the following: 0 = None, 1 = SMI, 2 = NMI, 3 = Messaging Interrupt.
*-a INT, Set timeout action. The timeout action can be set to one of the following: 0 = No action, 1 = Hard Reset, 2 = Power Down, 3 = Power Cycle.
*-i SECONDS, Set initial countdown in seconds.

Lingid:

*http://blog.bofh.it/id_125

*http://www.zomers.eu/knowledge/pfSense/Pages/Configure-pfSense-2.0-RC1-to-use-Watchdog-functionality.aspx

===FreeIPMI kasutamine===

FreeIPMI http://www.gnu.org/software/freeipmi/ tarkvara võimaldab sooritada praktiliselt samu tegevusi nagu IPMItool. Tarkvara paigaldamiseks sobib öelda nt

# apt-get install freeipmi-tools

Kõigi seadistuste salvestamiseks sobib öelda

# bmc-config --checkout > bmc-config.output.txt

Sektsioonide nimekirja küsimiseks

# bmc-config -L
User1
...
User16
Lan_Channel
Lan_Conf
Lan_Conf_Auth
Lan_Conf_Security_Keys
Lan_Conf_User_Security
Lan_Conf_Misc
Rmcpplus_Conf_Privilege
Serial_Channel
Serial_Conf
SOL_Conf

Konkreetse sektsiooni seadistuste küsimiseks

# bmc-config -S Lan_Conf -o
#
# Section Lan_Conf Comments
#
# In the Lan_Conf section, typical networking configuration is setup. Most users
# will choose to set "Static" for the "IP_Address_Source" and set the
# appropriate "IP_Address", "MAC_Address", "Subnet_Mask", etc. for the machine.
#
Section Lan_Conf
## Possible values: Unspecified/Static/Use_DHCP/Use_BIOS/Use_Others
IP_Address_Source Static
## Give valid IP address
IP_Address 10.1.1.130
## Give valid MAC address
MAC_Address 00:30:05:FC:9F:80
## Give valid Subnet Mask
Subnet_Mask 255.255.255.0
## Give valid IP address
Default_Gateway_IP_Address 10.1.1.4
EndSection

Parameetri väärtuse salvestamiseks, nt

# bmc-config --commit --key-pair="lan_conf:Subnet_Mask=255.255.255.0"

Tundub, et FreeIPMI puhul on selles mõttes mõnus seadistusi muuta, et saab küsida mõne sektsiooni kohta olemasoleva seadistuse, teha tekstis vajalikud muudatused ja laadida nad sisse

TODO

===Kasulikud lisamaterjalid===

* http://www.intel.com/design/servers/ipmi/
* http://sources.redhat.com/cluster/wiki/IPMI_FencingConfig
* http://dpw.threerings.net/projects/ipmi-kmod/
* http://gfs.wikidev.net/IPMI_Fencing
* http://wiki.adamsweet.org/doku.php?id=ipmi_on_linux
* http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/topic/liaai/ipmi/BPipmi.pdf
* http://en.wikipedia.org/wiki/Out-of-band_management
* http://securfox.wordpress.com/2009/10/01/howto-setup-ipmi-under-linux-rhel-centos-5/
* http://openipmi.sourceforge.net/

Zentyal

2016-11-15T10:49:30Z

Valmar:

=== Zentyal 4.2 ===

Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4, OpenLDAP-i
ja Openchange-i, pakkudes sealjuures graafilist veebiliidest kogu kompoti seadistamiseks. Liides on loogilise ülesehitusega, aga seadistusvõimalused vähesed.

Zentyali disain on modulaarne, mis tähendab et mooduleid võib aktiveerida ja deaktiveerida vastavalt vajadusele. Ka uuendusi pakutakse erinevatele moodulitele
ja utiliitidele eraldi, kusjuures kasutaja teeb läbi veebiliidese täpse valiku, mida uuendada.

Zentyal pakub järgmisi teenuseid:

E-post
*Vaikimisi(native) ühilduv Microsoft® Exchange Server Protokollidega
*Microsoft Outlook® 2007, 2010 tugi (Zentyal 4.2 sai meil edukalt hakkama ka OL 2013-ga)
*Vakimisi ühilduv Microsoft Active Directory®-ga
*Mitme virtuaalse e-posti domeeni võimekus
*E-post, kalendrid(sündmused ühilduvad ka Thunderbird-ga), kontaktid
*E-posti sirvimise veebikeskkond (SOGo)
*Sünkroniseerimine mobiilsete seadmetega (ActiveSync® tugi)
*Antiviirus and antispämm
*Faililaiendite ja MIME tüüpide filtrid

Võrguteenused ja tulemüür
*Staatiline ja DHCP liidestatavus
*Packet Filter tulemüür
*Lüüside(port) suunamine

Domeen ja kataloog
*Keskne domeenikataloogi haldus
*Kasutajad, Turvagrupid(security group), jaotusnimekirjad(distribution list), kontaktid
*Mitmed organisatsiooni ükdused (OU)
*Ühekordne Sisselogimine (SSO)
*Toetatud operatsioonisüsteemid: Windows® XP, Windows Vista®, Windows® 7, Windows® 8
*Failivahetus Windows keskkonnas (CIFS)
*Kasutajate ja gruppide pääsuloendid (ACL)
*Põhjalik domeeni haldus läbi Remote Server Administration Toolkit-i
*Printerite haldus
*Antiviirus karantiiniga failiserveri jaoks

Infrastruktuur
*DNS server
*DHCP server
*NTP server
*Sertifitseerimisasutus (CA)
*VPN server ja klient

=== Zentyali paigaldamine ===
Zentyal on saadaval nii kommertstoega kui ''Development Edition''-ina. Vahe on vaid töövoos, kuna funktsionaalsus piiratud ei ole, aga DE on kommertsversioonile uuenduste viimaseks katsejäneseks.
Siinkohal vaatleme just ''Development Edition''-it.

Zentyali võib paigaldada kahte moodi:
*Laadides nende veebisaidilt alla täispaki, mille paigaldus toimub nagu Ubuntu oma. Kõik lisaliigutused tehakse kasutaja eest ära. Paigaldusjuhendi leiab [https://wiki.zentyal.org/wiki/En/4.1/Installation siit].
*Paigaldades Ubuntu Serveri, vastava tarkvararepositooriumi ja seejärel Zentyali käsitsi.

Paigalda,e Ubuntu Serveri ja seadistame selle ligipääsuks internetile. Vaikekasutajaks mitte määrata 'administrator' selle duplikeerituse tõttu Windowsi domeenis. Ubuntu paigaldamise käigus loodud
kasutaja omab vaikimisi ainsana õigust Zentyali veebikeskkonda logida.

Lisame repositooriumi:
echo "deb http://archive.zentyal.org/zentyal 4.2 main" >> /etc/apt/sources.list
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.2-archive.asc -O- | sudo apt-key add -

Paigaldame pakid:
apt update
apt install zentyal
Paigalduse käigus tuleb määrata MySQL serveri juurkasutaja parool.

Lisaks on võimalik paigaldada täielikult graafiline kasutajakeskkond:
apt install zenbuntu-desktop
Graafilise keskkonna paigaldamisel lisatakse baaspakid ja peale taaskäivitust saab paigaldust jätkata tavapärasel moel.
Vajadusel võib pakke paigaldada ka käsurealt, näiteks:
apt install zentyal-mail
või kõik pakid:
apt install zentyal-all

Veebiliidesele ligipääsemiseks suuname veebilehitseja paigaldatud serveri IP aadressile:
https://<IP>/
Vaikimisi saab sisse logida vaid Ubuntu paigalduse käigus loodud kasutajaga.
Et teha veebiliides ligipääsetavaks teistele kasutajatele, tuleb nad lisada sudo gruppi:
usermod kasutaja -aG sudo

=== Esmane seadistus ===

Veebiliideses tuleb esmalt lõpule viia Zentyali paigaldus:

[[Pilt:Z1.png]]

[[Pilt:Z2.png]]

Järgmise kahe lehekülje peale valime paigaldatavad pakid. Kahjuks ei ole enam enne järgmisele lehele navigeerimist näha,
milline kompott milliseid marju sisaldab, seega on parem paigaldada kõik pakid ja pärast deaktiveerida need, mida vaja ei lähe.
[[Pilt:Z3.png]]

[[Pilt:Z4.png]]

Järgmiseks valime, millised võrguliidesed on sisevõrgu ja millised välisvõrgu jaoks (kui üldse).

[[Pilt:Z5.png]]

Seadistame võrguliidesed:

[[Pilt:Z6.png]]

Valime serveri tüübi:

1. Eraldiseisev või peamine domeenikontroller.

2. "ori"(replikeeritud) domeenikontroller.

3. Liidestus olemasoleva Windows Active Directory domeeniga.

Valime serverile ka domeeninimi, mida kasutatakse Kerberose (realm)-na kasutajate autentimiseks.

[[Pilt:Z7.png]]

Valime meilidomeeni nime (peab erinema eelmisest, Kerberos realmist):

[[Pilt:Z8.png]]

Anname nime esimesele OpenChange organisatsioonile:

[[Pilt:Z9.png]]

Esmasel veebiliidese kasutamisel on hea teha uuendused, vajutades sinna kus pildil roheliselt kirjas ''no updates'' ja valides pakid, mida uuendada soovite. Alguses on hea uuendada kõik:

[[Pilt:Z10.png]]

=== Uuendamine ===

[[Pilt:softmanagement.png]]

Uuendada on võimalik nii Zentyali komponente kui süsteemseid utiliite-teenuseid eraldi, tehes ise valiku.

''Settings'' võimaldab ka seadistada automaatse uuenduse iga päev kindlal kellaajal.

=== Varundus ===

=== Domeeni haldus ===

'''Kasutajate malli haldus'''

Seadistatud malli järgi luuakse vaikimisi kõik kasutajad. Hiljem on muudatusi võimalik teha personaalselt.

[[Pilt:usertemplate.png]]

Malliga või personaalselt määratud kodukausta kvoot mõjub ka samba jagudele. Kui jaos on piisavalt ruumi ja kvoodid on
üldiselt deaktiveeritud aga ühele kasutajale on seatud personaalne kvoot, saab ta jaole laadida ainult kuni oma kvoodi
jagu andmeid ja seda vaid juhul kui (kvoot - jaol olevad andmed) = piisavalt ruumi.

'''samba jagude haldus'''

'''Kasutajate, gruppide ja kontaktide loomine ja seadistamine'''

'''Windows tööjaama lisamine domeeni'''

'''Domeeni haldus tööjaamast Windowsi vahenditega'''

=== E-posti seadistamine ===

'''Postidomeenid, aliased ja listide emuleerimine'''
'''Printserver'''
Printserveriks on CUPS, mille veebiliidesesse pääseb läbi peamenüü valiku Printers>> CUPS Web Interface.
Veateate Bad Request puhul ei pruugi CUPS server kogu võrgule ligi pääseda. Selleks tekitada alias:

cat >> /etc/zentyal/hooks/printers.postsetconf <<'EOT'
echo "ServerAlias printserver.domeen.ee" | tee -a /etc/cups/cupsd.conf
EOT

Taaskäivitada teenus:

service cups restart

CUPSi veebikeskkonda saab sisse logida Zentyali halduskontodega.

'''OpenChange seadistamine'''

'''ActiveSync paigaldus'''

Et Exchange-i kasutavad kliendid e-posti serveriga suhelda oskaksid ja meilide kohalejõudmisest äpid
ka teada saaksid, tuleb Zentyalile paigaldada ActiveSync. Käsureal:

apt-get install sogo-activesync

Võimalik et Zentyali veeb kurdab ka et midagi on poolikult konfitud ja tuleb käsureal:
dpkg --configure -a

Peale seda saab Zentyali veebikeskkonnas (menüüst valida Openchange ja navigeerides lehe alaosasse) aktiveerida ActiveSync-i.

=== Zentyali Postconf ===
Käsurealt sisestatud seadistused ei pruugi üle elada Zentyali moodulite versiooniuuendusi. Graafilise liidese väliselt tehtud
muudatuste kindlustamiseks on paigaldusjärgne konfiguratsioon, mis on seadistatav haakidena. Näiteks cups seadistamiseks:

cat >> /etc/zentyal/hooks/printers.postsetconf <<'EOT'
echo "ServerAlias printserver.domeen.ee" | tee -a /etc/cups/cupsd.conf
EOT

FQDN intraneti domeeni puhul ei tööta, sel puhul kasutada server.peadomeen.ee mitte server.intra.peadomeen.ee.
Muuda fail käivitatavaks:

chmod +x /etc/zentyal/hooks/printers.postsetconf

Zentyal

2016-11-15T10:10:08Z

Valmar:

=== Zentyal 4.2 ===

Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4, OpenLDAP-i
ja Openchange-i, pakkudes sealjuures graafilist veebiliidest kogu kompoti seadistamiseks. Liides on loogilise ülesehitusega, aga seadistusvõimalused vähesed.

Zentyali disain on modulaarne, mis tähendab et mooduleid võib aktiveerida ja deaktiveerida vastavalt vajadusele. Ka uuendusi pakutakse erinevatele moodulitele
ja utiliitidele eraldi, kusjuures kasutaja teeb läbi veebiliidese täpse valiku, mida uuendada.

Zentyal pakub järgmisi teenuseid:

E-post
*Vaikimisi(native) ühilduv Microsoft® Exchange Server Protokollidega
*Microsoft Outlook® 2007, 2010 tugi (Zentyal 4.2 sai meil edukalt hakkama ka OL 2013-ga)
*Vakimisi ühilduv Microsoft Active Directory®-ga
*Mitme virtuaalse e-posti domeeni võimekus
*E-post, kalendrid(sündmused ühilduvad ka Thunderbird-ga), kontaktid
*E-posti sirvimise veebikeskkond (SOGo)
*Sünkroniseerimine mobiilsete seadmetega (ActiveSync® tugi)
*Antiviirus and antispämm
*Faililaiendite ja MIME tüüpide filtrid

Võrguteenused ja tulemüür
*Staatiline ja DHCP liidestatavus
*Packet Filter tulemüür
*Lüüside(port) suunamine

Domeen ja kataloog
*Keskne domeenikataloogi haldus
*Kasutajad, Turvagrupid(security group), jaotusnimekirjad(distribution list), kontaktid
*Mitmed organisatsiooni ükdused (OU)
*Ühekordne Sisselogimine (SSO)
*Toetatud operatsioonisüsteemid: Windows® XP, Windows Vista®, Windows® 7, Windows® 8
*Failivahetus Windows keskkonnas (CIFS)
*Kasutajate ja gruppide pääsuloendid (ACL)
*Põhjalik domeeni haldus läbi Remote Server Administration Toolkit-i
*Printerite haldus
*Antiviirus karantiiniga failiserveri jaoks

Infrastruktuur
*DNS server
*DHCP server
*NTP server
*Sertifitseerimisasutus (CA)
*VPN server ja klient

=== Zentyali paigaldamine ===
Zentyal on saadaval nii kommertstoega kui ''Development Edition''-ina. Vahe on vaid töövoos, kuna funktsionaalsus piiratud ei ole, aga DE on kommertsversioonile uuenduste viimaseks katsejäneseks.
Siinkohal vaatleme just ''Development Edition''-it.

Zentyali võib paigaldada kahte moodi:
*Laadides nende veebisaidilt alla täispaki, mille paigaldus toimub nagu Ubuntu oma. Kõik lisaliigutused tehakse kasutaja eest ära. Paigaldusjuhendi leiab [https://wiki.zentyal.org/wiki/En/4.1/Installation siit].
*Paigaldades Ubuntu Serveri, vastava tarkvararepositooriumi ja seejärel Zentyali käsitsi.

Paigalda,e Ubuntu Serveri ja seadistame selle ligipääsuks internetile. Vaikekasutajaks mitte määrata 'administrator' selle duplikeerituse tõttu Windowsi domeenis. Ubuntu paigaldamise käigus loodud
kasutaja omab vaikimisi ainsana õigust Zentyali veebikeskkonda logida.

Lisame repositooriumi:
echo "deb http://archive.zentyal.org/zentyal 4.2 main" >> /etc/apt/sources.list
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.2-archive.asc -O- | sudo apt-key add -

Paigaldame pakid:
apt update
apt install zentyal
Paigalduse käigus tuleb määrata MySQL serveri juurkasutaja parool.

Lisaks on võimalik paigaldada täielikult graafiline kasutajakeskkond:
apt install zenbuntu-desktop
Graafilise keskkonna paigaldamisel lisatakse baaspakid ja peale taaskäivitust saab paigaldust jätkata tavapärasel moel.
Vajadusel võib pakke paigaldada ka käsurealt, näiteks:
apt install zentyal-mail
või kõik pakid:
apt install zentyal-all

Veebiliidesele ligipääsemiseks suuname veebilehitseja paigaldatud serveri IP aadressile:
https://<IP>/
Vaikimisi saab sisse logida vaid Ubuntu paigalduse käigus loodud kasutajaga.
Et teha veebiliides ligipääsetavaks teistele kasutajatele, tuleb nad lisada sudo gruppi:
usermod kasutaja -aG sudo

=== Esmane seadistus ===

Veebiliideses tuleb esmalt lõpule viia Zentyali paigaldus:

[[Pilt:Z1.png]]

[[Pilt:Z2.png]]

Järgmise kahe lehekülje peale valime paigaldatavad pakid. Kahjuks ei ole enam enne järgmisele lehele navigeerimist näha,
milline kompott milliseid marju sisaldab, seega on parem paigaldada kõik pakid ja pärast deaktiveerida need, mida vaja ei lähe.
[[Pilt:Z3.png]]

[[Pilt:Z4.png]]

Järgmiseks valime, millised võrguliidesed on sisevõrgu ja millised välisvõrgu jaoks (kui üldse).

[[Pilt:Z5.png]]

Seadistame võrguliidesed:

[[Pilt:Z6.png]]

Valime serveri tüübi:

1. Eraldiseisev või peamine domeenikontroller.

2. "ori"(replikeeritud) domeenikontroller.

3. Liidestus olemasoleva Windows Active Directory domeeniga.

Valime serverile ka domeeninimi, mida kasutatakse Kerberose (realm)-na kasutajate autentimiseks.

[[Pilt:Z7.png]]

Valime meilidomeeni nime (peab erinema eelmisest, Kerberos realmist):

[[Pilt:Z8.png]]

Anname nime esimesele OpenChange organisatsioonile:

[[Pilt:Z9.png]]

Esmasel veebiliidese kasutamisel on hea teha uuendused, vajutades sinna kus pildil roheliselt kirjas ''no updates'' ja valides pakid, mida uuendada soovite. Alguses on hea uuendada kõik:

[[Pilt:Z10.png]]

=== Uuendamine ===

[[Pilt:softmanagement.png]]

Uuendada on võimalik nii Zentyali komponente kui süsteemseid utiliite-teenuseid eraldi, tehes ise valiku.

''Settings'' võimaldab ka seadistada automaatse uuenduse iga päev kindlal kellaajal.

=== Varundus ===

=== Domeeni haldus ===

'''Kasutajate malli haldus'''

Seadistatud malli järgi luuakse vaikimisi kõik kasutajad. Hiljem on muudatusi võimalik teha personaalselt.

[[Pilt:usertemplate.png]]

Malliga või personaalselt määratud kodukausta kvoot mõjub ka samba jagudele. Kui jaos on piisavalt ruumi ja kvoodid on
üldiselt deaktiveeritud aga ühele kasutajale on seatud personaalne kvoot, saab ta jaole laadida ainult kuni oma kvoodi
jagu andmeid ja seda vaid juhul kui (kvoot - jaol olevad andmed) = piisavalt ruumi.

'''samba jagude haldus'''

'''Kasutajate, gruppide ja kontaktide loomine ja seadistamine'''

'''Windows tööjaama lisamine domeeni'''

'''Domeeni haldus tööjaamast Windowsi vahenditega'''

=== E-posti seadistamine ===

'''Postidomeenid, aliased ja listide emuleerimine'''

'''OpenChange seadistamine'''

'''ActiveSync paigaldus'''

Et Exchange-i kasutavad kliendid e-posti serveriga suhelda oskaksid ja meilide kohalejõudmisest äpid
ka teada saaksid, tuleb Zentyalile paigaldada ActiveSync. Käsureal:

apt-get install sogo-activesync

Võimalik et Zentyali veeb kurdab ka et midagi on poolikult konfitud ja tuleb käsureal:
dpkg --configure -a

Peale seda saab Zentyali veebikeskkonnas (menüüst valida Openchange ja navigeerides lehe alaosasse) aktiveerida ActiveSync-i.

=== Zentyali Postconf ===
Käsurealt sisestatud seadistused ei pruugi üle elada Zentyali moodulite versiooniuuendusi. Graafilise liidese väliselt tehtud
muudatuste kindlustamiseks on paigaldusjärgne konfiguratsioon, mis on seadistatav haakidena. Näiteks cups seadistamiseks:

cat >> /etc/zentyal/hooks/printers.postsetconf <<'EOT'
FQDN=`domainname -f`
echo "ServerAlias $FQDN" | tee -a /etc/cups/cupsd.conf
EOT

Muuda fail käivitatavaks:

chmod +x /etc/zentyal/hooks/printers.postsetconf

Zentyal

2016-11-09T15:01:41Z

Valmar: /* Uuendamine */

=== Zentyal 4.2 ===

Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4, OpenLDAP-i
ja Openchange-i, pakkudes sealjuures graafilist veebiliidest kogu kompoti seadistamiseks. Liides on loogilise ülesehitusega, aga seadistusvõimalused vähesed.

Zentyali disain on modulaarne, mis tähendab et mooduleid võib aktiveerida ja deaktiveerida vastavalt vajadusele. Ka uuendusi pakutakse erinevatele moodulitele
ja utiliitidele eraldi, kusjuures kasutaja teeb läbi veebiliidese täpse valiku, mida uuendada.

Zentyal pakub järgmisi teenuseid:

E-post
*Vaikimisi(native) ühilduv Microsoft® Exchange Server Protokollidega
*Microsoft Outlook® 2007, 2010 tugi (Zentyal 4.2 sai meil edukalt hakkama ka OL 2013-ga)
*Vakimisi ühilduv Microsoft Active Directory®-ga
*Mitme virtuaalse e-posti domeeni võimekus
*E-post, kalendrid(sündmused ühilduvad ka Thunderbird-ga), kontaktid
*E-posti sirvimise veebikeskkond (SOGo)
*Sünkroniseerimine mobiilsete seadmetega (ActiveSync® tugi)
*Antiviirus and antispämm
*Faililaiendite ja MIME tüüpide filtrid

Võrguteenused ja tulemüür
*Staatiline ja DHCP liidestatavus
*Packet Filter tulemüür
*Lüüside(port) suunamine

Domeen ja kataloog
*Keskne domeenikataloogi haldus
*Kasutajad, Turvagrupid(security group), jaotusnimekirjad(distribution list), kontaktid
*Mitmed organisatsiooni ükdused (OU)
*Ühekordne Sisselogimine (SSO)
*Toetatud operatsioonisüsteemid: Windows® XP, Windows Vista®, Windows® 7, Windows® 8
*Failivahetus Windows keskkonnas (CIFS)
*Kasutajate ja gruppide pääsuloendid (ACL)
*Põhjalik domeeni haldus läbi Remote Server Administration Toolkit-i
*Printerite haldus
*Antiviirus karantiiniga failiserveri jaoks

Infrastruktuur
*DNS server
*DHCP server
*NTP server
*Sertifitseerimisasutus (CA)
*VPN server ja klient

=== Zentyali paigaldamine ===
Zentyal on saadaval nii kommertstoega kui ''Development Edition''-ina. Vahe on vaid töövoos, kuna funktsionaalsus piiratud ei ole, aga DE on kommertsversioonile uuenduste viimaseks katsejäneseks.
Siinkohal vaatleme just ''Development Edition''-it.

Zentyali võib paigaldada kahte moodi:
*Laadides nende veebisaidilt alla täispaki, mille paigaldus toimub nagu Ubuntu oma. Kõik lisaliigutused tehakse kasutaja eest ära. Paigaldusjuhendi leiab [https://wiki.zentyal.org/wiki/En/4.1/Installation siit].
*Paigaldades Ubuntu Serveri, vastava tarkvararepositooriumi ja seejärel Zentyali käsitsi.

Paigalda,e Ubuntu Serveri ja seadistame selle ligipääsuks internetile. Vaikekasutajaks mitte määrata 'administrator' selle duplikeerituse tõttu Windowsi domeenis. Ubuntu paigaldamise käigus loodud
kasutaja omab vaikimisi ainsana õigust Zentyali veebikeskkonda logida.

Lisame repositooriumi:
echo "deb http://archive.zentyal.org/zentyal 4.2 main" >> /etc/apt/sources.list
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.2-archive.asc -O- | sudo apt-key add -

Paigaldame pakid:
apt update
apt install zentyal
Paigalduse käigus tuleb määrata MySQL serveri juurkasutaja parool.

Lisaks on võimalik paigaldada täielikult graafiline kasutajakeskkond:
apt install zenbuntu-desktop
Graafilise keskkonna paigaldamisel lisatakse baaspakid ja peale taaskäivitust saab paigaldust jätkata tavapärasel moel.
Vajadusel võib pakke paigaldada ka käsurealt, näiteks:
apt install zentyal-mail
või kõik pakid:
apt install zentyal-all

Veebiliidesele ligipääsemiseks suuname veebilehitseja paigaldatud serveri IP aadressile:
https://<IP>/
Vaikimisi saab sisse logida vaid Ubuntu paigalduse käigus loodud kasutajaga.
Et teha veebiliides ligipääsetavaks teistele kasutajatele, tuleb nad lisada sudo gruppi:
usermod kasutaja -aG sudo

=== Esmane seadistus ===

Veebiliideses tuleb esmalt lõpule viia Zentyali paigaldus:

[[Pilt:Z1.png]]

[[Pilt:Z2.png]]

Järgmise kahe lehekülje peale valime paigaldatavad pakid. Kahjuks ei ole enam enne järgmisele lehele navigeerimist näha,
milline kompott milliseid marju sisaldab, seega on parem paigaldada kõik pakid ja pärast deaktiveerida need, mida vaja ei lähe.
[[Pilt:Z3.png]]

[[Pilt:Z4.png]]

Järgmiseks valime, millised võrguliidesed on sisevõrgu ja millised välisvõrgu jaoks (kui üldse).

[[Pilt:Z5.png]]

Seadistame võrguliidesed:

[[Pilt:Z6.png]]

Valime serveri tüübi:

1. Eraldiseisev või peamine domeenikontroller.

2. "ori"(replikeeritud) domeenikontroller.

3. Liidestus olemasoleva Windows Active Directory domeeniga.

Valime serverile ka domeeninimi, mida kasutatakse Kerberose (realm)-na kasutajate autentimiseks.

[[Pilt:Z7.png]]

Valime meilidomeeni nime (peab erinema eelmisest, Kerberos realmist):

[[Pilt:Z8.png]]

Anname nime esimesele OpenChange organisatsioonile:

[[Pilt:Z9.png]]

Esmasel veebiliidese kasutamisel on hea teha uuendused, vajutades sinna kus pildil roheliselt kirjas ''no updates'' ja valides pakid, mida uuendada soovite. Alguses on hea uuendada kõik:

[[Pilt:Z10.png]]

=== Uuendamine ===

[[Pilt:softmanagement.png]]

Uuendada on võimalik nii Zentyali komponente kui süsteemseid utiliite-teenuseid eraldi, tehes ise valiku.

''Settings'' võimaldab ka seadistada automaatse uuenduse iga päev kindlal kellaajal.

=== Varundus ===

=== Domeeni haldus ===

'''Kasutajate malli haldus'''

Seadistatud malli järgi luuakse vaikimisi kõik kasutajad. Hiljem on muudatusi võimalik teha personaalselt.

[[Pilt:usertemplate.png]]

Malliga või personaalselt määratud kodukausta kvoot mõjub ka samba jagudele. Kui jaos on piisavalt ruumi ja kvoodid on
üldiselt deaktiveeritud aga ühele kasutajale on seatud personaalne kvoot, saab ta jaole laadida ainult kuni oma kvoodi
jagu andmeid ja seda vaid juhul kui (kvoot - jaol olevad andmed) = piisavalt ruumi.

'''samba jagude haldus'''

'''Kasutajate, gruppide ja kontaktide loomine ja seadistamine'''

'''Windows tööjaama lisamine domeeni'''

'''Domeeni haldus tööjaamast Windowsi vahenditega'''

=== E-posti seadistamine ===

'''Postidomeenid, aliased ja listide emuleerimine'''

'''OpenChange seadistamine'''

'''ActiveSync paigaldus'''

Et Exchange-i kasutavad kliendid e-posti serveriga suhelda oskaksid ja meilide kohalejõudmisest äpid
ka teada saaksid, tuleb Zentyalile paigaldada ActiveSync. Käsureal:

apt-get install sogo-activesync

Võimalik et Zentyali veeb kurdab ka et midagi on poolikult konfitud ja tuleb käsureal:
dpkg --configure -a

Peale seda saab Zentyali veebikeskkonnas (menüüst valida Openchange ja navigeerides lehe alaosasse) aktiveerida ActiveSync-i.

Fail:Softmanagement.png

2016-11-09T14:59:03Z

Valmar:

Zentyal

2016-11-09T14:07:08Z

Valmar:

=== Zentyal 4.2 ===

Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4, OpenLDAP-i
ja Openchange-i, pakkudes sealjuures graafilist veebiliidest kogu kompoti seadistamiseks. Liides on loogilise ülesehitusega, aga seadistusvõimalused vähesed.

Zentyali disain on modulaarne, mis tähendab et mooduleid võib aktiveerida ja deaktiveerida vastavalt vajadusele. Ka uuendusi pakutakse erinevatele moodulitele
ja utiliitidele eraldi, kusjuures kasutaja teeb läbi veebiliidese täpse valiku, mida uuendada.

Zentyal pakub järgmisi teenuseid:

E-post
*Vaikimisi(native) ühilduv Microsoft® Exchange Server Protokollidega
*Microsoft Outlook® 2007, 2010 tugi (Zentyal 4.2 sai meil edukalt hakkama ka OL 2013-ga)
*Vakimisi ühilduv Microsoft Active Directory®-ga
*Mitme virtuaalse e-posti domeeni võimekus
*E-post, kalendrid(sündmused ühilduvad ka Thunderbird-ga), kontaktid
*E-posti sirvimise veebikeskkond (SOGo)
*Sünkroniseerimine mobiilsete seadmetega (ActiveSync® tugi)
*Antiviirus and antispämm
*Faililaiendite ja MIME tüüpide filtrid

Võrguteenused ja tulemüür
*Staatiline ja DHCP liidestatavus
*Packet Filter tulemüür
*Lüüside(port) suunamine

Domeen ja kataloog
*Keskne domeenikataloogi haldus
*Kasutajad, Turvagrupid(security group), jaotusnimekirjad(distribution list), kontaktid
*Mitmed organisatsiooni ükdused (OU)
*Ühekordne Sisselogimine (SSO)
*Toetatud operatsioonisüsteemid: Windows® XP, Windows Vista®, Windows® 7, Windows® 8
*Failivahetus Windows keskkonnas (CIFS)
*Kasutajate ja gruppide pääsuloendid (ACL)
*Põhjalik domeeni haldus läbi Remote Server Administration Toolkit-i
*Printerite haldus
*Antiviirus karantiiniga failiserveri jaoks

Infrastruktuur
*DNS server
*DHCP server
*NTP server
*Sertifitseerimisasutus (CA)
*VPN server ja klient

=== Zentyali paigaldamine ===
Zentyal on saadaval nii kommertstoega kui ''Development Edition''-ina. Vahe on vaid töövoos, kuna funktsionaalsus piiratud ei ole, aga DE on kommertsversioonile uuenduste viimaseks katsejäneseks.
Siinkohal vaatleme just ''Development Edition''-it.

Zentyali võib paigaldada kahte moodi:
*Laadides nende veebisaidilt alla täispaki, mille paigaldus toimub nagu Ubuntu oma. Kõik lisaliigutused tehakse kasutaja eest ära. Paigaldusjuhendi leiab [https://wiki.zentyal.org/wiki/En/4.1/Installation siit].
*Paigaldades Ubuntu Serveri, vastava tarkvararepositooriumi ja seejärel Zentyali käsitsi.

Paigalda,e Ubuntu Serveri ja seadistame selle ligipääsuks internetile. Vaikekasutajaks mitte määrata 'administrator' selle duplikeerituse tõttu Windowsi domeenis. Ubuntu paigaldamise käigus loodud
kasutaja omab vaikimisi ainsana õigust Zentyali veebikeskkonda logida.

Lisame repositooriumi:
echo "deb http://archive.zentyal.org/zentyal 4.2 main" >> /etc/apt/sources.list
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.2-archive.asc -O- | sudo apt-key add -

Paigaldame pakid:
apt update
apt install zentyal
Paigalduse käigus tuleb määrata MySQL serveri juurkasutaja parool.

Lisaks on võimalik paigaldada täielikult graafiline kasutajakeskkond:
apt install zenbuntu-desktop
Graafilise keskkonna paigaldamisel lisatakse baaspakid ja peale taaskäivitust saab paigaldust jätkata tavapärasel moel.
Vajadusel võib pakke paigaldada ka käsurealt, näiteks:
apt install zentyal-mail
või kõik pakid:
apt install zentyal-all

Veebiliidesele ligipääsemiseks suuname veebilehitseja paigaldatud serveri IP aadressile:
https://<IP>/
Vaikimisi saab sisse logida vaid Ubuntu paigalduse käigus loodud kasutajaga.
Et teha veebiliides ligipääsetavaks teistele kasutajatele, tuleb nad lisada sudo gruppi:
usermod kasutaja -aG sudo

=== Esmane seadistus ===

Veebiliideses tuleb esmalt lõpule viia Zentyali paigaldus:

[[Pilt:Z1.png]]

[[Pilt:Z2.png]]

Järgmise kahe lehekülje peale valime paigaldatavad pakid. Kahjuks ei ole enam enne järgmisele lehele navigeerimist näha,
milline kompott milliseid marju sisaldab, seega on parem paigaldada kõik pakid ja pärast deaktiveerida need, mida vaja ei lähe.
[[Pilt:Z3.png]]

[[Pilt:Z4.png]]

Järgmiseks valime, millised võrguliidesed on sisevõrgu ja millised välisvõrgu jaoks (kui üldse).

[[Pilt:Z5.png]]

Seadistame võrguliidesed:

[[Pilt:Z6.png]]

Valime serveri tüübi:

1. Eraldiseisev või peamine domeenikontroller.

2. "ori"(replikeeritud) domeenikontroller.

3. Liidestus olemasoleva Windows Active Directory domeeniga.

Valime serverile ka domeeninimi, mida kasutatakse Kerberose (realm)-na kasutajate autentimiseks.

[[Pilt:Z7.png]]

Valime meilidomeeni nime (peab erinema eelmisest, Kerberos realmist):

[[Pilt:Z8.png]]

Anname nime esimesele OpenChange organisatsioonile:

[[Pilt:Z9.png]]

Esmasel veebiliidese kasutamisel on hea teha uuendused, vajutades sinna kus pildil roheliselt kirjas ''no updates'' ja valides pakid, mida uuendada soovite. Alguses on hea uuendada kõik:

[[Pilt:Z10.png]]

=== Uuendamine ===

=== Varundus ===

=== Domeeni haldus ===

'''Kasutajate malli haldus'''

Seadistatud malli järgi luuakse vaikimisi kõik kasutajad. Hiljem on muudatusi võimalik teha personaalselt.

[[Pilt:usertemplate.png]]

Malliga või personaalselt määratud kodukausta kvoot mõjub ka samba jagudele. Kui jaos on piisavalt ruumi ja kvoodid on
üldiselt deaktiveeritud aga ühele kasutajale on seatud personaalne kvoot, saab ta jaole laadida ainult kuni oma kvoodi
jagu andmeid ja seda vaid juhul kui (kvoot - jaol olevad andmed) = piisavalt ruumi.

'''samba jagude haldus'''

'''Kasutajate, gruppide ja kontaktide loomine ja seadistamine'''

'''Windows tööjaama lisamine domeeni'''

'''Domeeni haldus tööjaamast Windowsi vahenditega'''

=== E-posti seadistamine ===

'''Postidomeenid, aliased ja listide emuleerimine'''

'''OpenChange seadistamine'''

'''ActiveSync paigaldus'''

Et Exchange-i kasutavad kliendid e-posti serveriga suhelda oskaksid ja meilide kohalejõudmisest äpid
ka teada saaksid, tuleb Zentyalile paigaldada ActiveSync. Käsureal:

apt-get install sogo-activesync

Võimalik et Zentyali veeb kurdab ka et midagi on poolikult konfitud ja tuleb käsureal:
dpkg --configure -a

Peale seda saab Zentyali veebikeskkonnas (menüüst valida Openchange ja navigeerides lehe alaosasse) aktiveerida ActiveSync-i.

Fail:Usertemplate.png

2016-11-09T13:45:27Z

Valmar:

Zentyal

2016-11-09T13:43:25Z

Valmar:

=== Zentyal 4.2 ===

Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4, OpenLDAP-i
ja Openchange-i, pakkudes sealjuures graafilist veebiliidest kogu kompoti seadistamiseks. Liides on loogilise ülesehitusega, aga seadistusvõimalused vähesed.

Zentyali disain on modulaarne, mis tähendab et mooduleid võib aktiveerida ja deaktiveerida vastavalt vajadusele. Ka uuendusi pakutakse erinevatele moodulitele
ja utiliitidele eraldi, kusjuures kasutaja teeb läbi veebiliidese täpse valiku, mida uuendada.

Zentyal pakub järgmisi teenuseid:

E-post
*Vaikimisi(native) ühilduv Microsoft® Exchange Server Protokollidega
*Microsoft Outlook® 2007, 2010 tugi (Zentyal 4.2 sai meil edukalt hakkama ka OL 2013-ga)
*Vakimisi ühilduv Microsoft Active Directory®-ga
*Mitme virtuaalse e-posti domeeni võimekus
*E-post, kalendrid, kontaktid
*E-posti sirvimise veebikeskkond (SOGo)
*Sünkroniseerimine mobiilsete seadmetega (ActiveSync® tugi)
*Antiviirus and antispämm
*Faililaiendite ja MIME tüüpide filtrid

Võrguteenused ja tulemüür
*Staatiline ja DHCP liidestatavus
*Packet Filter tulemüür
*Lüüside(port) suunamine

Domeen ja kataloog
*Keskne domeenikataloogi haldus
*Kasutajad, Turvagrupid(security group), jaotusnimekirjad(distribution list), kontaktid
*Mitmed organisatsiooni ükdused (OU)
*Ühekordne Sisselogimine (SSO)
*Toetatud operatsioonisüsteemid: Windows® XP, Windows Vista®, Windows® 7, Windows® 8
*Failivahetus Windows keskkonnas (CIFS)
*Kasutajate ja gruppide pääsuloendid (ACL)
*Põhjalik domeeni haldus läbi Remote Server Administration Toolkit-i
*Printerite haldus
*Antiviirus karantiiniga failiserveri jaoks

Infrastruktuur
*DNS server
*DHCP server
*NTP server
*Sertifitseerimisasutus (CA)
*VPN server ja klient

=== Zentyali paigaldamine ===
Zentyal on saadaval nii kommertstoega kui ''Development Edition''-ina. Vahe on vaid töövoos, kuna funktsionaalsus piiratud ei ole, aga DE on kommertsversioonile uuenduste viimaseks katsejäneseks.
Siinkohal vaatleme just ''Development Edition''-it.

Zentyali võib paigaldada kahte moodi:
*Laadides nende veebisaidilt alla täispaki, mille paigaldus toimub nagu Ubuntu oma. Kõik lisaliigutused tehakse kasutaja eest ära. Paigaldusjuhendi leiab [https://wiki.zentyal.org/wiki/En/4.1/Installation siit].
*Paigaldades Ubuntu Serveri, vastava tarkvararepositooriumi ja seejärel Zentyali käsitsi.

Paigalda,e Ubuntu Serveri ja seadistame selle ligipääsuks internetile. Vaikekasutajaks mitte määrata 'administrator' selle duplikeerituse tõttu Windowsi domeenis. Ubuntu paigaldamise käigus loodud
kasutaja omab vaikimisi ainsana õigust Zentyali veebikeskkonda logida.

Lisame repositooriumi:
echo "deb http://archive.zentyal.org/zentyal 4.2 main" >> /etc/apt/sources.list
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.2-archive.asc -O- | sudo apt-key add -

Paigaldame pakid:
apt update
apt install zentyal
Paigalduse käigus tuleb määrata MySQL serveri juurkasutaja parool.

Lisaks on võimalik paigaldada täielikult graafiline kasutajakeskkond:
apt install zenbuntu-desktop
Graafilise keskkonna paigaldamisel lisatakse baaspakid ja peale taaskäivitust saab paigaldust jätkata tavapärasel moel.
Vajadusel võib pakke paigaldada ka käsurealt, näiteks:
apt install zentyal-mail
või kõik pakid:
apt install zentyal-all

Veebiliidesele ligipääsemiseks suuname veebilehitseja paigaldatud serveri IP aadressile:
https://<IP>/
Vaikimisi saab sisse logida vaid Ubuntu paigalduse käigus loodud kasutajaga.
Et teha veebiliides ligipääsetavaks teistele kasutajatele, tuleb nad lisada sudo gruppi:
usermod kasutaja -aG sudo

=== Esmane seadistus ===

Veebiliideses tuleb esmalt lõpule viia Zentyali paigaldus:

[[Pilt:Z1.png]]

[[Pilt:Z2.png]]

Järgmise kahe lehekülje peale valime paigaldatavad pakid. Kahjuks ei ole enam enne järgmisele lehele navigeerimist näha,
milline kompott milliseid marju sisaldab, seega on parem paigaldada kõik pakid ja pärast deaktiveerida need, mida vaja ei lähe.
[[Pilt:Z3.png]]

[[Pilt:Z4.png]]

Järgmiseks valime, millised võrguliidesed on sisevõrgu ja millised välisvõrgu jaoks (kui üldse).

[[Pilt:Z5.png]]

Seadistame võrguliidesed:

[[Pilt:Z6.png]]

Valime serveri tüübi:

1. Eraldiseisev või peamine domeenikontroller.

2. "ori"(replikeeritud) domeenikontroller.

3. Liidestus olemasoleva Windows Active Directory domeeniga.

Valime serverile ka domeeninimi, mida kasutatakse Kerberose (realm)-na kasutajate autentimiseks.

[[Pilt:Z7.png]]

Valime meilidomeeni nime (peab erinema eelmisest, Kerberos realmist):

[[Pilt:Z8.png]]

Anname nime esimesele OpenChange organisatsioonile:

[[Pilt:Z9.png]]

Esmasel veebiliidese kasutamisel on hea teha uuendused, vajutades sinna kus pildil roheliselt kirjas ''no updates'' ja valides pakid, mida uuendada soovite. Alguses on hea uuendada kõik:

[[Pilt:Z10.png]]

=== Uuendamine ===

=== Varundus ===

=== Domeeni haldus ===

'''Mallide haldus'''

Kasutajatele määratud kodukausta kvoot mõjub ka samba jagudele.

'''samba jagude haldus'''

'''Kasutajate, gruppide ja kontaktide loomine ja seadistamine'''

'''Windows tööjaama lisamine domeeni'''

'''Domeeni haldus tööjaamast Windowsi vahenditega'''

=== E-posti seadistamine ===

'''Postidomeenid, aliased ja listide emuleerimine'''

'''OpenChange seadistamine'''

'''ActiveSync paigaldus'''

Et Exchange-i kasutavad kliendid e-posti serveriga suhelda oskaksid ja meilide kohalejõudmisest äpid
ka teada saaksid, tuleb Zentyalile paigaldada ActiveSync. Käsureal:

apt-get install sogo-activesync

Võimalik et Zentyali veeb kurdab ka et midagi on poolikult konfitud ja tuleb käsureal:
dpkg --configure -a

Peale seda saab Zentyali veebikeskkonnas (menüüst valida Openchange ja navigeerides lehe alaosasse) aktiveerida ActiveSync-i.

Zentyal

2016-11-09T13:42:31Z

Valmar:

=== Zentyal 4.2 ===

Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4
ja Openchange-i, pakkudes sealjuures graafilist veebiliidest kogu kompoti seadistamiseks. Liides on loogilise ülesehitusega, aga seadistusvõimalused vähesed.

Zentyali disain on modulaarne, mis tähendab et mooduleid võib aktiveerida ja deaktiveerida vastavalt vajadusele. Ka uuendusi pakutakse erinevatele moodulitele
ja utiliitidele eraldi, kusjuures kasutaja teeb läbi veebiliidese täpse valiku, mida uuendada.

Zentyal pakub järgmisi teenuseid:

E-post
*Vaikimisi(native) ühilduv Microsoft® Exchange Server Protokollidega
*Microsoft Outlook® 2007, 2010 tugi (Zentyal 4.2 sai meil edukalt hakkama ka OL 2013-ga)
*Vakimisi ühilduv Microsoft Active Directory®-ga
*Mitme virtuaalse e-posti domeeni võimekus
*E-post, kalendrid, kontaktid
*E-posti sirvimise veebikeskkond (SOGo)
*Sünkroniseerimine mobiilsete seadmetega (ActiveSync® tugi)
*Antiviirus and antispämm
*Faililaiendite ja MIME tüüpide filtrid

Võrguteenused ja tulemüür
*Staatiline ja DHCP liidestatavus
*Packet Filter tulemüür
*Lüüside(port) suunamine

Domeen ja kataloog
*Keskne domeenikataloogi haldus
*Kasutajad, Turvagrupid(security group), jaotusnimekirjad(distribution list), kontaktid
*Mitmed organisatsiooni ükdused (OU)
*Ühekordne Sisselogimine (SSO)
*Toetatud operatsioonisüsteemid: Windows® XP, Windows Vista®, Windows® 7, Windows® 8
*Failivahetus Windows keskkonnas (CIFS)
*Kasutajate ja gruppide pääsuloendid (ACL)
*Põhjalik domeeni haldus läbi Remote Server Administration Toolkit-i
*Printerite haldus
*Antiviirus karantiiniga failiserveri jaoks

Infrastruktuur
*DNS server
*DHCP server
*NTP server
*Sertifitseerimisasutus (CA)
*VPN server ja klient

=== Zentyali paigaldamine ===
Zentyal on saadaval nii kommertstoega kui ''Development Edition''-ina. Vahe on vaid töövoos, kuna funktsionaalsus piiratud ei ole, aga DE on kommertsversioonile uuenduste viimaseks katsejäneseks.
Siinkohal vaatleme just ''Development Edition''-it.

Zentyali võib paigaldada kahte moodi:
*Laadides nende veebisaidilt alla täispaki, mille paigaldus toimub nagu Ubuntu oma. Kõik lisaliigutused tehakse kasutaja eest ära. Paigaldusjuhendi leiab [https://wiki.zentyal.org/wiki/En/4.1/Installation siit].
*Paigaldades Ubuntu Serveri, vastava tarkvararepositooriumi ja seejärel Zentyali käsitsi.

Paigalda,e Ubuntu Serveri ja seadistame selle ligipääsuks internetile. Vaikekasutajaks mitte määrata 'administrator' selle duplikeerituse tõttu Windowsi domeenis. Ubuntu paigaldamise käigus loodud
kasutaja omab vaikimisi ainsana õigust Zentyali veebikeskkonda logida.

Lisame repositooriumi:
echo "deb http://archive.zentyal.org/zentyal 4.2 main" >> /etc/apt/sources.list
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.2-archive.asc -O- | sudo apt-key add -

Paigaldame pakid:
apt update
apt install zentyal
Paigalduse käigus tuleb määrata MySQL serveri juurkasutaja parool.

Lisaks on võimalik paigaldada täielikult graafiline kasutajakeskkond:
apt install zenbuntu-desktop
Graafilise keskkonna paigaldamisel lisatakse baaspakid ja peale taaskäivitust saab paigaldust jätkata tavapärasel moel.
Vajadusel võib pakke paigaldada ka käsurealt, näiteks:
apt install zentyal-mail
või kõik pakid:
apt install zentyal-all

Veebiliidesele ligipääsemiseks suuname veebilehitseja paigaldatud serveri IP aadressile:
https://<IP>/
Vaikimisi saab sisse logida vaid Ubuntu paigalduse käigus loodud kasutajaga.
Et teha veebiliides ligipääsetavaks teistele kasutajatele, tuleb nad lisada sudo gruppi:
usermod kasutaja -aG sudo

=== Esmane seadistus ===

Veebiliideses tuleb esmalt lõpule viia Zentyali paigaldus:

[[Pilt:Z1.png]]

[[Pilt:Z2.png]]

Järgmise kahe lehekülje peale valime paigaldatavad pakid. Kahjuks ei ole enam enne järgmisele lehele navigeerimist näha,
milline kompott milliseid marju sisaldab, seega on parem paigaldada kõik pakid ja pärast deaktiveerida need, mida vaja ei lähe.
[[Pilt:Z3.png]]

[[Pilt:Z4.png]]

Järgmiseks valime, millised võrguliidesed on sisevõrgu ja millised välisvõrgu jaoks (kui üldse).

[[Pilt:Z5.png]]

Seadistame võrguliidesed:

[[Pilt:Z6.png]]

Valime serveri tüübi:

1. Eraldiseisev või peamine domeenikontroller.

2. "ori"(replikeeritud) domeenikontroller.

3. Liidestus olemasoleva Windows Active Directory domeeniga.

Valime serverile ka domeeninimi, mida kasutatakse Kerberose (realm)-na kasutajate autentimiseks.

[[Pilt:Z7.png]]

Valime meilidomeeni nime (peab erinema eelmisest, Kerberos realmist):

[[Pilt:Z8.png]]

Anname nime esimesele OpenChange organisatsioonile:

[[Pilt:Z9.png]]

Esmasel veebiliidese kasutamisel on hea teha uuendused, vajutades sinna kus pildil roheliselt kirjas ''no updates'' ja valides pakid, mida uuendada soovite. Alguses on hea uuendada kõik:

[[Pilt:Z10.png]]

=== Uuendamine ===

=== Varundus ===

=== Domeeni haldus ===

'''Mallide haldus'''

Kasutajatele määratud kodukausta kvoot mõjub ka samba jagudele.

'''samba jagude haldus'''

'''Kasutajate, gruppide ja kontaktide loomine ja seadistamine'''

'''Windows tööjaama lisamine domeeni'''

'''Domeeni haldus tööjaamast Windowsi vahenditega'''

=== E-posti seadistamine ===

'''Postidomeenid, aliased ja listide emuleerimine'''

'''OpenChange seadistamine'''

'''ActiveSync paigaldus'''

Et Exchange-i kasutavad kliendid e-posti serveriga suhelda oskaksid ja meilide kohalejõudmisest äpid
ka teada saaksid, tuleb Zentyalile paigaldada ActiveSync. Käsureal:

apt-get install sogo-activesync

Võimalik et Zentyali veeb kurdab ka et midagi on poolikult konfitud ja tuleb käsureal:
dpkg --configure -a

Peale seda saab Zentyali veebikeskkonnas (menüüst valida Openchange ja navigeerides lehe alaosasse) aktiveerida ActiveSync-i.

Zentyal

2016-11-09T13:28:56Z

Valmar:

=== Zentyal 4.2 ===

Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4
ja Openchange-i, pakkudes sealjuures graafilist veebiliidest kogu kompoti seadistamiseks. Liides on loogilise ülesehitusega, aga seadistusvõimalused vähesed.

Zentyali disain on modulaarne, mis tähendab et mooduleid võib aktiveerida ja deaktiveerida vastavalt vajadusele. Ka uuendusi pakutakse erinevatele moodulitele
ja utiliitidele eraldi, kusjuures kasutaja teeb läbi veebiliidese täpse valiku, mida uuendada.

Zentyal pakub järgmisi teenuseid:

E-post
*Vaikimisi(native) ühilduv Microsoft® Exchange Server Protokollidega
*Microsoft Outlook® 2007, 2010 tugi (Zentyal 4.2 sai meil edukalt hakkama ka OL 2013-ga)
*Vakimisi ühilduv Microsoft Active Directory®-ga
*Mitme virtuaalse e-posti domeeni võimekus
*E-post, kalendrid, kontaktid
*E-posti sirvimise veebikeskkond (SOGo)
*Sünkroniseerimine mobiilsete seadmetega (ActiveSync® tugi)
*Antiviirus and antispämm
*Faililaiendite ja MIME tüüpide filtrid

Võrguteenused ja tulemüür
*Staatiline ja DHCP liidestatavus
*Packet Filter tulemüür
*Lüüside(port) suunamine

Domeen ja kataloog
*Keskne domeenikataloogi haldus
*Kasutajad, Turvagrupid(security group), jaotusnimekirjad(distribution list), kontaktid
*Mitmed organisatsiooni ükdused (OU)
*Ühekordne Sisselogimine (SSO)
*Toetatud operatsioonisüsteemid: Windows® XP, Windows Vista®, Windows® 7, Windows® 8
*Failivahetus Windows keskkonnas (CIFS)
*Kasutajate ja gruppide pääsuloendid (ACL)
*Põhjalik domeeni haldus läbi Remote Server Administration Toolkit-i
*Printerite haldus
*Antiviirus karantiiniga failiserveri jaoks

Infrastruktuur
*DNS server
*DHCP server
*NTP server
*Sertifitseerimisasutus (CA)
*VPN server ja klient

=== Zentyali paigaldamine ===
Zentyal on saadaval nii kommertstoega kui ''Development Edition''-ina. Vahe on vaid töövoos, kuna funktsionaalsus piiratud ei ole, aga DE on kommertsversioonile uuenduste viimaseks katsejäneseks.
Siinkohal vaatleme just ''Development Edition''-it.

Zentyali võib paigaldada kahte moodi:
*Laadides nende veebisaidilt alla täispaki, mille paigaldus toimub nagu Ubuntu oma. Kõik lisaliigutused tehakse kasutaja eest ära. Paigaldusjuhendi leiab [https://wiki.zentyal.org/wiki/En/4.1/Installation siit].
*Paigaldades Ubuntu Serveri, vastava tarkvararepositooriumi ja seejärel Zentyali käsitsi.

Paigalda,e Ubuntu Serveri ja seadistame selle ligipääsuks internetile. Vaikekasutajaks mitte määrata 'administrator' selle duplikeerituse tõttu Windowsi domeenis. Ubuntu paigaldamise käigus loodud
kasutaja omab vaikimisi ainsana õigust Zentyali veebikeskkonda logida.

Lisame repositooriumi:
echo "deb http://archive.zentyal.org/zentyal 4.2 main" >> /etc/apt/sources.list
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.2-archive.asc -O- | sudo apt-key add -

Paigaldame pakid:
apt update
apt install zentyal
Paigalduse käigus tuleb määrata MySQL serveri juurkasutaja parool.

Lisaks on võimalik paigaldada täielikult graafiline kasutajakeskkond:
apt install zenbuntu-desktop
Graafilise keskkonna paigaldamisel lisatakse baaspakid ja peale taaskäivitust saab paigaldust jätkata tavapärasel moel.
Vajadusel võib pakke paigaldada ka käsurealt, näiteks:
apt install zentyal-mail
või kõik pakid:
apt install zentyal-all

Veebiliidesele ligipääsemiseks suuname veebilehitseja paigaldatud serveri IP aadressile:
https://<IP>/
Vaikimisi saab sisse logida vaid Ubuntu paigalduse käigus loodud kasutajaga.
Et teha veebiliides ligipääsetavaks teistele kasutajatele, tuleb nad lisada sudo gruppi:
usermod kasutaja -aG sudo
Veebiliideses tuleb esmalt lõpule viia Zentyali paigaldus:

[[Pilt:Z1.png]]

[[Pilt:Z2.png]]

Järgmise kahe lehekülje peale valime paigaldatavad pakid. Kahjuks ei ole enam enne järgmisele lehele navigeerimist näha,
milline kompott milliseid marju sisaldab, seega on parem paigaldada kõik pakid ja pärast deaktiveerida need, mida vaja ei lähe.
[[Pilt:Z3.png]]

[[Pilt:Z4.png]]

Järgmiseks valime, millised võrguliidesed on sisevõrgu ja millised välisvõrgu jaoks (kui üldse).

[[Pilt:Z5.png]]

Seadistame võrguliidesed:

[[Pilt:Z6.png]]

Valime serveri tüübi:

1. Eraldiseisev või peamine domeenikontroller.

2. "ori"(replikeeritud) domeenikontroller.

3. Liidestus olemasoleva Windows Active Directory domeeniga.

Valime serverile ka domeeninimi, mida kasutatakse Kerberose (realm)-na kasutajate autentimiseks.

[[Pilt:Z7.png]]

Valime meilidomeeni nime (peab erinema eelmisest, Kerberos realmist):

[[Pilt:Z8.png]]

Anname nime esimesele OpenChange organisatsioonile:

[[Pilt:Z9.png]]

Esmasel veebiliidese kasutamisel on hea teha uuendused, vajutades sinna kus pildil roheliselt kirjas ''no updates'' ja valides pakid, mida uuendada soovite. Alguses on hea uuendada kõik:

[[Pilt:Z10.png]]

Zentyal

2016-11-09T13:17:29Z

Valmar:

=== Zentyal 4.2 ===

Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4
ja Openchange-i, pakkudes sealjuures graafilist veebiliidest kogu kompoti seadistamiseks. Liides on loogilise ülesehitusega, aga seadistusvõimalused vähesed.

Zentyali disain on modulaarne, mis tähendab et mooduleid võib aktiveerida ja deaktiveerida vastavalt vajadusele. Ka uuendusi pakutakse erinevatele moodulitele
ja utiliitidele eraldi, kusjuures kasutaja teeb läbi veebiliidese täpse valiku, mida uuendada.

Zentyal pakub järgmisi teenuseid:

E-post
*Vaikimisi(native) ühilduv Microsoft® Exchange Server Protokollidega
*Microsoft Outlook® 2007, 2010 tugi (Zentyal 4.2 sai meil edukalt hakkama ka OL 2013-ga)
*Vakimisi ühilduv Microsoft Active Directory®-ga
*Mitme virtuaalse e-posti domeeni võimekus
*E-post, kalendrid, kontaktid
*E-posti sirvimise veebikeskkond (SOGo)
*Sünkroniseerimine mobiilsete seadmetega (ActiveSync® tugi)
*Antiviirus and antispämm
*Faililaiendite ja MIME tüüpide filtrid

Võrguteenused ja tulemüür
*Staatiline ja DHCP liidestatavus
*Packet Filter tulemüür
*Lüüside(port) suunamine

Domeen ja kataloog
*Keskne domeenikataloogi haldus
*Kasutajad, Turvagrupid(security group), jaotusnimekirjad(distribution list), kontaktid
*Mitmed organisatsiooni ükdused (OU)
*Ühekordne Sisselogimine (SSO)
*Toetatud operatsioonisüsteemid: Windows® XP, Windows Vista®, Windows® 7, Windows® 8
*Failivahetus Windows keskkonnas (CIFS)
*Kasutajate ja gruppide pääsuloendid (ACL)
*Põhjalik domeeni haldus läbi Remote Server Administration Toolkit-i
*Printerite haldus
*Antiviirus karantiiniga failiserveri jaoks

Infrastruktuur
*DNS server
*DHCP server
*NTP server
*Sertifitseerimisasutus (CA)
*VPN server ja klient

=== Zentyali paigaldamine ===
Zentyal on saadaval nii kommertstoega kui ''Development Edition''-ina. Vahe on vaid töövoos, kuna funktsionaalsus piiratud ei ole, aga DE on kommertsversioonile uuenduste viimaseks katsejäneseks.
Siinkohal vaatleme just ''Development Edition''-it.

Zentyali võib paigaldada kahte moodi:
*Laadides nende veebisaidilt alla täispaki, mille paigaldus toimub nagu Ubuntu oma. Kõik lisaliigutused tehakse kasutaja eest ära. Paigaldusjuhendi leiab [https://wiki.zentyal.org/wiki/En/4.1/Installation siit].
*Paigaldades Ubuntu Serveri, vastava tarkvararepositooriumi ja seejärel Zentyali käsitsi.

Paigalda,e Ubuntu Serveri ja seadistame selle ligipääsuks internetile. Vaikekasutajaks mitte määrata 'administrator' selle duplikeerituse tõttu Windowsi domeenis. Ubuntu paigaldamise käigus loodud
kasutaja omab vaikimisi ainsana õigust Zentyali veebikeskkonda logida.

Lisame repositooriumi:
echo "deb http://archive.zentyal.org/zentyal 4.2 main" >> /etc/apt/sources.list
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 10E239FF
wget -q http://keys.zentyal.org/zentyal-4.2-archive.asc -O- | sudo apt-key add -

Paigaldame pakid:
apt update
apt install zentyal
Paigalduse käigus tuleb määrata MySQL serveri juurkasutaja parool.

Lisaks on võimalik paigaldada täielikult graafiline kasutajakeskkond:
apt install zenbuntu-desktop
Graafilise keskkonna paigaldamisel lisatakse baaspakid ja peale taaskäivitust saab paigaldust jätkata tavapärasel moel.
Vajadusel võib pakke paigaldada ka käsurealt, näiteks:
apt install zentyal-mail
või kõik pakid:
apt install zentyal-all

Veebiliidesele ligipääsemiseks suuname veebilehitseja paigaldatud serveri IP aadressile:
https://<IP>/
Vaikimisi saab sisse logida vaid Ubuntu paigalduse käigus loodud kasutajaga.
Et teha veebiliides ligipääsetavaks teistele kasutajatele, tuleb nad lisada sudo gruppi:
usermod kasutaja -aG sudo
Veebiliideses tuleb esmalt lõpule viia Zentyali paigaldus:

[[Pilt:Z1.png]]

[[Pilt:Z2.png]]

Järgmise kahe lehekülje peale valime paigaldatavad pakid. Kahjuks ei ole enam enne järgmisele lehele navigeerimist näha,
milline kompott milliseid marju sisaldab, seega on parem paigaldada kõik pakid ja pärast deaktiveerida need, mida vaja ei lähe.
[[Pilt:Z3.png]]

[[Pilt:Z4.png]]

Järgmiseks valime, millised võrguliidesed on sisevõrgu ja millised välisvõrgu jaoks (kui üldse).

[[Pilt:Z5.png]]

Seadistame võrguliidesed:

[[Pilt:Z6.png]]

Valime serveri tüübi:

1. Eraldiseisev või peamine domeenikontroller.

2. "ori"(replikeeritud) domeenikontroller.

3. Liidestus olemasoleva Windowsi Active Directory domeeniga.

[[Pilt:Z7.png]]

[[Pilt:Z8.png]]

[[Pilt:Z9.png]]

[[Pilt:Z10.png]]

Fail:Z10.png

2016-11-09T13:08:45Z

Valmar:

Fail:Z9.png

2016-11-09T13:08:36Z

Valmar:

Fail:Z8.png

2016-11-09T13:08:28Z

Valmar:

Fail:Z7.png

2016-11-09T13:08:20Z

Valmar:

Fail:Z6.png

2016-11-09T13:08:13Z

Valmar:

Fail:Z5.png

2016-11-09T13:08:07Z

Valmar:

Fail:Z4.png

2016-11-09T13:07:59Z

Valmar:

Fail:Z3.png

2016-11-09T13:07:52Z

Valmar:

Fail:Z2.png

2016-11-09T13:07:37Z

Valmar:

Fail:Z1.png

2016-11-09T12:55:38Z

Valmar:

Zentyal

2016-11-09T12:51:50Z

Valmar:

Zentyal

2016-11-09T12:42:07Z

Valmar: Uus lehekülg: ' === Zentyal 4.2 === Zentyal on Linuxil baseeruv e-posti server, mis täidab ka domeenikontrolleri ülesandeid. Ühildub Active Directory ja Exchange-ga kasutades samba4 ja Ope...'

Unix keskkonna administreerimine

2016-11-09T12:01:22Z

Valmar:

===Samba===

Kuidas programmide-komplekti Samba abil seada samas alamvõrgus tööle UNIXi ja Windowsi masinad nii, et saab vastastikku kasutada faili-ja printimisteenuseid, so:
Windowsist saab kasutada UNIXi failisüsteemi ja printerit
UNIXist saab kasutada Windowsi failisüsteemi ja printerit

Samuti selgitatakse kuidas seada Samba server tööle Windowsi domeenikontrollerina.

* [[Windowsi võrk]]
* [[Samba installeerimine]]
* [[Samba server ja paroolikontroll]]
* [[Samba kasutamine]]
* [[Samba server jaosrezhiimis]]
* [[Samba server kasutajarezhiimis]]
* [[Samba server Windowsi domeenikontrollerina]]
* [[Samba logi]]
* [[Smbclient - Samba Windowsi teenuste klientprogramm]]
* [[Graafiline Samba konfigureerimisliides SWAT]]
* [[FreeBSD's samba share mount]]
* [[Cups]] Printeri server
* [[Zentyal]] Domeenikontroller
----

===Epost===

Interneti üks esimesi ja jätkuvalt suurele hulgale kasutajatele väga oluline teenus on epost (ingl. k. email). Järgnevad palad käsitlevad postiserverite omavahelist koostööd, paigaldamist ja seadistamist ning on seetõttu eelkõige mõeldud neile, kelle ülesandeks on teha oma kasutajatele eposti teenus kättesaadavaks. Samas võivad kõik huvilised siit edasi lugedes aimu saada, kuidas eposti võrgus liigub.

* [[:Email]] Mis on eposti aadress, ekiri ja postivahetusprotokoll.
* [[:Sendmail]] Kuidas seadistada käima epostisüsteem kasutades Sendmaili.
* [[:spam]] Lühidalt rämpsposti tõrjumise viisidest
* [[:RT]] Request Tracker, vahend ühistöö hõlbustamiseks ja ühiskasutuses mailiaadressite kasutuse tõhustamiseks. (installiõpetus hetkel vaid FreeBSD jaoks)
* [[:Postfix]] - Populaarne postiedastusagent ning tema ümber töötav tarkvara
* [[Postfix TLS]] - Postfixi autentimine
* [[Dovecot]] Imap server versioon 1.x
* [[Dovecot 2]] Imap server Versioon 2.x

----

===Veeb===

* [[:Apache'i veebiserver]] Populaarseima vabavaralise veebiserveri õpetus
* [[:Nginx]] Alternatiivne veebiserver
* [[:Squid]] Interneti http liikluse vahendusserver
* [[Apache mod_chroot]] Apachele turvalise vahekihi loomine
* [[JMeter]] Veebiserveri koormustestimise tarkvara
* [[:Oracle 10g Application Server]]
* [[:Apache Tomcat]]
* [[:PHP käivitamine kasutaja õigustes]]
* [[HAProxy]] Veebi ja ka muude teenuste proxymine

----

===Andmebaas===

* [[:PostgreSQL]]
* [[:MySQL]]
* [[:Oracle andmebaas]]
----

===Autentimine===

* [[:Kerberos]] Ühe klassikalise UNIXi autentimissüsteemi kirjeldus

* [[:Su ja Sudo Programmi]] käivitamine teise kasutaja õigustes

* [[:PAM]] Kuidas programmile autentimist korraldada

* [[:ldap klient ja server]] keskse autentimise korraldamine (FreeBSD-Gentoo süsteemile orienteeritud tekst)

* [[:SSH kasutajate chrootimine Debian GNU/Linux näitel]]

* [[sshd mysql]] Mysql ja pam abil sshd autentimise korraldamine

* [[:Openssh chroot]] Kasutaja chrootimine openssh patchi kasutades kodukataloogi

* [[:Eduroam]] Kuidas liituda Eduroami projektiga ja seadistada selleks Freeradius server

----

===Võrk ja andmeside===

* [[:PPP üle SSH kanali]] Kuidas 'koduste vahenditega' VPNi tekitada
* [[:Linux ATM]] Linuxis ATM seadmetega võrgu loomine
* [[VPN ja SSH]] Lihtne VPN tunnel PPP ja SSH abil
* [[firehol]] Iptablesi mugav konfigureerimisliides tulemüüride loomiseks
* [[:IPMI]] Operatsioonisüsteemist sõltumatut arvutisüsteemi kaughaldamise liides
* [[:isc-dhcpd server]] DHCP serveri seadistus
* [[:Eduroam]] Eduroami häälestamine sülearvutil
* [[:OpenVPN]]
* [[:GNS3]] võrgusimulaatori kasutamine Debianiga
* [[:Packet filter]]
* [[:SOCKS proxy kasutamine]]
* [[:OpenSSH administreerimine]]
* [[:Kaughaldusliidesed]]
* [[:Torrent]] bittorrendi protokoll üldjoontes ja Opentrackeri tarkvara kasutamine
* [[:Wifi]]
* [[:OpenSSL]]
* [[:Netflow]] Cisco netflow kogumine ning graafiline analüüsimine
* [[:LACP kasutamine]] Link Aggregation Control Protocol kasutamine
* [[:L2 redundantsus]]
* [[Kõrgkäideldavus_UCARP_abil]]
* [[Tftp]] Tftp serveri seadistamine ja kasutamine
* [[Polipo]] Lihtne web proxy server
----

===Storage===

* [[:Salvestusseadmete kasutamine]]
* [[:GlusterFS]] Paralleelne võrgu failisüsteem
* [[:DRBD kasutamine Debianiga]]
* [[:Quota]] Kasutajate kõvakettaruumi kasutamise limiteerimine
* [[:ZFS failisüsteemi kasutamine]] Kasutamiseks FreeBSD ja Solarise keskkonnas, teiste zfs toega süsteemides testimata
* [[LizardFS]] Paraleelne võrgu failisüsteem
----

===Monitooring===

* [[:net-snmp]] Masina jooksva info võrgust kättesaadavaks tegemine
* [[:Munin]] Serverite infost graafikute joonistamine
* [[:Netflow]] Võrguliikluse logi

----

===Virtualiseerimine===

* [[:Virtualiseerimine]]
* [[:Xen kasutamine Debian Lenniga]]
* [[:Xen kasutamine Debian Etchiga]]
* [[:QEMU kasutamine Debian Lenniga]]
* [[:VMware Server v. 1 kasutamine Debian Etchiga]]
* [[:VMware Server v. 2 kasutamine Debian Lenniga]]
* [[:KVM kasutamine Debian Lenniga]]
* [[:KVM kasutamine Ubuntu 9.10 operatsioonisüsteemiga]]
* [[FreeBSD jail]] FreeBSD virtuaalsed serverid
* [[OpenVZ]] virtualserver gentoos
* [[:Ubuntu Cloud - 9.10]]
* [[:VirtualBox kasutamine Debian Squeeze operatsioonisüsteemiga]]
* [[:Proxmox]] KVM ja OpenVZ tehnikal baseeruvate virtuaalserverite haldusplatform
* [[Proxmox VE 3.x kasutajate haldus]] Proxmoxi kasutajate haldus

===Versioonihaldus===

* [[:Versioonihaldus]]
* [[:Subversion hoidla kasutamisest]]
* [[:Subversion hoidla kasutamine Debianiga]]
* [[:CVS hoidla kasutamine Linuxiga]]

===X-tee===

* [[:Turvaserveri kasutamine]]
* [[:MISPi kasutamine]]

===Nimeteenus===

* [[:Rekursiivse resolveri Unbound kasutamine]]
* [[:Pädeva nimeserveri NSD kasutamine]]
* [[:Tsoonifaili haldamine]]

===GIS===

* [[:GIS]]
* [[:PostGIS]]
* [[:Quantum GIS]]
* [[:uDig]]
* [[:GeoServer]]
* [[:Google Earth]]

===Varundamine===

* [[:rsync]] Vabavaraline failide ja kaustade sünkroniseerimise ja backupimise vahend
* [[:Bacula]]

===Misc===

* [[:Printimine]] Juhised BSD-stiilis printimise korraldamiseks
* [[:Arvuti kellaaeg]] Kuidas arvutite kell toimib ning kuidas tagada, et arvuti aeg oleks võimalikult lähedane 'õigele' ajale.
* [[:Stunnel]] Tarkvara krüptilise toe lisamiseks programmidele
* [[:Integrit]] Failisüsteemis toimuvate muudatuste jälgimine
* [[:Saal]] Saali (ing. k. swap) konfigureerimine.
* [[:Sertifikaadid]] Sertifitseerimiskeskuse loomine ja sertifikaadi kinnitamine
* [[:Linuxi tuum]] Linux tuuma install ja paigaldus
* [[Logrotate]] Kuidas logisid pakkida ja hallata automaagiliselt.
* [[logi]] Syslog, Syslog-ng tarkvarade seadistus ja logiserveri ehitamine
* [[:Password Gorilla]] Ligipääsude haldamise tarkvara
* [[:2TB piirang]] Linuxis suuremate partitsioonide kasutamine kui kaks terabaiti kasutades GPT partitsioneerimist
* [[:Alglaadija GRUB]] Tarkvara, mille abil toimub arvuti alglaadimine.
* [[Tentakel]]
* [[Linux Kasutajate administreerimine]]

Redhati kasutamine

2016-06-17T09:06:31Z

Valmar: /* Võrgu seadistamine käsurealt */

===Paketihalduse kasutamine===

Paigaldatud pakettide nimekirja saamiseks tuleb öelda

# rpm -qa

Paigaldatud paketis sisalduvate failide nimekirja saamiseks tuleb öelda

# rpm -ql paketinimi

Paketi eemaldamiseks

# rpm -e paketinimi

===Võrgu seadistamine===

Paigaldatud Redhat 4 võrku saab seadistada graafilise programmiga öeldes

# system-config-network-gui

[[Pilt:System-config-network-gui-redhat4.gif]]

====Võrgu seadistamine käsurealt====

Üldised seaded, näiteks masina nime ja vaikelüüsi saab paika panna:
nano etc/sysconfig/network

NETWORKING=yes
HOSTNAME=punamyts
GATEWAY=192.168.0.1

Võrguseadmed saab defineerida näiteks:
nano /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
HWADDR=A2:7B:36:EF:4C:13
BOOTPROTO=none
ONBOOT=yes
NETWORK=192.168.0.0
NETMASK=255.255.255.0
IPADDR=192.168.0.6
USERCTL=no

Rohkem infot: [https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Deployment_Guide/s1-networkscripts-interfaces.html RedHat Interface Configuration Files]

===Aja seadistamine===

Aja seadistamiseks sobib kasutada system-config-date utiliiti

# system-config-date

[[Pilt:system-config-date-redhat4.gif]]

===Ramdiski seadistamine===

Kui Redhat paigutada ühelt arvutilt teisele, siis võib olla vajalik lisada ramdiski kettaseadme jaoks moodul, näiteks

# mkinitrd --fstab=/tmp/fstab --preload=cciss rd 2.6.9-78.0.1.ELsmp

Kusjuures tuleb jälgida, et fstab-sync ei tööta vastu, mis väljendub automaatselt /etc/fstab'i tehtud muudatuste ülekirjutamises. Selle vastu aitab eemaldada olemasolev link ja tekitada uus

# ln -s /bin/false /etc/hal/device.d/50-fstab-sync.hal

===Tarkvara uuendamine programmiga up2date===

Redhat 4 tarkvara-uuenduste saamiseks peab olema konto RedHat Network'is ning oma süsteemi sinna registreerima kas paigaldamise käigus või hiljem. Seejärel saab programmi up2date abil tarkvara uuendada ning paigaldada pakette öeldes nt

# up2date joe

või küsida, milliseid uuendusi saab rakendada, nt läbi http proxy

# up2date --proxy=localhost:3128 --show-available

Kui up2data käivitada ilma argumentideta, saab kasutada ka tema graafilist kasutajaliidest

[[Pilt:Redhat-up2date-1.gif]]

kusjuures paigaldatavad .rpm paketid kopeeritakse kataloogi /var/spool/up2date.

===NSS ja ldap teegi kasutamine===

Selleks, et seadistada RedHat ES 4 operatsioonisüsteem kasutama LDAP kataloogi kasutajate baasina ning ühendama seejuures kasutajate kodukatalooge külge NFS serverist tuleb sooritada sellise tegevused

* veenduda, et on paigaldatud paketid autofs (uuematel RedHat'idel on see vist nimega am-utils) ja nss_ldap

* /etc/openldap/ldap.conf failis asub ldap klientide, nt ldapsearch seadistus

BASE dc=loomaaed,dc=tartu,dc=ee
URI ldaps://ldap.loomaaed.tartu.ee

TLS_REQCERT hard
TLS_CACERT /etc/openldap/loomaaed-juur-cert.pem

* /etc/ldap.conf failis on NSS teegi seadistus

# egrep -v "^#|^$" /etc/ldap.conf
base dc=aso,dc=ee
uri ldaps://ldap.aso.ee/
ldap_version 3
timelimit 120
bind_timelimit 120
idle_timelimit 3600
ssl on
tls_cacertfile /etc/openldap/Juur-RIA-cacert.pem
pam_password md5

authconfig kasutamisel muutunud failid, aga tundub, et selle utiliidi kasutamine ei anna mingit nähtavat eelist niisama ldap seadistusfailide muutmise ees

/etc
/etc/group
/etc/openldap
/etc/openldap/ldap.conf
/etc/openldap/ldap.aso.ee.pem
/etc/login.defs
/etc/nsswitch.conf
/etc/pam_smb.conf
/etc/pam.d/system-auth
/etc/krb5.conf
/etc/sysconfig/authconfig
/etc/krb.conf
/etc/yp.conf
/etc/gshadow
/etc/ldap.conf
/etc/rc.d/rc5.d
/etc/rc.d/rc5.d/K35winbind
/etc/rc.d/rc5.d/K73ypbind
/etc/rc.d/rc5.d/K74nscd
/etc/rc.d/rc4.d
/etc/rc.d/rc4.d/K35winbind
/etc/rc.d/rc4.d/K73ypbind
/etc/rc.d/rc4.d/K74nscd
/etc/rc.d/rc3.d
/etc/rc.d/rc3.d/K35winbind
/etc/rc.d/rc3.d/K73ypbind
/etc/rc.d/rc3.d/K74nscd
/etc/samba/smb.conf
/etc/libuser.conf

* Autofs seadistamine toimub pool-automaatselt, faili /etc/auto.master on vaja lisada rida

/home ldap:10.0.9.251:ou=auto.home,ou=autofs,dc=auul rsize=8192,wsize=8192 --timeout=1

ning faili /etc/nsswitch.conf faili rida

automount: files ldap

Ning käivitada autofs deemon

# service autofs start

===NRPE kasutamine===

Iseenesest on vajalikud nagios-nrpe ja nagios-plugins aga lisaks tuleb panna sellised sõltuvused

* Redhat networksist

# up2date --proxy=localhost:3128 perl-Digest-HMAC (paigaldab ka perl-Digest-SHA1)

* dag wieers pealt, http://dag.wieers.com/rpm/packages/

perl-Crypt-DES-2.05-3.2.el4.rf.i386.rpm
perl-Socket6-0.20-1.el4.rf.i386.rpm
perl-Net-SNMP-5.2.0-1.2.el4.rf.noarch.rpm
fping-2.4-1.b2.2.el4.rf.i386.rpm
nagios-plugins-1.4.9-1.el4.rf.i386
nagios-nrpe-2.5.2-1.el4.rf.i386.rpm

===Multipath plokkseadme kasutamine===

Kasulikud lisamaterjalid

* http://sources.redhat.com/lvm2/wiki/MultipathUsageGuide
* http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/index.jsp?topic=/liaai/multiisci/liaaimisciinstallrhel.htm
* [[DM-Multipath]]
* [[FAI kasutamine Debianiga]]

Üks võimalus Red Hat 5.3 käivitamiseks multipath seadmelt on sooritada selline järgnevus

* paigaldada arvutile FAI installeri abil Debian Lenny 64 bit
* paigaldada Red Hat kvm abil LVM köitele (tundub, et installeris tuleb kasutada parameetril nmi_watchdog=0 ning ide tüüpi plokkseadmeid ja e1000 võrguseadet)
* kasutades Debiani paigaldamise käigus paigaldatud alglaadijat, alglaadida arvuti Red Hat alla Debiani tuuma ja initramfs'iga (kusjuures Debiani tuuma moodulid on kopeeritud Red Hati /lib/modules kataloogi)
* teha /sbin/mkintrd failis tekstis http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/index.jsp?topic=/liaai/multiisci/liaaimisciinstallrhel.htm kirjeldatud muudatused
* koostada sobiva sisuga /etc/multpath.conf (nb, panna tähele, et os juurika /etc/multpath.conf peab näitama /sbin/scsi_id ja initramfs /bin/scsi_id)

defaults {
user_friendly_names yes
}

multipaths {
multipath {
wwid 360060e8010259500051131800000000b
alias mpath
}
}

devices {
device {
vendor "HITACHI"
product "DF.*"
getuid_callout "/bin/scsi_id -g -u -s /block/%n"
# prio_callout "/bin/mpath_prio_hds_modular /dev/%n"
path_grouping_policy multibus
path_checker tur
features "1 queue_if_no_path"
failback immediate
}
}

* /etc/sysconfig/mkinitrd/multipath fail peab sisaldama

MULTIPATH=YES

* moodustada sobiva sisuga Red Hat'i initramfs /boot/rd-mp

# mkinitrd /boot/rd-mp --preload=dm-multipath --preload=qla2xxx 2.6.9-78.0.1

* kontrollida, et initramfs'i paigutati lvm binari ja tuuma moodulid, dm-multipath konf ja tuuma moodulid, qlogic tuuma moodul (tundub, et redhati qla2xxx moodulis on qlogic draiver ning firmware koos)

# mkdir /tmp/rd-mp-dir; cd /tmp/rd-mp-dir
# gunzip -c /boot/rd-mp | cpio -dmi

* arvuti millegipärast ei käivitu runlevel 3 peale automaatselt, aitab öelda

# telinit 3

* /boot kataloog sobib ühendada /dev/dm-nime abil

===Kasulikud lisamaterjalid===

* http://dag.wieers.com/rpm/

Redhati kasutamine

2016-06-17T09:04:41Z

Valmar: /* Võrgu seadistamine */

===Paketihalduse kasutamine===

Paigaldatud pakettide nimekirja saamiseks tuleb öelda

# rpm -qa

Paigaldatud paketis sisalduvate failide nimekirja saamiseks tuleb öelda

# rpm -ql paketinimi

Paketi eemaldamiseks

# rpm -e paketinimi

===Võrgu seadistamine===

Paigaldatud Redhat 4 võrku saab seadistada graafilise programmiga öeldes

# system-config-network-gui

[[Pilt:System-config-network-gui-redhat4.gif]]

====Võrgu seadistamine käsurealt====

Üldised seaded, näiteks masina nime ja vaikelüüsi saab paika panna:
nano etc/sysconfig/network

NETWORKING=yes
HOSTNAME=punamyts
GATEWAY=192.168.0.1

Võrguseadmed saab defineerida näiteks:
nano /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
HWADDR=A2:7B:36:EF:4C:13
BOOTPROTO=none
ONBOOT=yes
NETWORK=192.168.0.0
NETMASK=255.255.255.0
IPADDR=192.168.0.6
USERCTL=no

===Aja seadistamine===

Aja seadistamiseks sobib kasutada system-config-date utiliiti

# system-config-date

[[Pilt:system-config-date-redhat4.gif]]

===Ramdiski seadistamine===

Kui Redhat paigutada ühelt arvutilt teisele, siis võib olla vajalik lisada ramdiski kettaseadme jaoks moodul, näiteks

# mkinitrd --fstab=/tmp/fstab --preload=cciss rd 2.6.9-78.0.1.ELsmp

Kusjuures tuleb jälgida, et fstab-sync ei tööta vastu, mis väljendub automaatselt /etc/fstab'i tehtud muudatuste ülekirjutamises. Selle vastu aitab eemaldada olemasolev link ja tekitada uus

# ln -s /bin/false /etc/hal/device.d/50-fstab-sync.hal

===Tarkvara uuendamine programmiga up2date===

Redhat 4 tarkvara-uuenduste saamiseks peab olema konto RedHat Network'is ning oma süsteemi sinna registreerima kas paigaldamise käigus või hiljem. Seejärel saab programmi up2date abil tarkvara uuendada ning paigaldada pakette öeldes nt

# up2date joe

või küsida, milliseid uuendusi saab rakendada, nt läbi http proxy

# up2date --proxy=localhost:3128 --show-available

Kui up2data käivitada ilma argumentideta, saab kasutada ka tema graafilist kasutajaliidest

[[Pilt:Redhat-up2date-1.gif]]

kusjuures paigaldatavad .rpm paketid kopeeritakse kataloogi /var/spool/up2date.

===NSS ja ldap teegi kasutamine===

Selleks, et seadistada RedHat ES 4 operatsioonisüsteem kasutama LDAP kataloogi kasutajate baasina ning ühendama seejuures kasutajate kodukatalooge külge NFS serverist tuleb sooritada sellise tegevused

* veenduda, et on paigaldatud paketid autofs (uuematel RedHat'idel on see vist nimega am-utils) ja nss_ldap

* /etc/openldap/ldap.conf failis asub ldap klientide, nt ldapsearch seadistus

BASE dc=loomaaed,dc=tartu,dc=ee
URI ldaps://ldap.loomaaed.tartu.ee

TLS_REQCERT hard
TLS_CACERT /etc/openldap/loomaaed-juur-cert.pem

* /etc/ldap.conf failis on NSS teegi seadistus

# egrep -v "^#|^$" /etc/ldap.conf
base dc=aso,dc=ee
uri ldaps://ldap.aso.ee/
ldap_version 3
timelimit 120
bind_timelimit 120
idle_timelimit 3600
ssl on
tls_cacertfile /etc/openldap/Juur-RIA-cacert.pem
pam_password md5

authconfig kasutamisel muutunud failid, aga tundub, et selle utiliidi kasutamine ei anna mingit nähtavat eelist niisama ldap seadistusfailide muutmise ees

/etc
/etc/group
/etc/openldap
/etc/openldap/ldap.conf
/etc/openldap/ldap.aso.ee.pem
/etc/login.defs
/etc/nsswitch.conf
/etc/pam_smb.conf
/etc/pam.d/system-auth
/etc/krb5.conf
/etc/sysconfig/authconfig
/etc/krb.conf
/etc/yp.conf
/etc/gshadow
/etc/ldap.conf
/etc/rc.d/rc5.d
/etc/rc.d/rc5.d/K35winbind
/etc/rc.d/rc5.d/K73ypbind
/etc/rc.d/rc5.d/K74nscd
/etc/rc.d/rc4.d
/etc/rc.d/rc4.d/K35winbind
/etc/rc.d/rc4.d/K73ypbind
/etc/rc.d/rc4.d/K74nscd
/etc/rc.d/rc3.d
/etc/rc.d/rc3.d/K35winbind
/etc/rc.d/rc3.d/K73ypbind
/etc/rc.d/rc3.d/K74nscd
/etc/samba/smb.conf
/etc/libuser.conf

* Autofs seadistamine toimub pool-automaatselt, faili /etc/auto.master on vaja lisada rida

/home ldap:10.0.9.251:ou=auto.home,ou=autofs,dc=auul rsize=8192,wsize=8192 --timeout=1

ning faili /etc/nsswitch.conf faili rida

automount: files ldap

Ning käivitada autofs deemon

# service autofs start

===NRPE kasutamine===

Iseenesest on vajalikud nagios-nrpe ja nagios-plugins aga lisaks tuleb panna sellised sõltuvused

* Redhat networksist

# up2date --proxy=localhost:3128 perl-Digest-HMAC (paigaldab ka perl-Digest-SHA1)

* dag wieers pealt, http://dag.wieers.com/rpm/packages/

perl-Crypt-DES-2.05-3.2.el4.rf.i386.rpm
perl-Socket6-0.20-1.el4.rf.i386.rpm
perl-Net-SNMP-5.2.0-1.2.el4.rf.noarch.rpm
fping-2.4-1.b2.2.el4.rf.i386.rpm
nagios-plugins-1.4.9-1.el4.rf.i386
nagios-nrpe-2.5.2-1.el4.rf.i386.rpm

===Multipath plokkseadme kasutamine===

Kasulikud lisamaterjalid

* http://sources.redhat.com/lvm2/wiki/MultipathUsageGuide
* http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/index.jsp?topic=/liaai/multiisci/liaaimisciinstallrhel.htm
* [[DM-Multipath]]
* [[FAI kasutamine Debianiga]]

Üks võimalus Red Hat 5.3 käivitamiseks multipath seadmelt on sooritada selline järgnevus

* paigaldada arvutile FAI installeri abil Debian Lenny 64 bit
* paigaldada Red Hat kvm abil LVM köitele (tundub, et installeris tuleb kasutada parameetril nmi_watchdog=0 ning ide tüüpi plokkseadmeid ja e1000 võrguseadet)
* kasutades Debiani paigaldamise käigus paigaldatud alglaadijat, alglaadida arvuti Red Hat alla Debiani tuuma ja initramfs'iga (kusjuures Debiani tuuma moodulid on kopeeritud Red Hati /lib/modules kataloogi)
* teha /sbin/mkintrd failis tekstis http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/index.jsp?topic=/liaai/multiisci/liaaimisciinstallrhel.htm kirjeldatud muudatused
* koostada sobiva sisuga /etc/multpath.conf (nb, panna tähele, et os juurika /etc/multpath.conf peab näitama /sbin/scsi_id ja initramfs /bin/scsi_id)

defaults {
user_friendly_names yes
}

multipaths {
multipath {
wwid 360060e8010259500051131800000000b
alias mpath
}
}

devices {
device {
vendor "HITACHI"
product "DF.*"
getuid_callout "/bin/scsi_id -g -u -s /block/%n"
# prio_callout "/bin/mpath_prio_hds_modular /dev/%n"
path_grouping_policy multibus
path_checker tur
features "1 queue_if_no_path"
failback immediate
}
}

* /etc/sysconfig/mkinitrd/multipath fail peab sisaldama

MULTIPATH=YES

* moodustada sobiva sisuga Red Hat'i initramfs /boot/rd-mp

# mkinitrd /boot/rd-mp --preload=dm-multipath --preload=qla2xxx 2.6.9-78.0.1

* kontrollida, et initramfs'i paigutati lvm binari ja tuuma moodulid, dm-multipath konf ja tuuma moodulid, qlogic tuuma moodul (tundub, et redhati qla2xxx moodulis on qlogic draiver ning firmware koos)

# mkdir /tmp/rd-mp-dir; cd /tmp/rd-mp-dir
# gunzip -c /boot/rd-mp | cpio -dmi

* arvuti millegipärast ei käivitu runlevel 3 peale automaatselt, aitab öelda

# telinit 3

* /boot kataloog sobib ühendada /dev/dm-nime abil

===Kasulikud lisamaterjalid===

* http://dag.wieers.com/rpm/

Redhati kasutamine

2016-06-17T09:04:13Z

Valmar: /* Võrgu seadistamine */

===Paketihalduse kasutamine===

Paigaldatud pakettide nimekirja saamiseks tuleb öelda

# rpm -qa

Paigaldatud paketis sisalduvate failide nimekirja saamiseks tuleb öelda

# rpm -ql paketinimi

Paketi eemaldamiseks

# rpm -e paketinimi

===Võrgu seadistamine===

Paigaldatud Redhat 4 võrku saab seadistada graafilise programmiga öeldes

# system-config-network-gui

[[Pilt:System-config-network-gui-redhat4.gif]]

====Võrgu seadistamine käsurealt====

Üldised seaded, näiteks masina nime ja vaikelüüsi saab paika panna:
nano etc/sysconfig/network

NETWORKING=yes
HOSTNAME=punamyts
GATEWAY=192.168.0.1

Võrguseadmed saab defineerida näiteks:
nano /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth8
HWADDR=A2:7B:36:EF:4C:13
BOOTPROTO=none
ONBOOT=yes
NETWORK=192.168.0.0
NETMASK=255.255.255.0
IPADDR=192.168.0.6
USERCTL=no

===Aja seadistamine===

Aja seadistamiseks sobib kasutada system-config-date utiliiti

# system-config-date

[[Pilt:system-config-date-redhat4.gif]]

===Ramdiski seadistamine===

Kui Redhat paigutada ühelt arvutilt teisele, siis võib olla vajalik lisada ramdiski kettaseadme jaoks moodul, näiteks

# mkinitrd --fstab=/tmp/fstab --preload=cciss rd 2.6.9-78.0.1.ELsmp

Kusjuures tuleb jälgida, et fstab-sync ei tööta vastu, mis väljendub automaatselt /etc/fstab'i tehtud muudatuste ülekirjutamises. Selle vastu aitab eemaldada olemasolev link ja tekitada uus

# ln -s /bin/false /etc/hal/device.d/50-fstab-sync.hal

===Tarkvara uuendamine programmiga up2date===

Redhat 4 tarkvara-uuenduste saamiseks peab olema konto RedHat Network'is ning oma süsteemi sinna registreerima kas paigaldamise käigus või hiljem. Seejärel saab programmi up2date abil tarkvara uuendada ning paigaldada pakette öeldes nt

# up2date joe

või küsida, milliseid uuendusi saab rakendada, nt läbi http proxy

# up2date --proxy=localhost:3128 --show-available

Kui up2data käivitada ilma argumentideta, saab kasutada ka tema graafilist kasutajaliidest

[[Pilt:Redhat-up2date-1.gif]]

kusjuures paigaldatavad .rpm paketid kopeeritakse kataloogi /var/spool/up2date.

===NSS ja ldap teegi kasutamine===

Selleks, et seadistada RedHat ES 4 operatsioonisüsteem kasutama LDAP kataloogi kasutajate baasina ning ühendama seejuures kasutajate kodukatalooge külge NFS serverist tuleb sooritada sellise tegevused

* veenduda, et on paigaldatud paketid autofs (uuematel RedHat'idel on see vist nimega am-utils) ja nss_ldap

* /etc/openldap/ldap.conf failis asub ldap klientide, nt ldapsearch seadistus

BASE dc=loomaaed,dc=tartu,dc=ee
URI ldaps://ldap.loomaaed.tartu.ee

TLS_REQCERT hard
TLS_CACERT /etc/openldap/loomaaed-juur-cert.pem

* /etc/ldap.conf failis on NSS teegi seadistus

# egrep -v "^#|^$" /etc/ldap.conf
base dc=aso,dc=ee
uri ldaps://ldap.aso.ee/
ldap_version 3
timelimit 120
bind_timelimit 120
idle_timelimit 3600
ssl on
tls_cacertfile /etc/openldap/Juur-RIA-cacert.pem
pam_password md5

authconfig kasutamisel muutunud failid, aga tundub, et selle utiliidi kasutamine ei anna mingit nähtavat eelist niisama ldap seadistusfailide muutmise ees

/etc
/etc/group
/etc/openldap
/etc/openldap/ldap.conf
/etc/openldap/ldap.aso.ee.pem
/etc/login.defs
/etc/nsswitch.conf
/etc/pam_smb.conf
/etc/pam.d/system-auth
/etc/krb5.conf
/etc/sysconfig/authconfig
/etc/krb.conf
/etc/yp.conf
/etc/gshadow
/etc/ldap.conf
/etc/rc.d/rc5.d
/etc/rc.d/rc5.d/K35winbind
/etc/rc.d/rc5.d/K73ypbind
/etc/rc.d/rc5.d/K74nscd
/etc/rc.d/rc4.d
/etc/rc.d/rc4.d/K35winbind
/etc/rc.d/rc4.d/K73ypbind
/etc/rc.d/rc4.d/K74nscd
/etc/rc.d/rc3.d
/etc/rc.d/rc3.d/K35winbind
/etc/rc.d/rc3.d/K73ypbind
/etc/rc.d/rc3.d/K74nscd
/etc/samba/smb.conf
/etc/libuser.conf

* Autofs seadistamine toimub pool-automaatselt, faili /etc/auto.master on vaja lisada rida

/home ldap:10.0.9.251:ou=auto.home,ou=autofs,dc=auul rsize=8192,wsize=8192 --timeout=1

ning faili /etc/nsswitch.conf faili rida

automount: files ldap

Ning käivitada autofs deemon

# service autofs start

===NRPE kasutamine===

Iseenesest on vajalikud nagios-nrpe ja nagios-plugins aga lisaks tuleb panna sellised sõltuvused

* Redhat networksist

# up2date --proxy=localhost:3128 perl-Digest-HMAC (paigaldab ka perl-Digest-SHA1)

* dag wieers pealt, http://dag.wieers.com/rpm/packages/

perl-Crypt-DES-2.05-3.2.el4.rf.i386.rpm
perl-Socket6-0.20-1.el4.rf.i386.rpm
perl-Net-SNMP-5.2.0-1.2.el4.rf.noarch.rpm
fping-2.4-1.b2.2.el4.rf.i386.rpm
nagios-plugins-1.4.9-1.el4.rf.i386
nagios-nrpe-2.5.2-1.el4.rf.i386.rpm

===Multipath plokkseadme kasutamine===

Kasulikud lisamaterjalid

* http://sources.redhat.com/lvm2/wiki/MultipathUsageGuide
* http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/index.jsp?topic=/liaai/multiisci/liaaimisciinstallrhel.htm
* [[DM-Multipath]]
* [[FAI kasutamine Debianiga]]

Üks võimalus Red Hat 5.3 käivitamiseks multipath seadmelt on sooritada selline järgnevus

* paigaldada arvutile FAI installeri abil Debian Lenny 64 bit
* paigaldada Red Hat kvm abil LVM köitele (tundub, et installeris tuleb kasutada parameetril nmi_watchdog=0 ning ide tüüpi plokkseadmeid ja e1000 võrguseadet)
* kasutades Debiani paigaldamise käigus paigaldatud alglaadijat, alglaadida arvuti Red Hat alla Debiani tuuma ja initramfs'iga (kusjuures Debiani tuuma moodulid on kopeeritud Red Hati /lib/modules kataloogi)
* teha /sbin/mkintrd failis tekstis http://publib.boulder.ibm.com/infocenter/lnxinfo/v3r0m0/index.jsp?topic=/liaai/multiisci/liaaimisciinstallrhel.htm kirjeldatud muudatused
* koostada sobiva sisuga /etc/multpath.conf (nb, panna tähele, et os juurika /etc/multpath.conf peab näitama /sbin/scsi_id ja initramfs /bin/scsi_id)

defaults {
user_friendly_names yes
}

multipaths {
multipath {
wwid 360060e8010259500051131800000000b
alias mpath
}
}

devices {
device {
vendor "HITACHI"
product "DF.*"
getuid_callout "/bin/scsi_id -g -u -s /block/%n"
# prio_callout "/bin/mpath_prio_hds_modular /dev/%n"
path_grouping_policy multibus
path_checker tur
features "1 queue_if_no_path"
failback immediate
}
}

* /etc/sysconfig/mkinitrd/multipath fail peab sisaldama

MULTIPATH=YES

* moodustada sobiva sisuga Red Hat'i initramfs /boot/rd-mp

# mkinitrd /boot/rd-mp --preload=dm-multipath --preload=qla2xxx 2.6.9-78.0.1

* kontrollida, et initramfs'i paigutati lvm binari ja tuuma moodulid, dm-multipath konf ja tuuma moodulid, qlogic tuuma moodul (tundub, et redhati qla2xxx moodulis on qlogic draiver ning firmware koos)

# mkdir /tmp/rd-mp-dir; cd /tmp/rd-mp-dir
# gunzip -c /boot/rd-mp | cpio -dmi

* arvuti millegipärast ei käivitu runlevel 3 peale automaatselt, aitab öelda

# telinit 3

* /boot kataloog sobib ühendada /dev/dm-nime abil

===Kasulikud lisamaterjalid===

* http://dag.wieers.com/rpm/

Packet Filter

2016-04-01T13:12:36Z

Valmar: /* Tulemüüri läbilaske testid */

'''Packet Filter'''

===Sissejuhatus===
(lüh. PF) on OpenBSD tulemüür, alates OpenBSD versioonist 3.0, mille on kirjutanud 2001. aasta suvel Daniel Hartmeier. Packet Filter kirjutati asendamaks Darren Reed'i kirjutatud IPFilter tulemüüri, kes sattus OpenBSD arendajatega konflikti, keelates oma koodi muuta. Darren Reed väitis, et tema kirjutatud tulemüür IPFilter kasutab BSD litsentsi, kuid tegelikult oli ta BSD litsentsi sõna-sõnalt kopeerinud, jättes välja vaid osa, mis lubab koodi muutmist. Tülide lahendamise asemel otsustas OpenBSD projektijuht, Theo De Raadt uue tulemüüri kasuks. 29.05.2001 eemaldati IPFilter'i kood OpenBSD lähtekoodist. Järgnevad kaks kuud oli OpenBSD operatsioonisüsteem ilma tulemüürita, Packet Filter jõudis OpenBSD lähtekoodi 24.06.2001. Paaril järgneval kuul töötasid arendajad meeletu koormusega, ning OpenBSD 3.0 versiooni valmides sisaldas see ka juba Packet Filter tulemüüri. Oma eluaja jooksul on see tulemüür väga kiirelt arenenud ning omab teiste tulemüüride ees mitmeid eeliseid. Tulemüüri reeglite süntaks on sarnane IPFilter'i omale, kuid seda on lihtsustatud kasutusmugavuse tõstmiseks. Packet Filter on tihedalt seotud võrgunduses levinud NAT ning QoS tehnoloogiatega, lubamaks suuremat paindlikkust ning vastupidavust. Packet Filter on porditud ka FreeBSD, NetBSD ning DragonFlyBSD operatsioonisüsteemidele.

===Võimalused===
Packet Filter on, nagu iga teinegi UNIX-i rakendus, väga paindlik. Seega arendajatel on lihtne koodi uuendada ning uusi võimalusi lisada. Packet Filter areneb väga kiiresti ning pakub palju võimalusi, mida tihtipeale leiab ainult tasulistest tulemüüridest.
Siinkohal on lahti seletatud tähelepanuväärseimad võimalused.

====NAT====

"Network Address Translation". Privaatse või registreerimata IP-aadressi asendamine ametliku IP-aadressiga. NAT annab organisatsioonidele suurema paindlikkuse aadresside kasutamiseks oma kohtvõrkudes ja lubab kasutajatel vastavalt vajadusele ühiselt kasutada piiratud arvu registreeritud IP-aadresse. NAT’i kasutamine teeb ka raskemaks võrgu ründamise väljastpoolt, sest sisemisi IP-aadresse ei edastata üle Interneti. Võrguaadresside ümbernimetamine toimub harilikult ruuteris või tulemüüris.

====QoS====

"Quality of Service". Tegeleb andmeedastuskiiruste, vigade esinemise sageduste ja teiste karakteristikute mõõtmise, parandamise ja teatud määral garanteerimisega. QoS on eriti oluline laiaribalise video- ja multimeediuminfo pideva ülekande puhul. Sellise info töökindel edastamine üle avalike sidevõrkude on tavalisi protokolle kasutades raske. Interneti ressursside reserveerimise protokolli (RSVP) kasutamisel saab läbi lüüsihosti liikuvaid pakette organiseerida eelnevalt paika pandud poliitika ja reserveerimiskriteeriumide alusel.

====ALTQ====

"ALTernate Queueing framework for BSD UNIX". ALTQ võimaldab pakettide järjestamist ning teisi QoS-i komponente, mis on vajalikud QoS-i edukaks teostamiseks võrgus, seda kasutatakse enamasti BSD operatsioonisüsteeme kasutatavates ruuterites. ALTQ on osa FreeBSD ja NetBSD distributsioonidest ning on integreeritud Packet Filter tulemüüri.

http://kuutorvaja.eenet.ee/wiki/Freebsd_traffic_shaping

====CARP====

"The Common Address Redundancy Protocol". CARP on protokoll, mis lubab samas sisevõrgus asuvatel arvutitel jagada IP-aadressite paari, peamine eesmärk on võimaldada tagavararuuteri kasutamist. Juhul, kui ruuter peaks mingil põhjusel töökõlbmatuks muutuma, näiteks riistvara vea tõttu, saab tagavararuuter tema töö kohe üle võtta, tekitamata võrgus tõrkeid ning jäädes kasutajatele märkamatuks.

====Pfsync====

Pfsync on virtuaalne võrguliides, mis peegeldab Packet Filter tulemüüri tabelis tehtud muudatusi, tcpdump käsku kasutades saab seda reaalajas jälgida, samuti oskab pfsync enda muudatusi üle võrgu laiali saata ning neid ka vastu võtta, näiteks mitmete võrgus asuvate tulemüüride reeglite sünkroniseerimiseks.

====Authpf====

Authpf on kasutajaliides autentivatele võrgulüüsidele, autentiva võrgulüüsi kasutamiseks tuleb kasutajatel ennast tuvastada enne, kui lüüs nende võrguliikluse läbi laseb. Seda saab kasutada näiteks ainult kasutaja sessiooni ajal kehtivate tulemüürireeglite automatiseeritud loomiseks ja kustutamiseks.

====Ftp-proxy====

Ftp-proxy on OpenBSD implementatsioon puhverserverist FTP-protokollile, see võimaldab NAT-ruuteri taga asuvatel võrguklientidel kasutada FTP-protokolli, olles tulemüüri ja välise liikluse vahendaja, lisades ning eemaldades vajadusel Packet Filter tulemüüri reegleid.

===Kasutamine===

====Aktiveerimine====
Packet Filter tulemüüri käivitamiseks OpenBSD operatsioonisüsteemi käivitudes tuleb lisada /etc/rc.conf.local rida pf=YES, ajutiselt saab tulemüüri käivitada ning sulgeda pfctl käsu abil või kasutades rc skripti /etc/rc.d/pf

näiteks käsuga /etc/rc.d/pf reload

====Seadistamine====
Packet Filter laeb operatsioonisüsteemi käivitumisel vaikimisi reeglid /etc/pf.conf failist. See on tekstifail, mis laetakse pfctl käsuga ning sisaldab tulemüüri reegleid. Erinevatele rakendustele saab määrata ka teistes failides asuvaid reegleid, seadistusfailis olevaid tühje ridu ignoreeritakse. Seadistusfail pf.conf koosneb seitsmest osast.

====Makrod====
Makrod on kasutaja poolt määratud muutujad, mis kujutavad mingit hulka IP-aadresse, portide numbreid või võrguliideseid, makrod võimaldavad reegleid lihtsamini loetavaks ja kergemini hallatavaks muuta. Makrod võivad sisaldada numbreid või tähti, neid saab laiendada ka nimekirjadeks ning grupeerida, hilisemalt kasutatakse makrode muutujanimena dollarimärki. Siinkohal on välja toodud mõned näited reeglite lihtsustamiseks.

extIF = "xl0"
See makro määrab välise võrguliidese xl0 nimeks extIF, see lihtsustab hilisemates reeglites välise võrguliidese kasutamist ning välistab võimaluse teiste liidestega segamini ajada.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
See makro määrab IP-aadressite hulga 192.168.0.2-192.168.0.3 ühise grupi alla, see lihtsustab hilisemates reeglites mingi hulga klientide poole pöördumist. Näiteks ühe reegliga saab kogu grupil keelata liikluse, ei pea igale kliendile eraldi reeglit tegema.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
kliendid2 = "{ 192.168.1.2, 192.168.1.3 }"
kliendidKOKKU = "{" $kliendid1 $kliendid2 "}"
Need makrod määravad IP-aadressite hulgad gruppideks ning loovad ühise grupi, mis lihtsustab kõikidele klientidele ühiste reeglite kirjutamist.

====Tabelid====
Tabelites hoitakse IP-aadresse. Otsingud tabelitest on märksa kiiremad kui otsingud nimekirjadest, mistõttu sobivad tabelid suure hulga aadressite hoidmiseks. Tabeleid saab siduda ka ümbersuunamise ning filtrite reeglitega. Tabeleid tähistatakse nurksulgudega. Tabelitele saab lisana omistada kahte erinevat olekut - konstantne e. const ning jääv e. persist. Konstantse tabeli puhul saab tabelit muuta ainult laadimata olekus, muidu saab neid laadida ka töötades, pfctl käsu abil.
Jääva olekuga tabelit hoitakse mälus ka siis, kui sellega ükski reegel seotud pole, muidu kustutatakse tabel viimase seotud reegli kustutamisel automaatselt. Tabeleid saab laadida ka tekstifailidest, kasutades file muutujat.

table <kliendid1> { 192.168.1.0/24, !192.168.1.1 }
Kliendid1 tabelist eraldatakse 192.168.1.1 aadressiga klient.

table <kliendid2> persist file "/etc/kliendid2nimekiri"
Kliendid2 tabel loetakse sisse failist /etc/kliendid2nimekiri, jäävasse olekusse.

block in on xl0 from <kliendid2>to any
pass in on xl0 from <kliendid1> to any
Kliendid2 grupile keelatakse ning kliendid grupile lubatakse väline juurdepääs.

Muutujad Packet Filteri tööprotsessi muutmiseks.
set block-policy option - Määrab filtrite ülesanded pakettide blokeerimisel
set debug option - Määrab tagasiside taseme
set fingerprints file - Määrab avalike võtmete faili
set limit option value - Määrab PF piirangud
set loginterface interface - Määrab logiliidese, vaikimis pflogd0
set optimization option - Määrab optimeerimise taseme
set skip on interface - Määrab ignoreeritavad võguliidesed
set state-policy option - Määrab pakettide hoidmise reeglid
set timeout option value - Määrab ooteaja

set loginterface dc0
Määrab logimisliideseks dc0 võrguliidese.

set skip on lo0
Määrab Io0 liidese ignoreeritavaks, sellele seadmele ei rakendata ühtegi reeglit.

Küürimine
Küürimine on pakettide normaliseerimine, mille eesmärk on vältida fragmenteerunud pakettide paljunemist, keelatakse ka valede lippudega TCP-paketid. Küürimise süntaks on väga sarnane filtrite ülesehitusega ning seda on lihtne oma tulemüüri juurutada.

scrub on xl0 all reassemble tcp
Normaliseerib kõik TCP-paketid, mis läbivad xl0 võrguliidest.

====Järjekorrad====
Operatsioonisüsteemi valitud pakettide järjekorrast sõltub võrgu jõudlus, näiteks seades suuremat kiirust vajavad protokollid teistest ettepoole ja seega tõstes töökiirust. Pakettide järjestamise strateegiad tulenevad valitud scheduler'ist ehk plaanurist. Packet Filter toetab pakettide järjestamist klassi (CBQ) ning paketi prioriteedi (PRIQ) järgi.

altq on xl0 cbq bandwidth 2Mb queue
Määrab xl0 võrguliidesele CBQ plaanuriga 2Mb piirangu.

====Tõlkimine====
Võrguaadressite tõlkimine (NAT) võimaldab peita sisevõrgu kliendid ühe välise IP-aadressi taha, suurendamaks turvalisust sisevõrku sissepääsu raskendades.

nat on xl0 from 192.168.1.0/24 to any -> 192.168.2.0
Peidab kõik 192.168.1.0/24 alamvõrgust tulevad IP-aadressi 192.168.2.0 taha.

====ftp-proxy vahendab NAT tulemüüri taga olevale klienti====

Selleks, et NAT tulemüüri taga asuvad kliendid saaksid ftp serveritega suhelda tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"
rdr on $intIF proto tcp from any to any port 21 -> 127.0.0.1 port 8021

ning reeglite sektsiooni

anchor "ftp-proxy/*"

ning käivitada soketil 127.0.0.1:8021 programm ftp-proxy

# ftp-proxy -r

-r võtit soovitatakse kasutada, et ka vanemad ja nö isikupärasemad kliendid toimiks. Selleks, et ftp-proxy bootimisel käivituks peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-r"

====ftp-proxy vahendab NAT tulemüüri taga olevat ftp serverit====

Selleks, et ftp kliendid saaksid internetist pöörduda NAT tulemüüri taga asuva ftp serveri poole, tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"

ning reeglite sektsiooni

pass in on $extIF inet proto tcp to $extIF port 21 \
flags S/SA keep state
anchor "ftp-proxy/*"

ning käivitada programm ftp-proxy, mis kuulab tulemüüri välisel seadmel aadressil 192.168.10.200 pöördumisi ja vahendab need sisevõrgus aadressil 192.168.1.3 töötavale ftp serverile

# ftp-proxy -R 192.168.1.3 -p 21 -b 192.168.10.200

Selleks, et ftp-proxy bootimisel käivituks, peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-R 192.168.1.3 -p 21 -b 192.168.10.200"

Kui tulemüüri vahendab kummastki suunas ftp liiklust, siis töötab kaks ftp-proxy eksemplari.

====Filtrid====
Pakettide filtreerimine on valikuline andmete voo keelamine ja lubamine, tuginedes kindlaksmääratud filtritele. Filtrites määratakse ära, millised paketid läbi lastakse ja millised peatatakse. Saabunud paketti võrreldakse filtritega, filtrid läbitakse järjestikuliselt, viimases filtris määratud tegevus rakendatakse tööle, kui tegevust ei leita, on vaikimisi seade pakett läbi lasta.

====Reeglite süntaks====
Reeglite lihtsustatud süntaks :

action [direction] [log] [quick] [on interface] [af] [proto protocol] \
[from src_addr [port src_port]] [to dst_addr [port dst_port]] \
[flags tcp_flags] [state]

action - Pakettide rakendamine
direction - Pakettide suund
log - Logitase
quick - Kui pakett vastab quick muutujaga reeglile, kontrollitakse vaid esimest reeglit
interface - Võrguliides
af – IP-protokolli tüübi määrang
src_addr, dst_addr - Päritoluaadress ning suundaadress
src_port, dst_port - Päritoluport ning suundport
tcp_flags - Määrab pakettide TCP-lipud
state - Pakettide hoidmise reeglid

===Lisavõimalused===
Packet Filter on ünsa populaarne ja leiab pidevalt uusi kasutajaid, paljud kasutajad on aga proovinud lisada Packet Filter'ile mitmeid lisavõimalusi, mis muudaksid seadistamise ning haldamise lihtsamaks, siinkohal on välja toodud lühike ülevaade kahest tuntumast lisast.

====Pfw====
[http://www.allard.nu/pfw/ http://www.allard.nu/pfw/]
fw on veebipõhine kasutajaliides Packet Filter tulemüürile, eesmärk on olla sama efektiivne ja kasulik kui PG ning samal ajal pakkuda võimalust tulemüüri läbi veebibrauseri seadistada (lisa 2). Pfw põhineb PHP-l ning toetab perl-i mooduleid, Pfw on tasuta saadaval ning kasutab BSD-litsentsi.

====Pf.vim====
[http://www.vim.org/scripts/script.php?script_id=341 http://www.vim.org/scripts/script.php?script_id=341]
Pf.vim on Vim-i süntaksiskript, mis kohandab Vim-i Packet Filter'i konfiguratsioonifaili pf.conf töötlemiseks, pf.vim oskab pf.conf faili sisu tüübi järgi esile tõsta ning värviliseks muuta, näiteks kõik kehtivad reeglid kuvatakse rohelises kirjas. Pf.Vim süntaksiskripti on loonud Camiel Dobbelaar aastal 2002.

===Praktiline Osa. Tulemüüri seadistamine===

Tulemüür väiksemale võrgule kus lubatakse mõnedele teenustele ligipääs ning tehakse ka NAT'i sisevõrgule

Tulemüüri automaatseks käivitamiseks tuli /etc/rc.conf.local faili lisada rida pf=YES, operatsioonisüsteemi käivitusskriptid laevad sellest failist käivitatavate rakendust nimekirja, tulemüüri saab ka käsitsi käsurealt käivitada.
pfctl -e -f /etc/pf.conf

Selle käsuga käivitatakse tulemüür ja laetakse reeglid /etc/pf.conf failist. Tulemüüri seadistamisel kasutas autor Vim tekstiredaktorit. Reeglid loodi sellised, et sisevõrgus olevatel klientidel on juurdepääs internetile, juurdepääs väljastpoolt sisevõrku puudub ning sisevõrgu kliendid peidetakse ühise IP-aadressi taha, sisevõrgust välja lubati http, https ja pop3 protokollide kasutamine, täielik tabel on toodud välja lisana (lisa 1).
Tulemüüri reeglite kirjutamine :

extIF="rl0"
intIF="xl0"
lubatud="{ 80, 110, 443 }"
'''#Võrguliidestele ning lubatud protokollidele määrati makrod, lihtsustamaks hilisemat pöördumist.'''

set loginterface $extIF
set skip on lo
'''#Lülitati sisse välise liidese logimine ning loopack liidese ignoreerimine.'''

scrub in all
scrub out all
'''#Lülitati sisse kõikide pakettide normaliseerimine.'''

nat on $extIF from !($extIF) -> ($extIF:0)
'''#Lülitati sisse NAT välisel võrguliidesel.'''

block in
pass out keep state
antispoof quick for { lo $intIF }
pass in on $extIF inet proto tcp from any to ($extIF) port $lubatud flags S/SA keep state
'''#Keelati kõik sisenev liiklus peale makros $lubatud kirjeldatud portidelt, lubati võrgust väljuv liiklus ning välistati siseneval liiklusel spoof’imine.'''

pass in inet proto icmp all keep state
pass out inet proto icmp all keep state
'''#Lubatakse võrku sisenevad ja väljuvad pingimised.'''

'''#Lubati väljuv liiklus.'''
pass quick on $intIF

Lisahääletuseks võib seadistada kiire lingi puhul näiteks

set optimization aggressive

Optimizationi muutujaid saab vaadata käsuga pfctl -s timeouts

Aeglasemate ühenduste korral on kasulik agressive asemel seadistada näiteks high-latency

State tabeli vaikimisi suuruseks kus hoitakse kõiki aktiivseid ühendusi on 10000
mis suuremate ühenduste laviiniga võib täis saada kergelt

Keep state peaks tänapäeval pf-i vaikimisi default olema ja kogu filterdamist isegi kiiremaks tegema.

===Ssh läbustajate piiramine===

Vaadates igaöist ebaõnnestunud logimiskatsete arvu võib masinal kus ssh ligipääs
peab olema avatud kogu maailmale avastada halval päevall neid katseid tuhandeid.
Erinevate robotite poolt proovitakse läbi kõikvõimalikke kasutajanimesid ning paroole
milledega üritakse sisse logida. Sageli, paljude kasutajatega serveris, kus kasutajatel võimalus
ise endile lihtsaid paroole seadistada ka õnnestunult. Lisaks on selline täis läbustatud logifail
ebamugav ka debugimisel ning häirib igaöiste raportite lugemist.

Kuidas seda probleemi lahendada? Kõige lihtsam lahendus on tekitada tabel milles olevad
aadressid blokitakse koheselt ning seadistada ssh lubamise reale lisaks maksimaalsed
ühenduste arvud, millede ületamise korral ip aadress koheselt keelatud aadressite teabelisse
lisatakse.

Pf.confi täiendasin järgnevalt:

Tekitasin tabeli jobud
table <jobud> persist

Blokeerisin kõik ühendused sealsetelt aadressidelt
block log quick from <jobud>
Seadistasin limiidid ssh ühendustele milledest alates ip aadress tabelisse lisatakse
pass in on $ext_if proto tcp from any to $ext_if port 22 keep state (max-src-conn 10, max-src-conn-rate 10/5, overload <jobud> flush global)

Vaadates nüüd logist mõnd läbustajat näeme, et üsna peatselt katkes temaga suhtlus

# cat /var/log/auth.log | grep 89.216.115.128
Feb 27 18:32:15 muheleja sshd[64673]: Did not receive identification string from 89.216.115.128
Feb 27 18:37:40 muheleja sshd[65023]: Invalid user PlcmSpIp from 89.216.115.128
Feb 27 18:37:41 muheleja sshd[65025]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:42 muheleja sshd[65027]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:44 muheleja sshd[65029]: Invalid user db2inst1 from 89.216.115.128
Feb 27 18:37:46 muheleja sshd[65031]: Invalid user dasusr1 from 89.216.115.128
Feb 27 18:37:47 muheleja sshd[65033]: Invalid user ts from 89.216.115.128
Feb 27 18:37:49 muheleja sshd[65035]: Invalid user TeamSpeak from 89.216.115.128
Feb 27 18:37:51 muheleja sshd[65037]: Invalid user cisco from 89.216.115.128
Feb 27 18:37:52 muheleja sshd[65039]: Invalid user dream from 89.216.115.128
Feb 27 18:37:57 muheleja sshd[65041]: Invalid user spam from 89.216.115.128

Vaatame tabelisse ka

# pfctl -t jobud -T show
No ALTQ support in kernel
ALTQ related functions disabled
89.216.115.128

Tundub, et läbustaja sai edukalt blokeeritud.

Tabeli saab puhastada käsuga

# pfctl -t jobud -T flush
No ALTQ support in kernel
ALTQ related functions disabled
1 addresses deleted.

===IPV6 filtreerimisest===

Kui reeglis ei ole sõna inet, siis käib sama reegel nii ipv4 kui ipv6 kohta. Näiteks need:

block in log quick on $ext_if from <global_deny_in> label "global_deny_in"
block in log quick on $ext_if from any to <server_block_out>
block log on $int_if all label "blocked_kontor"

Aadresside võrdlemine on pf-il loomulikult intelligentne, s.t. ipv4 aadress tähendab ühtlasi ka ipv4 protot.

==Tulemüüri võrguühenduse võimekus==
<pre>
dmesg | less
</pre>
Otsida välja väljad Ethernet kohta. Antud näite puhul ei ole testtulemüüri raud piisav 10Gb jaoks (on pci-e2 x4, oleks vaja pci-e3 x8):

<pre>
ixl0: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd8800000-0xd8ffffff,0xd87f0000-0xd87f7fff irq 40 at device 0.0 on pci4
ixl0: Using MSIX interrupts with 9 vectors
ixl0: f4.22 a1.2 n04.25 e8000143f
ixl0: Using defaults for TSO: 65518/35/2048
ixl0: Ethernet address: 68:05:ca:32:f0:cc
ixl0: PCI Express Bus: Speed 5.0GT/s Width x4
ixl0: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl0: For expected performance a x8 PCIE Gen3 slot is required.

ixl1: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd9000000-0xd97fffff,0xd87f8000-0xd87fffff irq 40 at device 0.1 on pci4
ixl1: Using MSIX interrupts with 9 vectors
ixl1: f4.22 a1.2 n04.25 e8000143f
ixl1: Using defaults for TSO: 65518/35/2048
ixl1: Ethernet address: 68:05:ca:32:f0:cd
ixl1: PCI Express Bus: Speed 5.0GT/s Width x4
ixl1: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl1: For expected performance a x8 PCIE Gen3 slot is required.
</pre>

===pci-e võimalustest tulenev maksimaalne läbilase===

Testimiseks kasutusel olev pci-e slott võimaldab:

5000MHz * 4bitti / 8 = 2500 MB/s

===Riistvaraliste komponentide mõju===

{|
! style="text-align:left;"| Komponent
! Tähtis
|-
| Emaplaat
| PCI siini laius ja kiirus - kindlasti pci-e, soovituslikult vähemalt pci-e3 x8
|-
| CPU
| CPU kiirus ei ole esmane prioriteet.
|-
| Mälu
| kiirus Mhz, hulk ei ole peale 1-2 GB tähtis, peale 8-16GB üldse määrav
|-
| Võrgukaart
| eraldiseisev või spec. (ei kasuta CPU ressursse oma arvutusteks)
|-
| Hyper Threading
| Maha, tekitab latentsust ja turvariski
|}

====Tulemüüri läbilaske testid====
Testime tulemüüri läbilaset erinevates olukordades, kasutades iperf-i.

Testime erinevate TCP akende suuruste ja samaaegsete ühenduste arvuga 30 sekundise kestvusega, seejärel testime suurema kogumahuga väikeste pakettidega ja siis suurtega.

32KB, 1, 2 ja 4 ühendust.
64KB, 1, 2 ja 4 ühendust.
128KB, 1, 2 ja 4 ühendust.
256KB, 1, 2 ja 4 ühendust.
512KB, 1, 2 ja 4 ühendust.

32, 128 ja 512KB, 1TB kogumahtu, 1 ja 4 ühendust.
Näiteks:

Masinal mida pommitada:
<pre>
iperf -s
</pre>

Pommitajal:
<pre>
iperf -t 30 -c 1.2.3.4 -w 32KB -P 1 -i 1 >> PFtest
</pre>

Tulemusi saab siis lugeda failist PFtest.

===Turva===

====DoS testid====

Näiteid hping3 kasutades.

Smurf attack, mida oma võrgus eriti teha ei taha, kui just osa sellest eraldama ei hakka:
<pre>
hping3 -1 --flood -a SIHTMÄRGI_IP VÕRGU_BROADCAST
</pre>

DOS Land Attack (SYN flood)
<pre>
hping3 -V -c 1000000 -d 120 -S -w 64 -p 445 -s 445 --flood --rand-source SIHTMÄRGI_IP
</pre>

====SYN rünnaku ja Portide skänni limiteerimine====
Piirame RST vastused. Vaikimisi on piirang 200 paketti sekundis.
Lisaks on ka võimalus keelata sellekohaste sõnumite näitamine:

<pre>
sysctl net.inet.icmp.icmplim=200
sysctl net.inet.icmp.icmplim_output=0
</pre>

Selgituseks:
<pre>
From blackhole(7):
Code:

Normal behaviour, when a TCP SYN segment is received on a port where
there is no socket accepting connections, is for the system to return a
RST segment, and drop the connection. The connecting system will see
this as a ``Connection refused''. By setting the TCP blackhole MIB to a
numeric value of one, the incoming SYN segment is merely dropped, and no
RST is sent, making the system appear as a blackhole. By setting the MIB
value to two, any segment arriving on a closed port is dropped without
returning a RST. This provides some degree of protection against stealth
port scans.
</pre>

Tore on see, et RST piiratakse juba enne tulemüüri, nii et kui keegi selle rakenduse tasemel pangestab, jääb
piirang ikka peale niikaua, kui tuuma vastavad deemonid töötavad.

SYN rünnakul kolmest masinast, kasutades kahest hping-i ja juurest 24 ping-i instantsi, igaüks spämmides miljonites pinge minimaalse ooteaknaga ei suutnud tulemüüri silmagi pilgutama panna. (~90K paketti sekundis, CPU maksimaalselt 10% load, mälu kasutus ~2G 16-st)

==Lisad==

'''pflog logima faili'''

# grep -i pflog /etc/rc.local
echo -n "pflog -> syslog"
ifconfig pflog0 up
tcpdump -s 96 -l -e -t -i pflog0 | logger -p local0.info -t pf &
# grep -i local0.info /etc/syslog.conf
local0.info /var/log/pflog.txt
local0.info @loghost
# grep -i pflog.txt /etc/newsyslog.conf
/var/log/pflog.txt 600 7 * @T00 Z

'''pf flush kui reeglid untsuläinud'''

Üks võimalus oleks anda käsk

# pfctl -f pf.conf && sleep 60 && pfctl -f pf.conf.safe

See näide pole aga hea kui terminali ühendus mahakukub, sellepuhuks tasuks
pigem kasutada rida

echo "pfctl -d" | at + 5 minutes

Mis lihtsalt disabled pf kõik reelid

'''eemaldab pf tabelist ridu mis liiga vanad'''
http://expiretable.fnord.se/

Packet Filter

2016-04-01T13:04:07Z

Valmar: /* DoS testid */

'''Packet Filter'''

===Sissejuhatus===
(lüh. PF) on OpenBSD tulemüür, alates OpenBSD versioonist 3.0, mille on kirjutanud 2001. aasta suvel Daniel Hartmeier. Packet Filter kirjutati asendamaks Darren Reed'i kirjutatud IPFilter tulemüüri, kes sattus OpenBSD arendajatega konflikti, keelates oma koodi muuta. Darren Reed väitis, et tema kirjutatud tulemüür IPFilter kasutab BSD litsentsi, kuid tegelikult oli ta BSD litsentsi sõna-sõnalt kopeerinud, jättes välja vaid osa, mis lubab koodi muutmist. Tülide lahendamise asemel otsustas OpenBSD projektijuht, Theo De Raadt uue tulemüüri kasuks. 29.05.2001 eemaldati IPFilter'i kood OpenBSD lähtekoodist. Järgnevad kaks kuud oli OpenBSD operatsioonisüsteem ilma tulemüürita, Packet Filter jõudis OpenBSD lähtekoodi 24.06.2001. Paaril järgneval kuul töötasid arendajad meeletu koormusega, ning OpenBSD 3.0 versiooni valmides sisaldas see ka juba Packet Filter tulemüüri. Oma eluaja jooksul on see tulemüür väga kiirelt arenenud ning omab teiste tulemüüride ees mitmeid eeliseid. Tulemüüri reeglite süntaks on sarnane IPFilter'i omale, kuid seda on lihtsustatud kasutusmugavuse tõstmiseks. Packet Filter on tihedalt seotud võrgunduses levinud NAT ning QoS tehnoloogiatega, lubamaks suuremat paindlikkust ning vastupidavust. Packet Filter on porditud ka FreeBSD, NetBSD ning DragonFlyBSD operatsioonisüsteemidele.

===Võimalused===
Packet Filter on, nagu iga teinegi UNIX-i rakendus, väga paindlik. Seega arendajatel on lihtne koodi uuendada ning uusi võimalusi lisada. Packet Filter areneb väga kiiresti ning pakub palju võimalusi, mida tihtipeale leiab ainult tasulistest tulemüüridest.
Siinkohal on lahti seletatud tähelepanuväärseimad võimalused.

====NAT====

"Network Address Translation". Privaatse või registreerimata IP-aadressi asendamine ametliku IP-aadressiga. NAT annab organisatsioonidele suurema paindlikkuse aadresside kasutamiseks oma kohtvõrkudes ja lubab kasutajatel vastavalt vajadusele ühiselt kasutada piiratud arvu registreeritud IP-aadresse. NAT’i kasutamine teeb ka raskemaks võrgu ründamise väljastpoolt, sest sisemisi IP-aadresse ei edastata üle Interneti. Võrguaadresside ümbernimetamine toimub harilikult ruuteris või tulemüüris.

====QoS====

"Quality of Service". Tegeleb andmeedastuskiiruste, vigade esinemise sageduste ja teiste karakteristikute mõõtmise, parandamise ja teatud määral garanteerimisega. QoS on eriti oluline laiaribalise video- ja multimeediuminfo pideva ülekande puhul. Sellise info töökindel edastamine üle avalike sidevõrkude on tavalisi protokolle kasutades raske. Interneti ressursside reserveerimise protokolli (RSVP) kasutamisel saab läbi lüüsihosti liikuvaid pakette organiseerida eelnevalt paika pandud poliitika ja reserveerimiskriteeriumide alusel.

====ALTQ====

"ALTernate Queueing framework for BSD UNIX". ALTQ võimaldab pakettide järjestamist ning teisi QoS-i komponente, mis on vajalikud QoS-i edukaks teostamiseks võrgus, seda kasutatakse enamasti BSD operatsioonisüsteeme kasutatavates ruuterites. ALTQ on osa FreeBSD ja NetBSD distributsioonidest ning on integreeritud Packet Filter tulemüüri.

http://kuutorvaja.eenet.ee/wiki/Freebsd_traffic_shaping

====CARP====

"The Common Address Redundancy Protocol". CARP on protokoll, mis lubab samas sisevõrgus asuvatel arvutitel jagada IP-aadressite paari, peamine eesmärk on võimaldada tagavararuuteri kasutamist. Juhul, kui ruuter peaks mingil põhjusel töökõlbmatuks muutuma, näiteks riistvara vea tõttu, saab tagavararuuter tema töö kohe üle võtta, tekitamata võrgus tõrkeid ning jäädes kasutajatele märkamatuks.

====Pfsync====

Pfsync on virtuaalne võrguliides, mis peegeldab Packet Filter tulemüüri tabelis tehtud muudatusi, tcpdump käsku kasutades saab seda reaalajas jälgida, samuti oskab pfsync enda muudatusi üle võrgu laiali saata ning neid ka vastu võtta, näiteks mitmete võrgus asuvate tulemüüride reeglite sünkroniseerimiseks.

====Authpf====

Authpf on kasutajaliides autentivatele võrgulüüsidele, autentiva võrgulüüsi kasutamiseks tuleb kasutajatel ennast tuvastada enne, kui lüüs nende võrguliikluse läbi laseb. Seda saab kasutada näiteks ainult kasutaja sessiooni ajal kehtivate tulemüürireeglite automatiseeritud loomiseks ja kustutamiseks.

====Ftp-proxy====

Ftp-proxy on OpenBSD implementatsioon puhverserverist FTP-protokollile, see võimaldab NAT-ruuteri taga asuvatel võrguklientidel kasutada FTP-protokolli, olles tulemüüri ja välise liikluse vahendaja, lisades ning eemaldades vajadusel Packet Filter tulemüüri reegleid.

===Kasutamine===

====Aktiveerimine====
Packet Filter tulemüüri käivitamiseks OpenBSD operatsioonisüsteemi käivitudes tuleb lisada /etc/rc.conf.local rida pf=YES, ajutiselt saab tulemüüri käivitada ning sulgeda pfctl käsu abil või kasutades rc skripti /etc/rc.d/pf

näiteks käsuga /etc/rc.d/pf reload

====Seadistamine====
Packet Filter laeb operatsioonisüsteemi käivitumisel vaikimisi reeglid /etc/pf.conf failist. See on tekstifail, mis laetakse pfctl käsuga ning sisaldab tulemüüri reegleid. Erinevatele rakendustele saab määrata ka teistes failides asuvaid reegleid, seadistusfailis olevaid tühje ridu ignoreeritakse. Seadistusfail pf.conf koosneb seitsmest osast.

====Makrod====
Makrod on kasutaja poolt määratud muutujad, mis kujutavad mingit hulka IP-aadresse, portide numbreid või võrguliideseid, makrod võimaldavad reegleid lihtsamini loetavaks ja kergemini hallatavaks muuta. Makrod võivad sisaldada numbreid või tähti, neid saab laiendada ka nimekirjadeks ning grupeerida, hilisemalt kasutatakse makrode muutujanimena dollarimärki. Siinkohal on välja toodud mõned näited reeglite lihtsustamiseks.

extIF = "xl0"
See makro määrab välise võrguliidese xl0 nimeks extIF, see lihtsustab hilisemates reeglites välise võrguliidese kasutamist ning välistab võimaluse teiste liidestega segamini ajada.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
See makro määrab IP-aadressite hulga 192.168.0.2-192.168.0.3 ühise grupi alla, see lihtsustab hilisemates reeglites mingi hulga klientide poole pöördumist. Näiteks ühe reegliga saab kogu grupil keelata liikluse, ei pea igale kliendile eraldi reeglit tegema.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
kliendid2 = "{ 192.168.1.2, 192.168.1.3 }"
kliendidKOKKU = "{" $kliendid1 $kliendid2 "}"
Need makrod määravad IP-aadressite hulgad gruppideks ning loovad ühise grupi, mis lihtsustab kõikidele klientidele ühiste reeglite kirjutamist.

====Tabelid====
Tabelites hoitakse IP-aadresse. Otsingud tabelitest on märksa kiiremad kui otsingud nimekirjadest, mistõttu sobivad tabelid suure hulga aadressite hoidmiseks. Tabeleid saab siduda ka ümbersuunamise ning filtrite reeglitega. Tabeleid tähistatakse nurksulgudega. Tabelitele saab lisana omistada kahte erinevat olekut - konstantne e. const ning jääv e. persist. Konstantse tabeli puhul saab tabelit muuta ainult laadimata olekus, muidu saab neid laadida ka töötades, pfctl käsu abil.
Jääva olekuga tabelit hoitakse mälus ka siis, kui sellega ükski reegel seotud pole, muidu kustutatakse tabel viimase seotud reegli kustutamisel automaatselt. Tabeleid saab laadida ka tekstifailidest, kasutades file muutujat.

table <kliendid1> { 192.168.1.0/24, !192.168.1.1 }
Kliendid1 tabelist eraldatakse 192.168.1.1 aadressiga klient.

table <kliendid2> persist file "/etc/kliendid2nimekiri"
Kliendid2 tabel loetakse sisse failist /etc/kliendid2nimekiri, jäävasse olekusse.

block in on xl0 from <kliendid2>to any
pass in on xl0 from <kliendid1> to any
Kliendid2 grupile keelatakse ning kliendid grupile lubatakse väline juurdepääs.

Muutujad Packet Filteri tööprotsessi muutmiseks.
set block-policy option - Määrab filtrite ülesanded pakettide blokeerimisel
set debug option - Määrab tagasiside taseme
set fingerprints file - Määrab avalike võtmete faili
set limit option value - Määrab PF piirangud
set loginterface interface - Määrab logiliidese, vaikimis pflogd0
set optimization option - Määrab optimeerimise taseme
set skip on interface - Määrab ignoreeritavad võguliidesed
set state-policy option - Määrab pakettide hoidmise reeglid
set timeout option value - Määrab ooteaja

set loginterface dc0
Määrab logimisliideseks dc0 võrguliidese.

set skip on lo0
Määrab Io0 liidese ignoreeritavaks, sellele seadmele ei rakendata ühtegi reeglit.

Küürimine
Küürimine on pakettide normaliseerimine, mille eesmärk on vältida fragmenteerunud pakettide paljunemist, keelatakse ka valede lippudega TCP-paketid. Küürimise süntaks on väga sarnane filtrite ülesehitusega ning seda on lihtne oma tulemüüri juurutada.

scrub on xl0 all reassemble tcp
Normaliseerib kõik TCP-paketid, mis läbivad xl0 võrguliidest.

====Järjekorrad====
Operatsioonisüsteemi valitud pakettide järjekorrast sõltub võrgu jõudlus, näiteks seades suuremat kiirust vajavad protokollid teistest ettepoole ja seega tõstes töökiirust. Pakettide järjestamise strateegiad tulenevad valitud scheduler'ist ehk plaanurist. Packet Filter toetab pakettide järjestamist klassi (CBQ) ning paketi prioriteedi (PRIQ) järgi.

altq on xl0 cbq bandwidth 2Mb queue
Määrab xl0 võrguliidesele CBQ plaanuriga 2Mb piirangu.

====Tõlkimine====
Võrguaadressite tõlkimine (NAT) võimaldab peita sisevõrgu kliendid ühe välise IP-aadressi taha, suurendamaks turvalisust sisevõrku sissepääsu raskendades.

nat on xl0 from 192.168.1.0/24 to any -> 192.168.2.0
Peidab kõik 192.168.1.0/24 alamvõrgust tulevad IP-aadressi 192.168.2.0 taha.

====ftp-proxy vahendab NAT tulemüüri taga olevale klienti====

Selleks, et NAT tulemüüri taga asuvad kliendid saaksid ftp serveritega suhelda tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"
rdr on $intIF proto tcp from any to any port 21 -> 127.0.0.1 port 8021

ning reeglite sektsiooni

anchor "ftp-proxy/*"

ning käivitada soketil 127.0.0.1:8021 programm ftp-proxy

# ftp-proxy -r

-r võtit soovitatakse kasutada, et ka vanemad ja nö isikupärasemad kliendid toimiks. Selleks, et ftp-proxy bootimisel käivituks peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-r"

====ftp-proxy vahendab NAT tulemüüri taga olevat ftp serverit====

Selleks, et ftp kliendid saaksid internetist pöörduda NAT tulemüüri taga asuva ftp serveri poole, tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"

ning reeglite sektsiooni

pass in on $extIF inet proto tcp to $extIF port 21 \
flags S/SA keep state
anchor "ftp-proxy/*"

ning käivitada programm ftp-proxy, mis kuulab tulemüüri välisel seadmel aadressil 192.168.10.200 pöördumisi ja vahendab need sisevõrgus aadressil 192.168.1.3 töötavale ftp serverile

# ftp-proxy -R 192.168.1.3 -p 21 -b 192.168.10.200

Selleks, et ftp-proxy bootimisel käivituks, peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-R 192.168.1.3 -p 21 -b 192.168.10.200"

Kui tulemüüri vahendab kummastki suunas ftp liiklust, siis töötab kaks ftp-proxy eksemplari.

====Filtrid====
Pakettide filtreerimine on valikuline andmete voo keelamine ja lubamine, tuginedes kindlaksmääratud filtritele. Filtrites määratakse ära, millised paketid läbi lastakse ja millised peatatakse. Saabunud paketti võrreldakse filtritega, filtrid läbitakse järjestikuliselt, viimases filtris määratud tegevus rakendatakse tööle, kui tegevust ei leita, on vaikimisi seade pakett läbi lasta.

====Reeglite süntaks====
Reeglite lihtsustatud süntaks :

action [direction] [log] [quick] [on interface] [af] [proto protocol] \
[from src_addr [port src_port]] [to dst_addr [port dst_port]] \
[flags tcp_flags] [state]

action - Pakettide rakendamine
direction - Pakettide suund
log - Logitase
quick - Kui pakett vastab quick muutujaga reeglile, kontrollitakse vaid esimest reeglit
interface - Võrguliides
af – IP-protokolli tüübi määrang
src_addr, dst_addr - Päritoluaadress ning suundaadress
src_port, dst_port - Päritoluport ning suundport
tcp_flags - Määrab pakettide TCP-lipud
state - Pakettide hoidmise reeglid

===Lisavõimalused===
Packet Filter on ünsa populaarne ja leiab pidevalt uusi kasutajaid, paljud kasutajad on aga proovinud lisada Packet Filter'ile mitmeid lisavõimalusi, mis muudaksid seadistamise ning haldamise lihtsamaks, siinkohal on välja toodud lühike ülevaade kahest tuntumast lisast.

====Pfw====
[http://www.allard.nu/pfw/ http://www.allard.nu/pfw/]
fw on veebipõhine kasutajaliides Packet Filter tulemüürile, eesmärk on olla sama efektiivne ja kasulik kui PG ning samal ajal pakkuda võimalust tulemüüri läbi veebibrauseri seadistada (lisa 2). Pfw põhineb PHP-l ning toetab perl-i mooduleid, Pfw on tasuta saadaval ning kasutab BSD-litsentsi.

====Pf.vim====
[http://www.vim.org/scripts/script.php?script_id=341 http://www.vim.org/scripts/script.php?script_id=341]
Pf.vim on Vim-i süntaksiskript, mis kohandab Vim-i Packet Filter'i konfiguratsioonifaili pf.conf töötlemiseks, pf.vim oskab pf.conf faili sisu tüübi järgi esile tõsta ning värviliseks muuta, näiteks kõik kehtivad reeglid kuvatakse rohelises kirjas. Pf.Vim süntaksiskripti on loonud Camiel Dobbelaar aastal 2002.

===Praktiline Osa. Tulemüüri seadistamine===

Tulemüür väiksemale võrgule kus lubatakse mõnedele teenustele ligipääs ning tehakse ka NAT'i sisevõrgule

Tulemüüri automaatseks käivitamiseks tuli /etc/rc.conf.local faili lisada rida pf=YES, operatsioonisüsteemi käivitusskriptid laevad sellest failist käivitatavate rakendust nimekirja, tulemüüri saab ka käsitsi käsurealt käivitada.
pfctl -e -f /etc/pf.conf

Selle käsuga käivitatakse tulemüür ja laetakse reeglid /etc/pf.conf failist. Tulemüüri seadistamisel kasutas autor Vim tekstiredaktorit. Reeglid loodi sellised, et sisevõrgus olevatel klientidel on juurdepääs internetile, juurdepääs väljastpoolt sisevõrku puudub ning sisevõrgu kliendid peidetakse ühise IP-aadressi taha, sisevõrgust välja lubati http, https ja pop3 protokollide kasutamine, täielik tabel on toodud välja lisana (lisa 1).
Tulemüüri reeglite kirjutamine :

extIF="rl0"
intIF="xl0"
lubatud="{ 80, 110, 443 }"
'''#Võrguliidestele ning lubatud protokollidele määrati makrod, lihtsustamaks hilisemat pöördumist.'''

set loginterface $extIF
set skip on lo
'''#Lülitati sisse välise liidese logimine ning loopack liidese ignoreerimine.'''

scrub in all
scrub out all
'''#Lülitati sisse kõikide pakettide normaliseerimine.'''

nat on $extIF from !($extIF) -> ($extIF:0)
'''#Lülitati sisse NAT välisel võrguliidesel.'''

block in
pass out keep state
antispoof quick for { lo $intIF }
pass in on $extIF inet proto tcp from any to ($extIF) port $lubatud flags S/SA keep state
'''#Keelati kõik sisenev liiklus peale makros $lubatud kirjeldatud portidelt, lubati võrgust väljuv liiklus ning välistati siseneval liiklusel spoof’imine.'''

pass in inet proto icmp all keep state
pass out inet proto icmp all keep state
'''#Lubatakse võrku sisenevad ja väljuvad pingimised.'''

'''#Lubati väljuv liiklus.'''
pass quick on $intIF

Lisahääletuseks võib seadistada kiire lingi puhul näiteks

set optimization aggressive

Optimizationi muutujaid saab vaadata käsuga pfctl -s timeouts

Aeglasemate ühenduste korral on kasulik agressive asemel seadistada näiteks high-latency

State tabeli vaikimisi suuruseks kus hoitakse kõiki aktiivseid ühendusi on 10000
mis suuremate ühenduste laviiniga võib täis saada kergelt

Keep state peaks tänapäeval pf-i vaikimisi default olema ja kogu filterdamist isegi kiiremaks tegema.

===Ssh läbustajate piiramine===

Vaadates igaöist ebaõnnestunud logimiskatsete arvu võib masinal kus ssh ligipääs
peab olema avatud kogu maailmale avastada halval päevall neid katseid tuhandeid.
Erinevate robotite poolt proovitakse läbi kõikvõimalikke kasutajanimesid ning paroole
milledega üritakse sisse logida. Sageli, paljude kasutajatega serveris, kus kasutajatel võimalus
ise endile lihtsaid paroole seadistada ka õnnestunult. Lisaks on selline täis läbustatud logifail
ebamugav ka debugimisel ning häirib igaöiste raportite lugemist.

Kuidas seda probleemi lahendada? Kõige lihtsam lahendus on tekitada tabel milles olevad
aadressid blokitakse koheselt ning seadistada ssh lubamise reale lisaks maksimaalsed
ühenduste arvud, millede ületamise korral ip aadress koheselt keelatud aadressite teabelisse
lisatakse.

Pf.confi täiendasin järgnevalt:

Tekitasin tabeli jobud
table <jobud> persist

Blokeerisin kõik ühendused sealsetelt aadressidelt
block log quick from <jobud>
Seadistasin limiidid ssh ühendustele milledest alates ip aadress tabelisse lisatakse
pass in on $ext_if proto tcp from any to $ext_if port 22 keep state (max-src-conn 10, max-src-conn-rate 10/5, overload <jobud> flush global)

Vaadates nüüd logist mõnd läbustajat näeme, et üsna peatselt katkes temaga suhtlus

# cat /var/log/auth.log | grep 89.216.115.128
Feb 27 18:32:15 muheleja sshd[64673]: Did not receive identification string from 89.216.115.128
Feb 27 18:37:40 muheleja sshd[65023]: Invalid user PlcmSpIp from 89.216.115.128
Feb 27 18:37:41 muheleja sshd[65025]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:42 muheleja sshd[65027]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:44 muheleja sshd[65029]: Invalid user db2inst1 from 89.216.115.128
Feb 27 18:37:46 muheleja sshd[65031]: Invalid user dasusr1 from 89.216.115.128
Feb 27 18:37:47 muheleja sshd[65033]: Invalid user ts from 89.216.115.128
Feb 27 18:37:49 muheleja sshd[65035]: Invalid user TeamSpeak from 89.216.115.128
Feb 27 18:37:51 muheleja sshd[65037]: Invalid user cisco from 89.216.115.128
Feb 27 18:37:52 muheleja sshd[65039]: Invalid user dream from 89.216.115.128
Feb 27 18:37:57 muheleja sshd[65041]: Invalid user spam from 89.216.115.128

Vaatame tabelisse ka

# pfctl -t jobud -T show
No ALTQ support in kernel
ALTQ related functions disabled
89.216.115.128

Tundub, et läbustaja sai edukalt blokeeritud.

Tabeli saab puhastada käsuga

# pfctl -t jobud -T flush
No ALTQ support in kernel
ALTQ related functions disabled
1 addresses deleted.

===IPV6 filtreerimisest===

Kui reeglis ei ole sõna inet, siis käib sama reegel nii ipv4 kui ipv6 kohta. Näiteks need:

block in log quick on $ext_if from <global_deny_in> label "global_deny_in"
block in log quick on $ext_if from any to <server_block_out>
block log on $int_if all label "blocked_kontor"

Aadresside võrdlemine on pf-il loomulikult intelligentne, s.t. ipv4 aadress tähendab ühtlasi ka ipv4 protot.

==Tulemüüri võrguühenduse võimekus==
<pre>
dmesg | less
</pre>
Otsida välja väljad Ethernet kohta. Antud näite puhul ei ole testtulemüüri raud piisav 10Gb jaoks (on pci-e2 x4, oleks vaja pci-e3 x8):

<pre>
ixl0: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd8800000-0xd8ffffff,0xd87f0000-0xd87f7fff irq 40 at device 0.0 on pci4
ixl0: Using MSIX interrupts with 9 vectors
ixl0: f4.22 a1.2 n04.25 e8000143f
ixl0: Using defaults for TSO: 65518/35/2048
ixl0: Ethernet address: 68:05:ca:32:f0:cc
ixl0: PCI Express Bus: Speed 5.0GT/s Width x4
ixl0: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl0: For expected performance a x8 PCIE Gen3 slot is required.

ixl1: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd9000000-0xd97fffff,0xd87f8000-0xd87fffff irq 40 at device 0.1 on pci4
ixl1: Using MSIX interrupts with 9 vectors
ixl1: f4.22 a1.2 n04.25 e8000143f
ixl1: Using defaults for TSO: 65518/35/2048
ixl1: Ethernet address: 68:05:ca:32:f0:cd
ixl1: PCI Express Bus: Speed 5.0GT/s Width x4
ixl1: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl1: For expected performance a x8 PCIE Gen3 slot is required.
</pre>

===pci-e võimalustest tulenev maksimaalne läbilase===

Testimiseks kasutusel olev pci-e slott võimaldab:

5000MHz * 4bitti / 8 = 2500 MB/s

===Riistvaraliste komponentide mõju===

{|
! style="text-align:left;"| Komponent
! Tähtis
|-
| Emaplaat
| PCI siini laius ja kiirus - kindlasti pci-e, soovituslikult vähemalt pci-e3 x8
|-
| CPU
| CPU kiirus ei ole esmane prioriteet.
|-
| Mälu
| kiirus Mhz, hulk ei ole peale 1-2 GB tähtis, peale 8-16GB üldse määrav
|-
| Võrgukaart
| eraldiseisev või spec. (ei kasuta CPU ressursse oma arvutusteks)
|-
| Hyper Threading
| Maha, tekitab latentsust ja turvariski
|}

====Tulemüüri läbilaske testid====
Testime tulemüüri läbilaset erinevates olukordades, kasutades iperf-i.

Testime erinevate TCP akende suuruste ja samaaegsete ühenduste arvuga 30 sekundise kestvusega, seejärel testime suurema kogumahuga väikeste pakettidega ja siis suurtega.

32KB, 1, 2 ja 4 ühendust.
64KB, 1, 2 ja 4 ühendust.
128KB, 1, 2 ja 4 ühendust.
256KB, 1, 2 ja 4 ühendust.
512KB, 1, 2 ja 4 ühendust.

32, 128 ja 512KB, 1TB kogumahtu, 1 ja 4 ühendust.
Näiteks:
<pre>
iperf -t 30 -c 1.2.3.4 -w 32KB -P 1 -i 1 >> PFtest
</pre>

Tulemusi saab siis lugeda failist PFtest.

===Turva===

====DoS testid====

Näiteid hping3 kasutades.

Smurf attack, mida oma võrgus eriti teha ei taha, kui just osa sellest eraldama ei hakka:
<pre>
hping3 -1 --flood -a SIHTMÄRGI_IP VÕRGU_BROADCAST
</pre>

DOS Land Attack (SYN flood)
<pre>
hping3 -V -c 1000000 -d 120 -S -w 64 -p 445 -s 445 --flood --rand-source SIHTMÄRGI_IP
</pre>

====SYN rünnaku ja Portide skänni limiteerimine====
Piirame RST vastused. Vaikimisi on piirang 200 paketti sekundis.
Lisaks on ka võimalus keelata sellekohaste sõnumite näitamine:

<pre>
sysctl net.inet.icmp.icmplim=200
sysctl net.inet.icmp.icmplim_output=0
</pre>

Selgituseks:
<pre>
From blackhole(7):
Code:

Normal behaviour, when a TCP SYN segment is received on a port where
there is no socket accepting connections, is for the system to return a
RST segment, and drop the connection. The connecting system will see
this as a ``Connection refused''. By setting the TCP blackhole MIB to a
numeric value of one, the incoming SYN segment is merely dropped, and no
RST is sent, making the system appear as a blackhole. By setting the MIB
value to two, any segment arriving on a closed port is dropped without
returning a RST. This provides some degree of protection against stealth
port scans.
</pre>

Tore on see, et RST piiratakse juba enne tulemüüri, nii et kui keegi selle rakenduse tasemel pangestab, jääb
piirang ikka peale niikaua, kui tuuma vastavad deemonid töötavad.

SYN rünnakul kolmest masinast, kasutades kahest hping-i ja juurest 24 ping-i instantsi, igaüks spämmides miljonites pinge minimaalse ooteaknaga ei suutnud tulemüüri silmagi pilgutama panna. (~90K paketti sekundis, CPU maksimaalselt 10% load, mälu kasutus ~2G 16-st)

==Lisad==

'''pflog logima faili'''

# grep -i pflog /etc/rc.local
echo -n "pflog -> syslog"
ifconfig pflog0 up
tcpdump -s 96 -l -e -t -i pflog0 | logger -p local0.info -t pf &
# grep -i local0.info /etc/syslog.conf
local0.info /var/log/pflog.txt
local0.info @loghost
# grep -i pflog.txt /etc/newsyslog.conf
/var/log/pflog.txt 600 7 * @T00 Z

'''pf flush kui reeglid untsuläinud'''

Üks võimalus oleks anda käsk

# pfctl -f pf.conf && sleep 60 && pfctl -f pf.conf.safe

See näide pole aga hea kui terminali ühendus mahakukub, sellepuhuks tasuks
pigem kasutada rida

echo "pfctl -d" | at + 5 minutes

Mis lihtsalt disabled pf kõik reelid

'''eemaldab pf tabelist ridu mis liiga vanad'''
http://expiretable.fnord.se/

Packet Filter

2016-04-01T13:02:09Z

Valmar: /* DoS testid */

'''Packet Filter'''

===Sissejuhatus===
(lüh. PF) on OpenBSD tulemüür, alates OpenBSD versioonist 3.0, mille on kirjutanud 2001. aasta suvel Daniel Hartmeier. Packet Filter kirjutati asendamaks Darren Reed'i kirjutatud IPFilter tulemüüri, kes sattus OpenBSD arendajatega konflikti, keelates oma koodi muuta. Darren Reed väitis, et tema kirjutatud tulemüür IPFilter kasutab BSD litsentsi, kuid tegelikult oli ta BSD litsentsi sõna-sõnalt kopeerinud, jättes välja vaid osa, mis lubab koodi muutmist. Tülide lahendamise asemel otsustas OpenBSD projektijuht, Theo De Raadt uue tulemüüri kasuks. 29.05.2001 eemaldati IPFilter'i kood OpenBSD lähtekoodist. Järgnevad kaks kuud oli OpenBSD operatsioonisüsteem ilma tulemüürita, Packet Filter jõudis OpenBSD lähtekoodi 24.06.2001. Paaril järgneval kuul töötasid arendajad meeletu koormusega, ning OpenBSD 3.0 versiooni valmides sisaldas see ka juba Packet Filter tulemüüri. Oma eluaja jooksul on see tulemüür väga kiirelt arenenud ning omab teiste tulemüüride ees mitmeid eeliseid. Tulemüüri reeglite süntaks on sarnane IPFilter'i omale, kuid seda on lihtsustatud kasutusmugavuse tõstmiseks. Packet Filter on tihedalt seotud võrgunduses levinud NAT ning QoS tehnoloogiatega, lubamaks suuremat paindlikkust ning vastupidavust. Packet Filter on porditud ka FreeBSD, NetBSD ning DragonFlyBSD operatsioonisüsteemidele.

===Võimalused===
Packet Filter on, nagu iga teinegi UNIX-i rakendus, väga paindlik. Seega arendajatel on lihtne koodi uuendada ning uusi võimalusi lisada. Packet Filter areneb väga kiiresti ning pakub palju võimalusi, mida tihtipeale leiab ainult tasulistest tulemüüridest.
Siinkohal on lahti seletatud tähelepanuväärseimad võimalused.

====NAT====

"Network Address Translation". Privaatse või registreerimata IP-aadressi asendamine ametliku IP-aadressiga. NAT annab organisatsioonidele suurema paindlikkuse aadresside kasutamiseks oma kohtvõrkudes ja lubab kasutajatel vastavalt vajadusele ühiselt kasutada piiratud arvu registreeritud IP-aadresse. NAT’i kasutamine teeb ka raskemaks võrgu ründamise väljastpoolt, sest sisemisi IP-aadresse ei edastata üle Interneti. Võrguaadresside ümbernimetamine toimub harilikult ruuteris või tulemüüris.

====QoS====

"Quality of Service". Tegeleb andmeedastuskiiruste, vigade esinemise sageduste ja teiste karakteristikute mõõtmise, parandamise ja teatud määral garanteerimisega. QoS on eriti oluline laiaribalise video- ja multimeediuminfo pideva ülekande puhul. Sellise info töökindel edastamine üle avalike sidevõrkude on tavalisi protokolle kasutades raske. Interneti ressursside reserveerimise protokolli (RSVP) kasutamisel saab läbi lüüsihosti liikuvaid pakette organiseerida eelnevalt paika pandud poliitika ja reserveerimiskriteeriumide alusel.

====ALTQ====

"ALTernate Queueing framework for BSD UNIX". ALTQ võimaldab pakettide järjestamist ning teisi QoS-i komponente, mis on vajalikud QoS-i edukaks teostamiseks võrgus, seda kasutatakse enamasti BSD operatsioonisüsteeme kasutatavates ruuterites. ALTQ on osa FreeBSD ja NetBSD distributsioonidest ning on integreeritud Packet Filter tulemüüri.

http://kuutorvaja.eenet.ee/wiki/Freebsd_traffic_shaping

====CARP====

"The Common Address Redundancy Protocol". CARP on protokoll, mis lubab samas sisevõrgus asuvatel arvutitel jagada IP-aadressite paari, peamine eesmärk on võimaldada tagavararuuteri kasutamist. Juhul, kui ruuter peaks mingil põhjusel töökõlbmatuks muutuma, näiteks riistvara vea tõttu, saab tagavararuuter tema töö kohe üle võtta, tekitamata võrgus tõrkeid ning jäädes kasutajatele märkamatuks.

====Pfsync====

Pfsync on virtuaalne võrguliides, mis peegeldab Packet Filter tulemüüri tabelis tehtud muudatusi, tcpdump käsku kasutades saab seda reaalajas jälgida, samuti oskab pfsync enda muudatusi üle võrgu laiali saata ning neid ka vastu võtta, näiteks mitmete võrgus asuvate tulemüüride reeglite sünkroniseerimiseks.

====Authpf====

Authpf on kasutajaliides autentivatele võrgulüüsidele, autentiva võrgulüüsi kasutamiseks tuleb kasutajatel ennast tuvastada enne, kui lüüs nende võrguliikluse läbi laseb. Seda saab kasutada näiteks ainult kasutaja sessiooni ajal kehtivate tulemüürireeglite automatiseeritud loomiseks ja kustutamiseks.

====Ftp-proxy====

Ftp-proxy on OpenBSD implementatsioon puhverserverist FTP-protokollile, see võimaldab NAT-ruuteri taga asuvatel võrguklientidel kasutada FTP-protokolli, olles tulemüüri ja välise liikluse vahendaja, lisades ning eemaldades vajadusel Packet Filter tulemüüri reegleid.

===Kasutamine===

====Aktiveerimine====
Packet Filter tulemüüri käivitamiseks OpenBSD operatsioonisüsteemi käivitudes tuleb lisada /etc/rc.conf.local rida pf=YES, ajutiselt saab tulemüüri käivitada ning sulgeda pfctl käsu abil või kasutades rc skripti /etc/rc.d/pf

näiteks käsuga /etc/rc.d/pf reload

====Seadistamine====
Packet Filter laeb operatsioonisüsteemi käivitumisel vaikimisi reeglid /etc/pf.conf failist. See on tekstifail, mis laetakse pfctl käsuga ning sisaldab tulemüüri reegleid. Erinevatele rakendustele saab määrata ka teistes failides asuvaid reegleid, seadistusfailis olevaid tühje ridu ignoreeritakse. Seadistusfail pf.conf koosneb seitsmest osast.

====Makrod====
Makrod on kasutaja poolt määratud muutujad, mis kujutavad mingit hulka IP-aadresse, portide numbreid või võrguliideseid, makrod võimaldavad reegleid lihtsamini loetavaks ja kergemini hallatavaks muuta. Makrod võivad sisaldada numbreid või tähti, neid saab laiendada ka nimekirjadeks ning grupeerida, hilisemalt kasutatakse makrode muutujanimena dollarimärki. Siinkohal on välja toodud mõned näited reeglite lihtsustamiseks.

extIF = "xl0"
See makro määrab välise võrguliidese xl0 nimeks extIF, see lihtsustab hilisemates reeglites välise võrguliidese kasutamist ning välistab võimaluse teiste liidestega segamini ajada.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
See makro määrab IP-aadressite hulga 192.168.0.2-192.168.0.3 ühise grupi alla, see lihtsustab hilisemates reeglites mingi hulga klientide poole pöördumist. Näiteks ühe reegliga saab kogu grupil keelata liikluse, ei pea igale kliendile eraldi reeglit tegema.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
kliendid2 = "{ 192.168.1.2, 192.168.1.3 }"
kliendidKOKKU = "{" $kliendid1 $kliendid2 "}"
Need makrod määravad IP-aadressite hulgad gruppideks ning loovad ühise grupi, mis lihtsustab kõikidele klientidele ühiste reeglite kirjutamist.

====Tabelid====
Tabelites hoitakse IP-aadresse. Otsingud tabelitest on märksa kiiremad kui otsingud nimekirjadest, mistõttu sobivad tabelid suure hulga aadressite hoidmiseks. Tabeleid saab siduda ka ümbersuunamise ning filtrite reeglitega. Tabeleid tähistatakse nurksulgudega. Tabelitele saab lisana omistada kahte erinevat olekut - konstantne e. const ning jääv e. persist. Konstantse tabeli puhul saab tabelit muuta ainult laadimata olekus, muidu saab neid laadida ka töötades, pfctl käsu abil.
Jääva olekuga tabelit hoitakse mälus ka siis, kui sellega ükski reegel seotud pole, muidu kustutatakse tabel viimase seotud reegli kustutamisel automaatselt. Tabeleid saab laadida ka tekstifailidest, kasutades file muutujat.

table <kliendid1> { 192.168.1.0/24, !192.168.1.1 }
Kliendid1 tabelist eraldatakse 192.168.1.1 aadressiga klient.

table <kliendid2> persist file "/etc/kliendid2nimekiri"
Kliendid2 tabel loetakse sisse failist /etc/kliendid2nimekiri, jäävasse olekusse.

block in on xl0 from <kliendid2>to any
pass in on xl0 from <kliendid1> to any
Kliendid2 grupile keelatakse ning kliendid grupile lubatakse väline juurdepääs.

Muutujad Packet Filteri tööprotsessi muutmiseks.
set block-policy option - Määrab filtrite ülesanded pakettide blokeerimisel
set debug option - Määrab tagasiside taseme
set fingerprints file - Määrab avalike võtmete faili
set limit option value - Määrab PF piirangud
set loginterface interface - Määrab logiliidese, vaikimis pflogd0
set optimization option - Määrab optimeerimise taseme
set skip on interface - Määrab ignoreeritavad võguliidesed
set state-policy option - Määrab pakettide hoidmise reeglid
set timeout option value - Määrab ooteaja

set loginterface dc0
Määrab logimisliideseks dc0 võrguliidese.

set skip on lo0
Määrab Io0 liidese ignoreeritavaks, sellele seadmele ei rakendata ühtegi reeglit.

Küürimine
Küürimine on pakettide normaliseerimine, mille eesmärk on vältida fragmenteerunud pakettide paljunemist, keelatakse ka valede lippudega TCP-paketid. Küürimise süntaks on väga sarnane filtrite ülesehitusega ning seda on lihtne oma tulemüüri juurutada.

scrub on xl0 all reassemble tcp
Normaliseerib kõik TCP-paketid, mis läbivad xl0 võrguliidest.

====Järjekorrad====
Operatsioonisüsteemi valitud pakettide järjekorrast sõltub võrgu jõudlus, näiteks seades suuremat kiirust vajavad protokollid teistest ettepoole ja seega tõstes töökiirust. Pakettide järjestamise strateegiad tulenevad valitud scheduler'ist ehk plaanurist. Packet Filter toetab pakettide järjestamist klassi (CBQ) ning paketi prioriteedi (PRIQ) järgi.

altq on xl0 cbq bandwidth 2Mb queue
Määrab xl0 võrguliidesele CBQ plaanuriga 2Mb piirangu.

====Tõlkimine====
Võrguaadressite tõlkimine (NAT) võimaldab peita sisevõrgu kliendid ühe välise IP-aadressi taha, suurendamaks turvalisust sisevõrku sissepääsu raskendades.

nat on xl0 from 192.168.1.0/24 to any -> 192.168.2.0
Peidab kõik 192.168.1.0/24 alamvõrgust tulevad IP-aadressi 192.168.2.0 taha.

====ftp-proxy vahendab NAT tulemüüri taga olevale klienti====

Selleks, et NAT tulemüüri taga asuvad kliendid saaksid ftp serveritega suhelda tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"
rdr on $intIF proto tcp from any to any port 21 -> 127.0.0.1 port 8021

ning reeglite sektsiooni

anchor "ftp-proxy/*"

ning käivitada soketil 127.0.0.1:8021 programm ftp-proxy

# ftp-proxy -r

-r võtit soovitatakse kasutada, et ka vanemad ja nö isikupärasemad kliendid toimiks. Selleks, et ftp-proxy bootimisel käivituks peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-r"

====ftp-proxy vahendab NAT tulemüüri taga olevat ftp serverit====

Selleks, et ftp kliendid saaksid internetist pöörduda NAT tulemüüri taga asuva ftp serveri poole, tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"

ning reeglite sektsiooni

pass in on $extIF inet proto tcp to $extIF port 21 \
flags S/SA keep state
anchor "ftp-proxy/*"

ning käivitada programm ftp-proxy, mis kuulab tulemüüri välisel seadmel aadressil 192.168.10.200 pöördumisi ja vahendab need sisevõrgus aadressil 192.168.1.3 töötavale ftp serverile

# ftp-proxy -R 192.168.1.3 -p 21 -b 192.168.10.200

Selleks, et ftp-proxy bootimisel käivituks, peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-R 192.168.1.3 -p 21 -b 192.168.10.200"

Kui tulemüüri vahendab kummastki suunas ftp liiklust, siis töötab kaks ftp-proxy eksemplari.

====Filtrid====
Pakettide filtreerimine on valikuline andmete voo keelamine ja lubamine, tuginedes kindlaksmääratud filtritele. Filtrites määratakse ära, millised paketid läbi lastakse ja millised peatatakse. Saabunud paketti võrreldakse filtritega, filtrid läbitakse järjestikuliselt, viimases filtris määratud tegevus rakendatakse tööle, kui tegevust ei leita, on vaikimisi seade pakett läbi lasta.

====Reeglite süntaks====
Reeglite lihtsustatud süntaks :

action [direction] [log] [quick] [on interface] [af] [proto protocol] \
[from src_addr [port src_port]] [to dst_addr [port dst_port]] \
[flags tcp_flags] [state]

action - Pakettide rakendamine
direction - Pakettide suund
log - Logitase
quick - Kui pakett vastab quick muutujaga reeglile, kontrollitakse vaid esimest reeglit
interface - Võrguliides
af – IP-protokolli tüübi määrang
src_addr, dst_addr - Päritoluaadress ning suundaadress
src_port, dst_port - Päritoluport ning suundport
tcp_flags - Määrab pakettide TCP-lipud
state - Pakettide hoidmise reeglid

===Lisavõimalused===
Packet Filter on ünsa populaarne ja leiab pidevalt uusi kasutajaid, paljud kasutajad on aga proovinud lisada Packet Filter'ile mitmeid lisavõimalusi, mis muudaksid seadistamise ning haldamise lihtsamaks, siinkohal on välja toodud lühike ülevaade kahest tuntumast lisast.

====Pfw====
[http://www.allard.nu/pfw/ http://www.allard.nu/pfw/]
fw on veebipõhine kasutajaliides Packet Filter tulemüürile, eesmärk on olla sama efektiivne ja kasulik kui PG ning samal ajal pakkuda võimalust tulemüüri läbi veebibrauseri seadistada (lisa 2). Pfw põhineb PHP-l ning toetab perl-i mooduleid, Pfw on tasuta saadaval ning kasutab BSD-litsentsi.

====Pf.vim====
[http://www.vim.org/scripts/script.php?script_id=341 http://www.vim.org/scripts/script.php?script_id=341]
Pf.vim on Vim-i süntaksiskript, mis kohandab Vim-i Packet Filter'i konfiguratsioonifaili pf.conf töötlemiseks, pf.vim oskab pf.conf faili sisu tüübi järgi esile tõsta ning värviliseks muuta, näiteks kõik kehtivad reeglid kuvatakse rohelises kirjas. Pf.Vim süntaksiskripti on loonud Camiel Dobbelaar aastal 2002.

===Praktiline Osa. Tulemüüri seadistamine===

Tulemüür väiksemale võrgule kus lubatakse mõnedele teenustele ligipääs ning tehakse ka NAT'i sisevõrgule

Tulemüüri automaatseks käivitamiseks tuli /etc/rc.conf.local faili lisada rida pf=YES, operatsioonisüsteemi käivitusskriptid laevad sellest failist käivitatavate rakendust nimekirja, tulemüüri saab ka käsitsi käsurealt käivitada.
pfctl -e -f /etc/pf.conf

Selle käsuga käivitatakse tulemüür ja laetakse reeglid /etc/pf.conf failist. Tulemüüri seadistamisel kasutas autor Vim tekstiredaktorit. Reeglid loodi sellised, et sisevõrgus olevatel klientidel on juurdepääs internetile, juurdepääs väljastpoolt sisevõrku puudub ning sisevõrgu kliendid peidetakse ühise IP-aadressi taha, sisevõrgust välja lubati http, https ja pop3 protokollide kasutamine, täielik tabel on toodud välja lisana (lisa 1).
Tulemüüri reeglite kirjutamine :

extIF="rl0"
intIF="xl0"
lubatud="{ 80, 110, 443 }"
'''#Võrguliidestele ning lubatud protokollidele määrati makrod, lihtsustamaks hilisemat pöördumist.'''

set loginterface $extIF
set skip on lo
'''#Lülitati sisse välise liidese logimine ning loopack liidese ignoreerimine.'''

scrub in all
scrub out all
'''#Lülitati sisse kõikide pakettide normaliseerimine.'''

nat on $extIF from !($extIF) -> ($extIF:0)
'''#Lülitati sisse NAT välisel võrguliidesel.'''

block in
pass out keep state
antispoof quick for { lo $intIF }
pass in on $extIF inet proto tcp from any to ($extIF) port $lubatud flags S/SA keep state
'''#Keelati kõik sisenev liiklus peale makros $lubatud kirjeldatud portidelt, lubati võrgust väljuv liiklus ning välistati siseneval liiklusel spoof’imine.'''

pass in inet proto icmp all keep state
pass out inet proto icmp all keep state
'''#Lubatakse võrku sisenevad ja väljuvad pingimised.'''

'''#Lubati väljuv liiklus.'''
pass quick on $intIF

Lisahääletuseks võib seadistada kiire lingi puhul näiteks

set optimization aggressive

Optimizationi muutujaid saab vaadata käsuga pfctl -s timeouts

Aeglasemate ühenduste korral on kasulik agressive asemel seadistada näiteks high-latency

State tabeli vaikimisi suuruseks kus hoitakse kõiki aktiivseid ühendusi on 10000
mis suuremate ühenduste laviiniga võib täis saada kergelt

Keep state peaks tänapäeval pf-i vaikimisi default olema ja kogu filterdamist isegi kiiremaks tegema.

===Ssh läbustajate piiramine===

Vaadates igaöist ebaõnnestunud logimiskatsete arvu võib masinal kus ssh ligipääs
peab olema avatud kogu maailmale avastada halval päevall neid katseid tuhandeid.
Erinevate robotite poolt proovitakse läbi kõikvõimalikke kasutajanimesid ning paroole
milledega üritakse sisse logida. Sageli, paljude kasutajatega serveris, kus kasutajatel võimalus
ise endile lihtsaid paroole seadistada ka õnnestunult. Lisaks on selline täis läbustatud logifail
ebamugav ka debugimisel ning häirib igaöiste raportite lugemist.

Kuidas seda probleemi lahendada? Kõige lihtsam lahendus on tekitada tabel milles olevad
aadressid blokitakse koheselt ning seadistada ssh lubamise reale lisaks maksimaalsed
ühenduste arvud, millede ületamise korral ip aadress koheselt keelatud aadressite teabelisse
lisatakse.

Pf.confi täiendasin järgnevalt:

Tekitasin tabeli jobud
table <jobud> persist

Blokeerisin kõik ühendused sealsetelt aadressidelt
block log quick from <jobud>
Seadistasin limiidid ssh ühendustele milledest alates ip aadress tabelisse lisatakse
pass in on $ext_if proto tcp from any to $ext_if port 22 keep state (max-src-conn 10, max-src-conn-rate 10/5, overload <jobud> flush global)

Vaadates nüüd logist mõnd läbustajat näeme, et üsna peatselt katkes temaga suhtlus

# cat /var/log/auth.log | grep 89.216.115.128
Feb 27 18:32:15 muheleja sshd[64673]: Did not receive identification string from 89.216.115.128
Feb 27 18:37:40 muheleja sshd[65023]: Invalid user PlcmSpIp from 89.216.115.128
Feb 27 18:37:41 muheleja sshd[65025]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:42 muheleja sshd[65027]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:44 muheleja sshd[65029]: Invalid user db2inst1 from 89.216.115.128
Feb 27 18:37:46 muheleja sshd[65031]: Invalid user dasusr1 from 89.216.115.128
Feb 27 18:37:47 muheleja sshd[65033]: Invalid user ts from 89.216.115.128
Feb 27 18:37:49 muheleja sshd[65035]: Invalid user TeamSpeak from 89.216.115.128
Feb 27 18:37:51 muheleja sshd[65037]: Invalid user cisco from 89.216.115.128
Feb 27 18:37:52 muheleja sshd[65039]: Invalid user dream from 89.216.115.128
Feb 27 18:37:57 muheleja sshd[65041]: Invalid user spam from 89.216.115.128

Vaatame tabelisse ka

# pfctl -t jobud -T show
No ALTQ support in kernel
ALTQ related functions disabled
89.216.115.128

Tundub, et läbustaja sai edukalt blokeeritud.

Tabeli saab puhastada käsuga

# pfctl -t jobud -T flush
No ALTQ support in kernel
ALTQ related functions disabled
1 addresses deleted.

===IPV6 filtreerimisest===

Kui reeglis ei ole sõna inet, siis käib sama reegel nii ipv4 kui ipv6 kohta. Näiteks need:

block in log quick on $ext_if from <global_deny_in> label "global_deny_in"
block in log quick on $ext_if from any to <server_block_out>
block log on $int_if all label "blocked_kontor"

Aadresside võrdlemine on pf-il loomulikult intelligentne, s.t. ipv4 aadress tähendab ühtlasi ka ipv4 protot.

==Tulemüüri võrguühenduse võimekus==
<pre>
dmesg | less
</pre>
Otsida välja väljad Ethernet kohta. Antud näite puhul ei ole testtulemüüri raud piisav 10Gb jaoks (on pci-e2 x4, oleks vaja pci-e3 x8):

<pre>
ixl0: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd8800000-0xd8ffffff,0xd87f0000-0xd87f7fff irq 40 at device 0.0 on pci4
ixl0: Using MSIX interrupts with 9 vectors
ixl0: f4.22 a1.2 n04.25 e8000143f
ixl0: Using defaults for TSO: 65518/35/2048
ixl0: Ethernet address: 68:05:ca:32:f0:cc
ixl0: PCI Express Bus: Speed 5.0GT/s Width x4
ixl0: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl0: For expected performance a x8 PCIE Gen3 slot is required.

ixl1: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd9000000-0xd97fffff,0xd87f8000-0xd87fffff irq 40 at device 0.1 on pci4
ixl1: Using MSIX interrupts with 9 vectors
ixl1: f4.22 a1.2 n04.25 e8000143f
ixl1: Using defaults for TSO: 65518/35/2048
ixl1: Ethernet address: 68:05:ca:32:f0:cd
ixl1: PCI Express Bus: Speed 5.0GT/s Width x4
ixl1: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl1: For expected performance a x8 PCIE Gen3 slot is required.
</pre>

===pci-e võimalustest tulenev maksimaalne läbilase===

Testimiseks kasutusel olev pci-e slott võimaldab:

5000MHz * 4bitti / 8 = 2500 MB/s

===Riistvaraliste komponentide mõju===

{|
! style="text-align:left;"| Komponent
! Tähtis
|-
| Emaplaat
| PCI siini laius ja kiirus - kindlasti pci-e, soovituslikult vähemalt pci-e3 x8
|-
| CPU
| CPU kiirus ei ole esmane prioriteet.
|-
| Mälu
| kiirus Mhz, hulk ei ole peale 1-2 GB tähtis, peale 8-16GB üldse määrav
|-
| Võrgukaart
| eraldiseisev või spec. (ei kasuta CPU ressursse oma arvutusteks)
|-
| Hyper Threading
| Maha, tekitab latentsust ja turvariski
|}

====Tulemüüri läbilaske testid====
Testime tulemüüri läbilaset erinevates olukordades, kasutades iperf-i.

Testime erinevate TCP akende suuruste ja samaaegsete ühenduste arvuga 30 sekundise kestvusega, seejärel testime suurema kogumahuga väikeste pakettidega ja siis suurtega.

32KB, 1, 2 ja 4 ühendust.
64KB, 1, 2 ja 4 ühendust.
128KB, 1, 2 ja 4 ühendust.
256KB, 1, 2 ja 4 ühendust.
512KB, 1, 2 ja 4 ühendust.

32, 128 ja 512KB, 1TB kogumahtu, 1 ja 4 ühendust.
Näiteks:
<pre>
iperf -t 30 -c 1.2.3.4 -w 32KB -P 1 -i 1 >> PFtest
</pre>

Tulemusi saab siis lugeda failist PFtest.

===Turva===

====DoS testid====

Smurf attack, mida oma võrgus eriti teha ei taha, kui just osa sellest eraldama ei hakka:
<pre>
hping3 -1 --flood -a SIHTMÄRGI_IP VÕRGU_BROADCAST
</pre>

DOS Land Attack (SYN flood)
<pre>
hping3 -V -c 1000000 -d 120 -S -w 64 -p 445 -s 445 --flood --rand-source SIHTMÄRGI_IP
</pre>

====SYN rünnaku ja Portide skänni limiteerimine====
Piirame RST vastused. Vaikimisi on piirang 200 paketti sekundis.
Lisaks on ka võimalus keelata sellekohaste sõnumite näitamine:

<pre>
sysctl net.inet.icmp.icmplim=200
sysctl net.inet.icmp.icmplim_output=0
</pre>

Selgituseks:
<pre>
From blackhole(7):
Code:

Normal behaviour, when a TCP SYN segment is received on a port where
there is no socket accepting connections, is for the system to return a
RST segment, and drop the connection. The connecting system will see
this as a ``Connection refused''. By setting the TCP blackhole MIB to a
numeric value of one, the incoming SYN segment is merely dropped, and no
RST is sent, making the system appear as a blackhole. By setting the MIB
value to two, any segment arriving on a closed port is dropped without
returning a RST. This provides some degree of protection against stealth
port scans.
</pre>

Tore on see, et RST piiratakse juba enne tulemüüri, nii et kui keegi selle rakenduse tasemel pangestab, jääb
piirang ikka peale niikaua, kui tuuma vastavad deemonid töötavad.

SYN rünnakul kolmest masinast, kasutades kahest hping-i ja juurest 24 ping-i instantsi, igaüks spämmides miljonites pinge minimaalse ooteaknaga ei suutnud tulemüüri silmagi pilgutama panna. (~90K paketti sekundis, CPU maksimaalselt 10% load, mälu kasutus ~2G 16-st)

==Lisad==

'''pflog logima faili'''

# grep -i pflog /etc/rc.local
echo -n "pflog -> syslog"
ifconfig pflog0 up
tcpdump -s 96 -l -e -t -i pflog0 | logger -p local0.info -t pf &
# grep -i local0.info /etc/syslog.conf
local0.info /var/log/pflog.txt
local0.info @loghost
# grep -i pflog.txt /etc/newsyslog.conf
/var/log/pflog.txt 600 7 * @T00 Z

'''pf flush kui reeglid untsuläinud'''

Üks võimalus oleks anda käsk

# pfctl -f pf.conf && sleep 60 && pfctl -f pf.conf.safe

See näide pole aga hea kui terminali ühendus mahakukub, sellepuhuks tasuks
pigem kasutada rida

echo "pfctl -d" | at + 5 minutes

Mis lihtsalt disabled pf kõik reelid

'''eemaldab pf tabelist ridu mis liiga vanad'''
http://expiretable.fnord.se/

Packet Filter

2016-04-01T13:00:30Z

Valmar: /* Tulemüüri läbilaske testid */

'''Packet Filter'''

===Sissejuhatus===
(lüh. PF) on OpenBSD tulemüür, alates OpenBSD versioonist 3.0, mille on kirjutanud 2001. aasta suvel Daniel Hartmeier. Packet Filter kirjutati asendamaks Darren Reed'i kirjutatud IPFilter tulemüüri, kes sattus OpenBSD arendajatega konflikti, keelates oma koodi muuta. Darren Reed väitis, et tema kirjutatud tulemüür IPFilter kasutab BSD litsentsi, kuid tegelikult oli ta BSD litsentsi sõna-sõnalt kopeerinud, jättes välja vaid osa, mis lubab koodi muutmist. Tülide lahendamise asemel otsustas OpenBSD projektijuht, Theo De Raadt uue tulemüüri kasuks. 29.05.2001 eemaldati IPFilter'i kood OpenBSD lähtekoodist. Järgnevad kaks kuud oli OpenBSD operatsioonisüsteem ilma tulemüürita, Packet Filter jõudis OpenBSD lähtekoodi 24.06.2001. Paaril järgneval kuul töötasid arendajad meeletu koormusega, ning OpenBSD 3.0 versiooni valmides sisaldas see ka juba Packet Filter tulemüüri. Oma eluaja jooksul on see tulemüür väga kiirelt arenenud ning omab teiste tulemüüride ees mitmeid eeliseid. Tulemüüri reeglite süntaks on sarnane IPFilter'i omale, kuid seda on lihtsustatud kasutusmugavuse tõstmiseks. Packet Filter on tihedalt seotud võrgunduses levinud NAT ning QoS tehnoloogiatega, lubamaks suuremat paindlikkust ning vastupidavust. Packet Filter on porditud ka FreeBSD, NetBSD ning DragonFlyBSD operatsioonisüsteemidele.

===Võimalused===
Packet Filter on, nagu iga teinegi UNIX-i rakendus, väga paindlik. Seega arendajatel on lihtne koodi uuendada ning uusi võimalusi lisada. Packet Filter areneb väga kiiresti ning pakub palju võimalusi, mida tihtipeale leiab ainult tasulistest tulemüüridest.
Siinkohal on lahti seletatud tähelepanuväärseimad võimalused.

====NAT====

"Network Address Translation". Privaatse või registreerimata IP-aadressi asendamine ametliku IP-aadressiga. NAT annab organisatsioonidele suurema paindlikkuse aadresside kasutamiseks oma kohtvõrkudes ja lubab kasutajatel vastavalt vajadusele ühiselt kasutada piiratud arvu registreeritud IP-aadresse. NAT’i kasutamine teeb ka raskemaks võrgu ründamise väljastpoolt, sest sisemisi IP-aadresse ei edastata üle Interneti. Võrguaadresside ümbernimetamine toimub harilikult ruuteris või tulemüüris.

====QoS====

"Quality of Service". Tegeleb andmeedastuskiiruste, vigade esinemise sageduste ja teiste karakteristikute mõõtmise, parandamise ja teatud määral garanteerimisega. QoS on eriti oluline laiaribalise video- ja multimeediuminfo pideva ülekande puhul. Sellise info töökindel edastamine üle avalike sidevõrkude on tavalisi protokolle kasutades raske. Interneti ressursside reserveerimise protokolli (RSVP) kasutamisel saab läbi lüüsihosti liikuvaid pakette organiseerida eelnevalt paika pandud poliitika ja reserveerimiskriteeriumide alusel.

====ALTQ====

"ALTernate Queueing framework for BSD UNIX". ALTQ võimaldab pakettide järjestamist ning teisi QoS-i komponente, mis on vajalikud QoS-i edukaks teostamiseks võrgus, seda kasutatakse enamasti BSD operatsioonisüsteeme kasutatavates ruuterites. ALTQ on osa FreeBSD ja NetBSD distributsioonidest ning on integreeritud Packet Filter tulemüüri.

http://kuutorvaja.eenet.ee/wiki/Freebsd_traffic_shaping

====CARP====

"The Common Address Redundancy Protocol". CARP on protokoll, mis lubab samas sisevõrgus asuvatel arvutitel jagada IP-aadressite paari, peamine eesmärk on võimaldada tagavararuuteri kasutamist. Juhul, kui ruuter peaks mingil põhjusel töökõlbmatuks muutuma, näiteks riistvara vea tõttu, saab tagavararuuter tema töö kohe üle võtta, tekitamata võrgus tõrkeid ning jäädes kasutajatele märkamatuks.

====Pfsync====

Pfsync on virtuaalne võrguliides, mis peegeldab Packet Filter tulemüüri tabelis tehtud muudatusi, tcpdump käsku kasutades saab seda reaalajas jälgida, samuti oskab pfsync enda muudatusi üle võrgu laiali saata ning neid ka vastu võtta, näiteks mitmete võrgus asuvate tulemüüride reeglite sünkroniseerimiseks.

====Authpf====

Authpf on kasutajaliides autentivatele võrgulüüsidele, autentiva võrgulüüsi kasutamiseks tuleb kasutajatel ennast tuvastada enne, kui lüüs nende võrguliikluse läbi laseb. Seda saab kasutada näiteks ainult kasutaja sessiooni ajal kehtivate tulemüürireeglite automatiseeritud loomiseks ja kustutamiseks.

====Ftp-proxy====

Ftp-proxy on OpenBSD implementatsioon puhverserverist FTP-protokollile, see võimaldab NAT-ruuteri taga asuvatel võrguklientidel kasutada FTP-protokolli, olles tulemüüri ja välise liikluse vahendaja, lisades ning eemaldades vajadusel Packet Filter tulemüüri reegleid.

===Kasutamine===

====Aktiveerimine====
Packet Filter tulemüüri käivitamiseks OpenBSD operatsioonisüsteemi käivitudes tuleb lisada /etc/rc.conf.local rida pf=YES, ajutiselt saab tulemüüri käivitada ning sulgeda pfctl käsu abil või kasutades rc skripti /etc/rc.d/pf

näiteks käsuga /etc/rc.d/pf reload

====Seadistamine====
Packet Filter laeb operatsioonisüsteemi käivitumisel vaikimisi reeglid /etc/pf.conf failist. See on tekstifail, mis laetakse pfctl käsuga ning sisaldab tulemüüri reegleid. Erinevatele rakendustele saab määrata ka teistes failides asuvaid reegleid, seadistusfailis olevaid tühje ridu ignoreeritakse. Seadistusfail pf.conf koosneb seitsmest osast.

====Makrod====
Makrod on kasutaja poolt määratud muutujad, mis kujutavad mingit hulka IP-aadresse, portide numbreid või võrguliideseid, makrod võimaldavad reegleid lihtsamini loetavaks ja kergemini hallatavaks muuta. Makrod võivad sisaldada numbreid või tähti, neid saab laiendada ka nimekirjadeks ning grupeerida, hilisemalt kasutatakse makrode muutujanimena dollarimärki. Siinkohal on välja toodud mõned näited reeglite lihtsustamiseks.

extIF = "xl0"
See makro määrab välise võrguliidese xl0 nimeks extIF, see lihtsustab hilisemates reeglites välise võrguliidese kasutamist ning välistab võimaluse teiste liidestega segamini ajada.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
See makro määrab IP-aadressite hulga 192.168.0.2-192.168.0.3 ühise grupi alla, see lihtsustab hilisemates reeglites mingi hulga klientide poole pöördumist. Näiteks ühe reegliga saab kogu grupil keelata liikluse, ei pea igale kliendile eraldi reeglit tegema.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
kliendid2 = "{ 192.168.1.2, 192.168.1.3 }"
kliendidKOKKU = "{" $kliendid1 $kliendid2 "}"
Need makrod määravad IP-aadressite hulgad gruppideks ning loovad ühise grupi, mis lihtsustab kõikidele klientidele ühiste reeglite kirjutamist.

====Tabelid====
Tabelites hoitakse IP-aadresse. Otsingud tabelitest on märksa kiiremad kui otsingud nimekirjadest, mistõttu sobivad tabelid suure hulga aadressite hoidmiseks. Tabeleid saab siduda ka ümbersuunamise ning filtrite reeglitega. Tabeleid tähistatakse nurksulgudega. Tabelitele saab lisana omistada kahte erinevat olekut - konstantne e. const ning jääv e. persist. Konstantse tabeli puhul saab tabelit muuta ainult laadimata olekus, muidu saab neid laadida ka töötades, pfctl käsu abil.
Jääva olekuga tabelit hoitakse mälus ka siis, kui sellega ükski reegel seotud pole, muidu kustutatakse tabel viimase seotud reegli kustutamisel automaatselt. Tabeleid saab laadida ka tekstifailidest, kasutades file muutujat.

table <kliendid1> { 192.168.1.0/24, !192.168.1.1 }
Kliendid1 tabelist eraldatakse 192.168.1.1 aadressiga klient.

table <kliendid2> persist file "/etc/kliendid2nimekiri"
Kliendid2 tabel loetakse sisse failist /etc/kliendid2nimekiri, jäävasse olekusse.

block in on xl0 from <kliendid2>to any
pass in on xl0 from <kliendid1> to any
Kliendid2 grupile keelatakse ning kliendid grupile lubatakse väline juurdepääs.

Muutujad Packet Filteri tööprotsessi muutmiseks.
set block-policy option - Määrab filtrite ülesanded pakettide blokeerimisel
set debug option - Määrab tagasiside taseme
set fingerprints file - Määrab avalike võtmete faili
set limit option value - Määrab PF piirangud
set loginterface interface - Määrab logiliidese, vaikimis pflogd0
set optimization option - Määrab optimeerimise taseme
set skip on interface - Määrab ignoreeritavad võguliidesed
set state-policy option - Määrab pakettide hoidmise reeglid
set timeout option value - Määrab ooteaja

set loginterface dc0
Määrab logimisliideseks dc0 võrguliidese.

set skip on lo0
Määrab Io0 liidese ignoreeritavaks, sellele seadmele ei rakendata ühtegi reeglit.

Küürimine
Küürimine on pakettide normaliseerimine, mille eesmärk on vältida fragmenteerunud pakettide paljunemist, keelatakse ka valede lippudega TCP-paketid. Küürimise süntaks on väga sarnane filtrite ülesehitusega ning seda on lihtne oma tulemüüri juurutada.

scrub on xl0 all reassemble tcp
Normaliseerib kõik TCP-paketid, mis läbivad xl0 võrguliidest.

====Järjekorrad====
Operatsioonisüsteemi valitud pakettide järjekorrast sõltub võrgu jõudlus, näiteks seades suuremat kiirust vajavad protokollid teistest ettepoole ja seega tõstes töökiirust. Pakettide järjestamise strateegiad tulenevad valitud scheduler'ist ehk plaanurist. Packet Filter toetab pakettide järjestamist klassi (CBQ) ning paketi prioriteedi (PRIQ) järgi.

altq on xl0 cbq bandwidth 2Mb queue
Määrab xl0 võrguliidesele CBQ plaanuriga 2Mb piirangu.

====Tõlkimine====
Võrguaadressite tõlkimine (NAT) võimaldab peita sisevõrgu kliendid ühe välise IP-aadressi taha, suurendamaks turvalisust sisevõrku sissepääsu raskendades.

nat on xl0 from 192.168.1.0/24 to any -> 192.168.2.0
Peidab kõik 192.168.1.0/24 alamvõrgust tulevad IP-aadressi 192.168.2.0 taha.

====ftp-proxy vahendab NAT tulemüüri taga olevale klienti====

Selleks, et NAT tulemüüri taga asuvad kliendid saaksid ftp serveritega suhelda tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"
rdr on $intIF proto tcp from any to any port 21 -> 127.0.0.1 port 8021

ning reeglite sektsiooni

anchor "ftp-proxy/*"

ning käivitada soketil 127.0.0.1:8021 programm ftp-proxy

# ftp-proxy -r

-r võtit soovitatakse kasutada, et ka vanemad ja nö isikupärasemad kliendid toimiks. Selleks, et ftp-proxy bootimisel käivituks peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-r"

====ftp-proxy vahendab NAT tulemüüri taga olevat ftp serverit====

Selleks, et ftp kliendid saaksid internetist pöörduda NAT tulemüüri taga asuva ftp serveri poole, tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"

ning reeglite sektsiooni

pass in on $extIF inet proto tcp to $extIF port 21 \
flags S/SA keep state
anchor "ftp-proxy/*"

ning käivitada programm ftp-proxy, mis kuulab tulemüüri välisel seadmel aadressil 192.168.10.200 pöördumisi ja vahendab need sisevõrgus aadressil 192.168.1.3 töötavale ftp serverile

# ftp-proxy -R 192.168.1.3 -p 21 -b 192.168.10.200

Selleks, et ftp-proxy bootimisel käivituks, peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-R 192.168.1.3 -p 21 -b 192.168.10.200"

Kui tulemüüri vahendab kummastki suunas ftp liiklust, siis töötab kaks ftp-proxy eksemplari.

====Filtrid====
Pakettide filtreerimine on valikuline andmete voo keelamine ja lubamine, tuginedes kindlaksmääratud filtritele. Filtrites määratakse ära, millised paketid läbi lastakse ja millised peatatakse. Saabunud paketti võrreldakse filtritega, filtrid läbitakse järjestikuliselt, viimases filtris määratud tegevus rakendatakse tööle, kui tegevust ei leita, on vaikimisi seade pakett läbi lasta.

====Reeglite süntaks====
Reeglite lihtsustatud süntaks :

action [direction] [log] [quick] [on interface] [af] [proto protocol] \
[from src_addr [port src_port]] [to dst_addr [port dst_port]] \
[flags tcp_flags] [state]

action - Pakettide rakendamine
direction - Pakettide suund
log - Logitase
quick - Kui pakett vastab quick muutujaga reeglile, kontrollitakse vaid esimest reeglit
interface - Võrguliides
af – IP-protokolli tüübi määrang
src_addr, dst_addr - Päritoluaadress ning suundaadress
src_port, dst_port - Päritoluport ning suundport
tcp_flags - Määrab pakettide TCP-lipud
state - Pakettide hoidmise reeglid

===Lisavõimalused===
Packet Filter on ünsa populaarne ja leiab pidevalt uusi kasutajaid, paljud kasutajad on aga proovinud lisada Packet Filter'ile mitmeid lisavõimalusi, mis muudaksid seadistamise ning haldamise lihtsamaks, siinkohal on välja toodud lühike ülevaade kahest tuntumast lisast.

====Pfw====
[http://www.allard.nu/pfw/ http://www.allard.nu/pfw/]
fw on veebipõhine kasutajaliides Packet Filter tulemüürile, eesmärk on olla sama efektiivne ja kasulik kui PG ning samal ajal pakkuda võimalust tulemüüri läbi veebibrauseri seadistada (lisa 2). Pfw põhineb PHP-l ning toetab perl-i mooduleid, Pfw on tasuta saadaval ning kasutab BSD-litsentsi.

====Pf.vim====
[http://www.vim.org/scripts/script.php?script_id=341 http://www.vim.org/scripts/script.php?script_id=341]
Pf.vim on Vim-i süntaksiskript, mis kohandab Vim-i Packet Filter'i konfiguratsioonifaili pf.conf töötlemiseks, pf.vim oskab pf.conf faili sisu tüübi järgi esile tõsta ning värviliseks muuta, näiteks kõik kehtivad reeglid kuvatakse rohelises kirjas. Pf.Vim süntaksiskripti on loonud Camiel Dobbelaar aastal 2002.

===Praktiline Osa. Tulemüüri seadistamine===

Tulemüür väiksemale võrgule kus lubatakse mõnedele teenustele ligipääs ning tehakse ka NAT'i sisevõrgule

Tulemüüri automaatseks käivitamiseks tuli /etc/rc.conf.local faili lisada rida pf=YES, operatsioonisüsteemi käivitusskriptid laevad sellest failist käivitatavate rakendust nimekirja, tulemüüri saab ka käsitsi käsurealt käivitada.
pfctl -e -f /etc/pf.conf

Selle käsuga käivitatakse tulemüür ja laetakse reeglid /etc/pf.conf failist. Tulemüüri seadistamisel kasutas autor Vim tekstiredaktorit. Reeglid loodi sellised, et sisevõrgus olevatel klientidel on juurdepääs internetile, juurdepääs väljastpoolt sisevõrku puudub ning sisevõrgu kliendid peidetakse ühise IP-aadressi taha, sisevõrgust välja lubati http, https ja pop3 protokollide kasutamine, täielik tabel on toodud välja lisana (lisa 1).
Tulemüüri reeglite kirjutamine :

extIF="rl0"
intIF="xl0"
lubatud="{ 80, 110, 443 }"
'''#Võrguliidestele ning lubatud protokollidele määrati makrod, lihtsustamaks hilisemat pöördumist.'''

set loginterface $extIF
set skip on lo
'''#Lülitati sisse välise liidese logimine ning loopack liidese ignoreerimine.'''

scrub in all
scrub out all
'''#Lülitati sisse kõikide pakettide normaliseerimine.'''

nat on $extIF from !($extIF) -> ($extIF:0)
'''#Lülitati sisse NAT välisel võrguliidesel.'''

block in
pass out keep state
antispoof quick for { lo $intIF }
pass in on $extIF inet proto tcp from any to ($extIF) port $lubatud flags S/SA keep state
'''#Keelati kõik sisenev liiklus peale makros $lubatud kirjeldatud portidelt, lubati võrgust väljuv liiklus ning välistati siseneval liiklusel spoof’imine.'''

pass in inet proto icmp all keep state
pass out inet proto icmp all keep state
'''#Lubatakse võrku sisenevad ja väljuvad pingimised.'''

'''#Lubati väljuv liiklus.'''
pass quick on $intIF

Lisahääletuseks võib seadistada kiire lingi puhul näiteks

set optimization aggressive

Optimizationi muutujaid saab vaadata käsuga pfctl -s timeouts

Aeglasemate ühenduste korral on kasulik agressive asemel seadistada näiteks high-latency

State tabeli vaikimisi suuruseks kus hoitakse kõiki aktiivseid ühendusi on 10000
mis suuremate ühenduste laviiniga võib täis saada kergelt

Keep state peaks tänapäeval pf-i vaikimisi default olema ja kogu filterdamist isegi kiiremaks tegema.

===Ssh läbustajate piiramine===

Vaadates igaöist ebaõnnestunud logimiskatsete arvu võib masinal kus ssh ligipääs
peab olema avatud kogu maailmale avastada halval päevall neid katseid tuhandeid.
Erinevate robotite poolt proovitakse läbi kõikvõimalikke kasutajanimesid ning paroole
milledega üritakse sisse logida. Sageli, paljude kasutajatega serveris, kus kasutajatel võimalus
ise endile lihtsaid paroole seadistada ka õnnestunult. Lisaks on selline täis läbustatud logifail
ebamugav ka debugimisel ning häirib igaöiste raportite lugemist.

Kuidas seda probleemi lahendada? Kõige lihtsam lahendus on tekitada tabel milles olevad
aadressid blokitakse koheselt ning seadistada ssh lubamise reale lisaks maksimaalsed
ühenduste arvud, millede ületamise korral ip aadress koheselt keelatud aadressite teabelisse
lisatakse.

Pf.confi täiendasin järgnevalt:

Tekitasin tabeli jobud
table <jobud> persist

Blokeerisin kõik ühendused sealsetelt aadressidelt
block log quick from <jobud>
Seadistasin limiidid ssh ühendustele milledest alates ip aadress tabelisse lisatakse
pass in on $ext_if proto tcp from any to $ext_if port 22 keep state (max-src-conn 10, max-src-conn-rate 10/5, overload <jobud> flush global)

Vaadates nüüd logist mõnd läbustajat näeme, et üsna peatselt katkes temaga suhtlus

# cat /var/log/auth.log | grep 89.216.115.128
Feb 27 18:32:15 muheleja sshd[64673]: Did not receive identification string from 89.216.115.128
Feb 27 18:37:40 muheleja sshd[65023]: Invalid user PlcmSpIp from 89.216.115.128
Feb 27 18:37:41 muheleja sshd[65025]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:42 muheleja sshd[65027]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:44 muheleja sshd[65029]: Invalid user db2inst1 from 89.216.115.128
Feb 27 18:37:46 muheleja sshd[65031]: Invalid user dasusr1 from 89.216.115.128
Feb 27 18:37:47 muheleja sshd[65033]: Invalid user ts from 89.216.115.128
Feb 27 18:37:49 muheleja sshd[65035]: Invalid user TeamSpeak from 89.216.115.128
Feb 27 18:37:51 muheleja sshd[65037]: Invalid user cisco from 89.216.115.128
Feb 27 18:37:52 muheleja sshd[65039]: Invalid user dream from 89.216.115.128
Feb 27 18:37:57 muheleja sshd[65041]: Invalid user spam from 89.216.115.128

Vaatame tabelisse ka

# pfctl -t jobud -T show
No ALTQ support in kernel
ALTQ related functions disabled
89.216.115.128

Tundub, et läbustaja sai edukalt blokeeritud.

Tabeli saab puhastada käsuga

# pfctl -t jobud -T flush
No ALTQ support in kernel
ALTQ related functions disabled
1 addresses deleted.

===IPV6 filtreerimisest===

Kui reeglis ei ole sõna inet, siis käib sama reegel nii ipv4 kui ipv6 kohta. Näiteks need:

block in log quick on $ext_if from <global_deny_in> label "global_deny_in"
block in log quick on $ext_if from any to <server_block_out>
block log on $int_if all label "blocked_kontor"

Aadresside võrdlemine on pf-il loomulikult intelligentne, s.t. ipv4 aadress tähendab ühtlasi ka ipv4 protot.

==Tulemüüri võrguühenduse võimekus==
<pre>
dmesg | less
</pre>
Otsida välja väljad Ethernet kohta. Antud näite puhul ei ole testtulemüüri raud piisav 10Gb jaoks (on pci-e2 x4, oleks vaja pci-e3 x8):

<pre>
ixl0: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd8800000-0xd8ffffff,0xd87f0000-0xd87f7fff irq 40 at device 0.0 on pci4
ixl0: Using MSIX interrupts with 9 vectors
ixl0: f4.22 a1.2 n04.25 e8000143f
ixl0: Using defaults for TSO: 65518/35/2048
ixl0: Ethernet address: 68:05:ca:32:f0:cc
ixl0: PCI Express Bus: Speed 5.0GT/s Width x4
ixl0: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl0: For expected performance a x8 PCIE Gen3 slot is required.

ixl1: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd9000000-0xd97fffff,0xd87f8000-0xd87fffff irq 40 at device 0.1 on pci4
ixl1: Using MSIX interrupts with 9 vectors
ixl1: f4.22 a1.2 n04.25 e8000143f
ixl1: Using defaults for TSO: 65518/35/2048
ixl1: Ethernet address: 68:05:ca:32:f0:cd
ixl1: PCI Express Bus: Speed 5.0GT/s Width x4
ixl1: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl1: For expected performance a x8 PCIE Gen3 slot is required.
</pre>

===pci-e võimalustest tulenev maksimaalne läbilase===

Testimiseks kasutusel olev pci-e slott võimaldab:

5000MHz * 4bitti / 8 = 2500 MB/s

===Riistvaraliste komponentide mõju===

{|
! style="text-align:left;"| Komponent
! Tähtis
|-
| Emaplaat
| PCI siini laius ja kiirus - kindlasti pci-e, soovituslikult vähemalt pci-e3 x8
|-
| CPU
| CPU kiirus ei ole esmane prioriteet.
|-
| Mälu
| kiirus Mhz, hulk ei ole peale 1-2 GB tähtis, peale 8-16GB üldse määrav
|-
| Võrgukaart
| eraldiseisev või spec. (ei kasuta CPU ressursse oma arvutusteks)
|-
| Hyper Threading
| Maha, tekitab latentsust ja turvariski
|}

====Tulemüüri läbilaske testid====
Testime tulemüüri läbilaset erinevates olukordades, kasutades iperf-i.

Testime erinevate TCP akende suuruste ja samaaegsete ühenduste arvuga 30 sekundise kestvusega, seejärel testime suurema kogumahuga väikeste pakettidega ja siis suurtega.

32KB, 1, 2 ja 4 ühendust.
64KB, 1, 2 ja 4 ühendust.
128KB, 1, 2 ja 4 ühendust.
256KB, 1, 2 ja 4 ühendust.
512KB, 1, 2 ja 4 ühendust.

32, 128 ja 512KB, 1TB kogumahtu, 1 ja 4 ühendust.
Näiteks:
<pre>
iperf -t 30 -c 1.2.3.4 -w 32KB -P 1 -i 1 >> PFtest
</pre>

Tulemusi saab siis lugeda failist PFtest.

===Turva===

====DoS testid====

Smurf attack, mida oma võrgus eriti teha ei taha, kui just osa sellest eraldama ei hakka:
<pre>
hping3 -1 --flood -a VICTIM_IP BROADCAST_ADDRESS
</pre>

DOS Land Attack (SYN flood)
<pre>
hping3 -V -c 1000000 -d 120 -S -w 64 -p 445 -s 445 --flood --rand-source VICTIM_IP
</pre>

====SYN rünnaku ja Portide skänni limiteerimine====
Piirame RST vastused. Vaikimisi on piirang 200 paketti sekundis.
Lisaks on ka võimalus keelata sellekohaste sõnumite näitamine:

<pre>
sysctl net.inet.icmp.icmplim=200
sysctl net.inet.icmp.icmplim_output=0
</pre>

Selgituseks:
<pre>
From blackhole(7):
Code:

Normal behaviour, when a TCP SYN segment is received on a port where
there is no socket accepting connections, is for the system to return a
RST segment, and drop the connection. The connecting system will see
this as a ``Connection refused''. By setting the TCP blackhole MIB to a
numeric value of one, the incoming SYN segment is merely dropped, and no
RST is sent, making the system appear as a blackhole. By setting the MIB
value to two, any segment arriving on a closed port is dropped without
returning a RST. This provides some degree of protection against stealth
port scans.
</pre>

Tore on see, et RST piiratakse juba enne tulemüüri, nii et kui keegi selle rakenduse tasemel pangestab, jääb
piirang ikka peale niikaua, kui tuuma vastavad deemonid töötavad.

SYN rünnakul kolmest masinast, kasutades kahest hping-i ja juurest 24 ping-i instantsi, igaüks spämmides miljonites pinge minimaalse ooteaknaga ei suutnud tulemüüri silmagi pilgutama panna. (~90K paketti sekundis, CPU maksimaalselt 10% load, mälu kasutus ~2G 16-st)

==Lisad==

'''pflog logima faili'''

# grep -i pflog /etc/rc.local
echo -n "pflog -> syslog"
ifconfig pflog0 up
tcpdump -s 96 -l -e -t -i pflog0 | logger -p local0.info -t pf &
# grep -i local0.info /etc/syslog.conf
local0.info /var/log/pflog.txt
local0.info @loghost
# grep -i pflog.txt /etc/newsyslog.conf
/var/log/pflog.txt 600 7 * @T00 Z

'''pf flush kui reeglid untsuläinud'''

Üks võimalus oleks anda käsk

# pfctl -f pf.conf && sleep 60 && pfctl -f pf.conf.safe

See näide pole aga hea kui terminali ühendus mahakukub, sellepuhuks tasuks
pigem kasutada rida

echo "pfctl -d" | at + 5 minutes

Mis lihtsalt disabled pf kõik reelid

'''eemaldab pf tabelist ridu mis liiga vanad'''
http://expiretable.fnord.se/

Packet Filter

2016-04-01T12:59:52Z

Valmar:

'''Packet Filter'''

===Sissejuhatus===
(lüh. PF) on OpenBSD tulemüür, alates OpenBSD versioonist 3.0, mille on kirjutanud 2001. aasta suvel Daniel Hartmeier. Packet Filter kirjutati asendamaks Darren Reed'i kirjutatud IPFilter tulemüüri, kes sattus OpenBSD arendajatega konflikti, keelates oma koodi muuta. Darren Reed väitis, et tema kirjutatud tulemüür IPFilter kasutab BSD litsentsi, kuid tegelikult oli ta BSD litsentsi sõna-sõnalt kopeerinud, jättes välja vaid osa, mis lubab koodi muutmist. Tülide lahendamise asemel otsustas OpenBSD projektijuht, Theo De Raadt uue tulemüüri kasuks. 29.05.2001 eemaldati IPFilter'i kood OpenBSD lähtekoodist. Järgnevad kaks kuud oli OpenBSD operatsioonisüsteem ilma tulemüürita, Packet Filter jõudis OpenBSD lähtekoodi 24.06.2001. Paaril järgneval kuul töötasid arendajad meeletu koormusega, ning OpenBSD 3.0 versiooni valmides sisaldas see ka juba Packet Filter tulemüüri. Oma eluaja jooksul on see tulemüür väga kiirelt arenenud ning omab teiste tulemüüride ees mitmeid eeliseid. Tulemüüri reeglite süntaks on sarnane IPFilter'i omale, kuid seda on lihtsustatud kasutusmugavuse tõstmiseks. Packet Filter on tihedalt seotud võrgunduses levinud NAT ning QoS tehnoloogiatega, lubamaks suuremat paindlikkust ning vastupidavust. Packet Filter on porditud ka FreeBSD, NetBSD ning DragonFlyBSD operatsioonisüsteemidele.

===Võimalused===
Packet Filter on, nagu iga teinegi UNIX-i rakendus, väga paindlik. Seega arendajatel on lihtne koodi uuendada ning uusi võimalusi lisada. Packet Filter areneb väga kiiresti ning pakub palju võimalusi, mida tihtipeale leiab ainult tasulistest tulemüüridest.
Siinkohal on lahti seletatud tähelepanuväärseimad võimalused.

====NAT====

"Network Address Translation". Privaatse või registreerimata IP-aadressi asendamine ametliku IP-aadressiga. NAT annab organisatsioonidele suurema paindlikkuse aadresside kasutamiseks oma kohtvõrkudes ja lubab kasutajatel vastavalt vajadusele ühiselt kasutada piiratud arvu registreeritud IP-aadresse. NAT’i kasutamine teeb ka raskemaks võrgu ründamise väljastpoolt, sest sisemisi IP-aadresse ei edastata üle Interneti. Võrguaadresside ümbernimetamine toimub harilikult ruuteris või tulemüüris.

====QoS====

"Quality of Service". Tegeleb andmeedastuskiiruste, vigade esinemise sageduste ja teiste karakteristikute mõõtmise, parandamise ja teatud määral garanteerimisega. QoS on eriti oluline laiaribalise video- ja multimeediuminfo pideva ülekande puhul. Sellise info töökindel edastamine üle avalike sidevõrkude on tavalisi protokolle kasutades raske. Interneti ressursside reserveerimise protokolli (RSVP) kasutamisel saab läbi lüüsihosti liikuvaid pakette organiseerida eelnevalt paika pandud poliitika ja reserveerimiskriteeriumide alusel.

====ALTQ====

"ALTernate Queueing framework for BSD UNIX". ALTQ võimaldab pakettide järjestamist ning teisi QoS-i komponente, mis on vajalikud QoS-i edukaks teostamiseks võrgus, seda kasutatakse enamasti BSD operatsioonisüsteeme kasutatavates ruuterites. ALTQ on osa FreeBSD ja NetBSD distributsioonidest ning on integreeritud Packet Filter tulemüüri.

http://kuutorvaja.eenet.ee/wiki/Freebsd_traffic_shaping

====CARP====

"The Common Address Redundancy Protocol". CARP on protokoll, mis lubab samas sisevõrgus asuvatel arvutitel jagada IP-aadressite paari, peamine eesmärk on võimaldada tagavararuuteri kasutamist. Juhul, kui ruuter peaks mingil põhjusel töökõlbmatuks muutuma, näiteks riistvara vea tõttu, saab tagavararuuter tema töö kohe üle võtta, tekitamata võrgus tõrkeid ning jäädes kasutajatele märkamatuks.

====Pfsync====

Pfsync on virtuaalne võrguliides, mis peegeldab Packet Filter tulemüüri tabelis tehtud muudatusi, tcpdump käsku kasutades saab seda reaalajas jälgida, samuti oskab pfsync enda muudatusi üle võrgu laiali saata ning neid ka vastu võtta, näiteks mitmete võrgus asuvate tulemüüride reeglite sünkroniseerimiseks.

====Authpf====

Authpf on kasutajaliides autentivatele võrgulüüsidele, autentiva võrgulüüsi kasutamiseks tuleb kasutajatel ennast tuvastada enne, kui lüüs nende võrguliikluse läbi laseb. Seda saab kasutada näiteks ainult kasutaja sessiooni ajal kehtivate tulemüürireeglite automatiseeritud loomiseks ja kustutamiseks.

====Ftp-proxy====

Ftp-proxy on OpenBSD implementatsioon puhverserverist FTP-protokollile, see võimaldab NAT-ruuteri taga asuvatel võrguklientidel kasutada FTP-protokolli, olles tulemüüri ja välise liikluse vahendaja, lisades ning eemaldades vajadusel Packet Filter tulemüüri reegleid.

===Kasutamine===

====Aktiveerimine====
Packet Filter tulemüüri käivitamiseks OpenBSD operatsioonisüsteemi käivitudes tuleb lisada /etc/rc.conf.local rida pf=YES, ajutiselt saab tulemüüri käivitada ning sulgeda pfctl käsu abil või kasutades rc skripti /etc/rc.d/pf

näiteks käsuga /etc/rc.d/pf reload

====Seadistamine====
Packet Filter laeb operatsioonisüsteemi käivitumisel vaikimisi reeglid /etc/pf.conf failist. See on tekstifail, mis laetakse pfctl käsuga ning sisaldab tulemüüri reegleid. Erinevatele rakendustele saab määrata ka teistes failides asuvaid reegleid, seadistusfailis olevaid tühje ridu ignoreeritakse. Seadistusfail pf.conf koosneb seitsmest osast.

====Makrod====
Makrod on kasutaja poolt määratud muutujad, mis kujutavad mingit hulka IP-aadresse, portide numbreid või võrguliideseid, makrod võimaldavad reegleid lihtsamini loetavaks ja kergemini hallatavaks muuta. Makrod võivad sisaldada numbreid või tähti, neid saab laiendada ka nimekirjadeks ning grupeerida, hilisemalt kasutatakse makrode muutujanimena dollarimärki. Siinkohal on välja toodud mõned näited reeglite lihtsustamiseks.

extIF = "xl0"
See makro määrab välise võrguliidese xl0 nimeks extIF, see lihtsustab hilisemates reeglites välise võrguliidese kasutamist ning välistab võimaluse teiste liidestega segamini ajada.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
See makro määrab IP-aadressite hulga 192.168.0.2-192.168.0.3 ühise grupi alla, see lihtsustab hilisemates reeglites mingi hulga klientide poole pöördumist. Näiteks ühe reegliga saab kogu grupil keelata liikluse, ei pea igale kliendile eraldi reeglit tegema.

kliendid1 = "{ 192.168.0.2, 192.168.0.3 }"
kliendid2 = "{ 192.168.1.2, 192.168.1.3 }"
kliendidKOKKU = "{" $kliendid1 $kliendid2 "}"
Need makrod määravad IP-aadressite hulgad gruppideks ning loovad ühise grupi, mis lihtsustab kõikidele klientidele ühiste reeglite kirjutamist.

====Tabelid====
Tabelites hoitakse IP-aadresse. Otsingud tabelitest on märksa kiiremad kui otsingud nimekirjadest, mistõttu sobivad tabelid suure hulga aadressite hoidmiseks. Tabeleid saab siduda ka ümbersuunamise ning filtrite reeglitega. Tabeleid tähistatakse nurksulgudega. Tabelitele saab lisana omistada kahte erinevat olekut - konstantne e. const ning jääv e. persist. Konstantse tabeli puhul saab tabelit muuta ainult laadimata olekus, muidu saab neid laadida ka töötades, pfctl käsu abil.
Jääva olekuga tabelit hoitakse mälus ka siis, kui sellega ükski reegel seotud pole, muidu kustutatakse tabel viimase seotud reegli kustutamisel automaatselt. Tabeleid saab laadida ka tekstifailidest, kasutades file muutujat.

table <kliendid1> { 192.168.1.0/24, !192.168.1.1 }
Kliendid1 tabelist eraldatakse 192.168.1.1 aadressiga klient.

table <kliendid2> persist file "/etc/kliendid2nimekiri"
Kliendid2 tabel loetakse sisse failist /etc/kliendid2nimekiri, jäävasse olekusse.

block in on xl0 from <kliendid2>to any
pass in on xl0 from <kliendid1> to any
Kliendid2 grupile keelatakse ning kliendid grupile lubatakse väline juurdepääs.

Muutujad Packet Filteri tööprotsessi muutmiseks.
set block-policy option - Määrab filtrite ülesanded pakettide blokeerimisel
set debug option - Määrab tagasiside taseme
set fingerprints file - Määrab avalike võtmete faili
set limit option value - Määrab PF piirangud
set loginterface interface - Määrab logiliidese, vaikimis pflogd0
set optimization option - Määrab optimeerimise taseme
set skip on interface - Määrab ignoreeritavad võguliidesed
set state-policy option - Määrab pakettide hoidmise reeglid
set timeout option value - Määrab ooteaja

set loginterface dc0
Määrab logimisliideseks dc0 võrguliidese.

set skip on lo0
Määrab Io0 liidese ignoreeritavaks, sellele seadmele ei rakendata ühtegi reeglit.

Küürimine
Küürimine on pakettide normaliseerimine, mille eesmärk on vältida fragmenteerunud pakettide paljunemist, keelatakse ka valede lippudega TCP-paketid. Küürimise süntaks on väga sarnane filtrite ülesehitusega ning seda on lihtne oma tulemüüri juurutada.

scrub on xl0 all reassemble tcp
Normaliseerib kõik TCP-paketid, mis läbivad xl0 võrguliidest.

====Järjekorrad====
Operatsioonisüsteemi valitud pakettide järjekorrast sõltub võrgu jõudlus, näiteks seades suuremat kiirust vajavad protokollid teistest ettepoole ja seega tõstes töökiirust. Pakettide järjestamise strateegiad tulenevad valitud scheduler'ist ehk plaanurist. Packet Filter toetab pakettide järjestamist klassi (CBQ) ning paketi prioriteedi (PRIQ) järgi.

altq on xl0 cbq bandwidth 2Mb queue
Määrab xl0 võrguliidesele CBQ plaanuriga 2Mb piirangu.

====Tõlkimine====
Võrguaadressite tõlkimine (NAT) võimaldab peita sisevõrgu kliendid ühe välise IP-aadressi taha, suurendamaks turvalisust sisevõrku sissepääsu raskendades.

nat on xl0 from 192.168.1.0/24 to any -> 192.168.2.0
Peidab kõik 192.168.1.0/24 alamvõrgust tulevad IP-aadressi 192.168.2.0 taha.

====ftp-proxy vahendab NAT tulemüüri taga olevale klienti====

Selleks, et NAT tulemüüri taga asuvad kliendid saaksid ftp serveritega suhelda tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"
rdr on $intIF proto tcp from any to any port 21 -> 127.0.0.1 port 8021

ning reeglite sektsiooni

anchor "ftp-proxy/*"

ning käivitada soketil 127.0.0.1:8021 programm ftp-proxy

# ftp-proxy -r

-r võtit soovitatakse kasutada, et ka vanemad ja nö isikupärasemad kliendid toimiks. Selleks, et ftp-proxy bootimisel käivituks peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-r"

====ftp-proxy vahendab NAT tulemüüri taga olevat ftp serverit====

Selleks, et ftp kliendid saaksid internetist pöörduda NAT tulemüüri taga asuva ftp serveri poole, tuleb lisada paketifiltri seadistusfaili NAT sektsiooni

nat-anchor "ftp-proxy/*"
rdr-anchor "ftp-proxy/*"

ning reeglite sektsiooni

pass in on $extIF inet proto tcp to $extIF port 21 \
flags S/SA keep state
anchor "ftp-proxy/*"

ning käivitada programm ftp-proxy, mis kuulab tulemüüri välisel seadmel aadressil 192.168.10.200 pöördumisi ja vahendab need sisevõrgus aadressil 192.168.1.3 töötavale ftp serverile

# ftp-proxy -R 192.168.1.3 -p 21 -b 192.168.10.200

Selleks, et ftp-proxy bootimisel käivituks, peab olema /etc/rc.conf.local failis rida

ftpproxy_flags="-R 192.168.1.3 -p 21 -b 192.168.10.200"

Kui tulemüüri vahendab kummastki suunas ftp liiklust, siis töötab kaks ftp-proxy eksemplari.

====Filtrid====
Pakettide filtreerimine on valikuline andmete voo keelamine ja lubamine, tuginedes kindlaksmääratud filtritele. Filtrites määratakse ära, millised paketid läbi lastakse ja millised peatatakse. Saabunud paketti võrreldakse filtritega, filtrid läbitakse järjestikuliselt, viimases filtris määratud tegevus rakendatakse tööle, kui tegevust ei leita, on vaikimisi seade pakett läbi lasta.

====Reeglite süntaks====
Reeglite lihtsustatud süntaks :

action [direction] [log] [quick] [on interface] [af] [proto protocol] \
[from src_addr [port src_port]] [to dst_addr [port dst_port]] \
[flags tcp_flags] [state]

action - Pakettide rakendamine
direction - Pakettide suund
log - Logitase
quick - Kui pakett vastab quick muutujaga reeglile, kontrollitakse vaid esimest reeglit
interface - Võrguliides
af – IP-protokolli tüübi määrang
src_addr, dst_addr - Päritoluaadress ning suundaadress
src_port, dst_port - Päritoluport ning suundport
tcp_flags - Määrab pakettide TCP-lipud
state - Pakettide hoidmise reeglid

===Lisavõimalused===
Packet Filter on ünsa populaarne ja leiab pidevalt uusi kasutajaid, paljud kasutajad on aga proovinud lisada Packet Filter'ile mitmeid lisavõimalusi, mis muudaksid seadistamise ning haldamise lihtsamaks, siinkohal on välja toodud lühike ülevaade kahest tuntumast lisast.

====Pfw====
[http://www.allard.nu/pfw/ http://www.allard.nu/pfw/]
fw on veebipõhine kasutajaliides Packet Filter tulemüürile, eesmärk on olla sama efektiivne ja kasulik kui PG ning samal ajal pakkuda võimalust tulemüüri läbi veebibrauseri seadistada (lisa 2). Pfw põhineb PHP-l ning toetab perl-i mooduleid, Pfw on tasuta saadaval ning kasutab BSD-litsentsi.

====Pf.vim====
[http://www.vim.org/scripts/script.php?script_id=341 http://www.vim.org/scripts/script.php?script_id=341]
Pf.vim on Vim-i süntaksiskript, mis kohandab Vim-i Packet Filter'i konfiguratsioonifaili pf.conf töötlemiseks, pf.vim oskab pf.conf faili sisu tüübi järgi esile tõsta ning värviliseks muuta, näiteks kõik kehtivad reeglid kuvatakse rohelises kirjas. Pf.Vim süntaksiskripti on loonud Camiel Dobbelaar aastal 2002.

===Praktiline Osa. Tulemüüri seadistamine===

Tulemüür väiksemale võrgule kus lubatakse mõnedele teenustele ligipääs ning tehakse ka NAT'i sisevõrgule

Tulemüüri automaatseks käivitamiseks tuli /etc/rc.conf.local faili lisada rida pf=YES, operatsioonisüsteemi käivitusskriptid laevad sellest failist käivitatavate rakendust nimekirja, tulemüüri saab ka käsitsi käsurealt käivitada.
pfctl -e -f /etc/pf.conf

Selle käsuga käivitatakse tulemüür ja laetakse reeglid /etc/pf.conf failist. Tulemüüri seadistamisel kasutas autor Vim tekstiredaktorit. Reeglid loodi sellised, et sisevõrgus olevatel klientidel on juurdepääs internetile, juurdepääs väljastpoolt sisevõrku puudub ning sisevõrgu kliendid peidetakse ühise IP-aadressi taha, sisevõrgust välja lubati http, https ja pop3 protokollide kasutamine, täielik tabel on toodud välja lisana (lisa 1).
Tulemüüri reeglite kirjutamine :

extIF="rl0"
intIF="xl0"
lubatud="{ 80, 110, 443 }"
'''#Võrguliidestele ning lubatud protokollidele määrati makrod, lihtsustamaks hilisemat pöördumist.'''

set loginterface $extIF
set skip on lo
'''#Lülitati sisse välise liidese logimine ning loopack liidese ignoreerimine.'''

scrub in all
scrub out all
'''#Lülitati sisse kõikide pakettide normaliseerimine.'''

nat on $extIF from !($extIF) -> ($extIF:0)
'''#Lülitati sisse NAT välisel võrguliidesel.'''

block in
pass out keep state
antispoof quick for { lo $intIF }
pass in on $extIF inet proto tcp from any to ($extIF) port $lubatud flags S/SA keep state
'''#Keelati kõik sisenev liiklus peale makros $lubatud kirjeldatud portidelt, lubati võrgust väljuv liiklus ning välistati siseneval liiklusel spoof’imine.'''

pass in inet proto icmp all keep state
pass out inet proto icmp all keep state
'''#Lubatakse võrku sisenevad ja väljuvad pingimised.'''

'''#Lubati väljuv liiklus.'''
pass quick on $intIF

Lisahääletuseks võib seadistada kiire lingi puhul näiteks

set optimization aggressive

Optimizationi muutujaid saab vaadata käsuga pfctl -s timeouts

Aeglasemate ühenduste korral on kasulik agressive asemel seadistada näiteks high-latency

State tabeli vaikimisi suuruseks kus hoitakse kõiki aktiivseid ühendusi on 10000
mis suuremate ühenduste laviiniga võib täis saada kergelt

Keep state peaks tänapäeval pf-i vaikimisi default olema ja kogu filterdamist isegi kiiremaks tegema.

===Ssh läbustajate piiramine===

Vaadates igaöist ebaõnnestunud logimiskatsete arvu võib masinal kus ssh ligipääs
peab olema avatud kogu maailmale avastada halval päevall neid katseid tuhandeid.
Erinevate robotite poolt proovitakse läbi kõikvõimalikke kasutajanimesid ning paroole
milledega üritakse sisse logida. Sageli, paljude kasutajatega serveris, kus kasutajatel võimalus
ise endile lihtsaid paroole seadistada ka õnnestunult. Lisaks on selline täis läbustatud logifail
ebamugav ka debugimisel ning häirib igaöiste raportite lugemist.

Kuidas seda probleemi lahendada? Kõige lihtsam lahendus on tekitada tabel milles olevad
aadressid blokitakse koheselt ning seadistada ssh lubamise reale lisaks maksimaalsed
ühenduste arvud, millede ületamise korral ip aadress koheselt keelatud aadressite teabelisse
lisatakse.

Pf.confi täiendasin järgnevalt:

Tekitasin tabeli jobud
table <jobud> persist

Blokeerisin kõik ühendused sealsetelt aadressidelt
block log quick from <jobud>
Seadistasin limiidid ssh ühendustele milledest alates ip aadress tabelisse lisatakse
pass in on $ext_if proto tcp from any to $ext_if port 22 keep state (max-src-conn 10, max-src-conn-rate 10/5, overload <jobud> flush global)

Vaadates nüüd logist mõnd läbustajat näeme, et üsna peatselt katkes temaga suhtlus

# cat /var/log/auth.log | grep 89.216.115.128
Feb 27 18:32:15 muheleja sshd[64673]: Did not receive identification string from 89.216.115.128
Feb 27 18:37:40 muheleja sshd[65023]: Invalid user PlcmSpIp from 89.216.115.128
Feb 27 18:37:41 muheleja sshd[65025]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:42 muheleja sshd[65027]: Invalid user plcmspip from 89.216.115.128
Feb 27 18:37:44 muheleja sshd[65029]: Invalid user db2inst1 from 89.216.115.128
Feb 27 18:37:46 muheleja sshd[65031]: Invalid user dasusr1 from 89.216.115.128
Feb 27 18:37:47 muheleja sshd[65033]: Invalid user ts from 89.216.115.128
Feb 27 18:37:49 muheleja sshd[65035]: Invalid user TeamSpeak from 89.216.115.128
Feb 27 18:37:51 muheleja sshd[65037]: Invalid user cisco from 89.216.115.128
Feb 27 18:37:52 muheleja sshd[65039]: Invalid user dream from 89.216.115.128
Feb 27 18:37:57 muheleja sshd[65041]: Invalid user spam from 89.216.115.128

Vaatame tabelisse ka

# pfctl -t jobud -T show
No ALTQ support in kernel
ALTQ related functions disabled
89.216.115.128

Tundub, et läbustaja sai edukalt blokeeritud.

Tabeli saab puhastada käsuga

# pfctl -t jobud -T flush
No ALTQ support in kernel
ALTQ related functions disabled
1 addresses deleted.

===IPV6 filtreerimisest===

Kui reeglis ei ole sõna inet, siis käib sama reegel nii ipv4 kui ipv6 kohta. Näiteks need:

block in log quick on $ext_if from <global_deny_in> label "global_deny_in"
block in log quick on $ext_if from any to <server_block_out>
block log on $int_if all label "blocked_kontor"

Aadresside võrdlemine on pf-il loomulikult intelligentne, s.t. ipv4 aadress tähendab ühtlasi ka ipv4 protot.

==Tulemüüri võrguühenduse võimekus==
<pre>
dmesg | less
</pre>
Otsida välja väljad Ethernet kohta. Antud näite puhul ei ole testtulemüüri raud piisav 10Gb jaoks (on pci-e2 x4, oleks vaja pci-e3 x8):

<pre>
ixl0: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd8800000-0xd8ffffff,0xd87f0000-0xd87f7fff irq 40 at device 0.0 on pci4
ixl0: Using MSIX interrupts with 9 vectors
ixl0: f4.22 a1.2 n04.25 e8000143f
ixl0: Using defaults for TSO: 65518/35/2048
ixl0: Ethernet address: 68:05:ca:32:f0:cc
ixl0: PCI Express Bus: Speed 5.0GT/s Width x4
ixl0: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl0: For expected performance a x8 PCIE Gen3 slot is required.

ixl1: <Intel(R) Ethernet Connection XL710 Driver, Version - 1.2.8> mem 0xd9000000-0xd97fffff,0xd87f8000-0xd87fffff irq 40 at device 0.1 on pci4
ixl1: Using MSIX interrupts with 9 vectors
ixl1: f4.22 a1.2 n04.25 e8000143f
ixl1: Using defaults for TSO: 65518/35/2048
ixl1: Ethernet address: 68:05:ca:32:f0:cd
ixl1: PCI Express Bus: Speed 5.0GT/s Width x4
ixl1: PCI-Express bandwidth available for this device
is not sufficient for normal operation.
ixl1: For expected performance a x8 PCIE Gen3 slot is required.
</pre>

===pci-e võimalustest tulenev maksimaalne läbilase===

Testimiseks kasutusel olev pci-e slott võimaldab:

5000MHz * 4bitti / 8 = 2500 MB/s

===Riistvaraliste komponentide mõju===

{|
! style="text-align:left;"| Komponent
! Tähtis
|-
| Emaplaat
| PCI siini laius ja kiirus - kindlasti pci-e, soovituslikult vähemalt pci-e3 x8
|-
| CPU
| CPU kiirus ei ole esmane prioriteet.
|-
| Mälu
| kiirus Mhz, hulk ei ole peale 1-2 GB tähtis, peale 8-16GB üldse määrav
|-
| Võrgukaart
| eraldiseisev või spec. (ei kasuta CPU ressursse oma arvutusteks)
|-
| Hyper Threading
| Maha, tekitab latentsust ja turvariski
|}

====Tulemüüri läbilaske testid====
Testime tulemüüri läbilaset erinevates olukordades, kasutades iperf-i.

Testime erinevate TCP akende suuruste ja samaaegsete ühenduste arvuga 30 sekundise kestvusega, seejärel testime suurema kogumahuga väikeste pakettidega ja siis suurtega.

32KB, 1, 2 ja 4 ühendust.
64KB, 1, 2 ja 4 ühendust.
128KB, 1, 2 ja 4 ühendust.
256KB, 1, 2 ja 4 ühendust.
512KB, 1, 2 ja 4 ühendust.

32, 128 ja 512KB, 1TB kogumahtu, 1 ja 4 ühendust.
Näiteks:
<pre>
iperf -t 30 -c 193.40.54.10 -w 32KB -P 1 -i 1 >> PFtest
</pre>

Tulemusi saab siis lugeda failist PFtest.

===Turva===

====DoS testid====

Smurf attack, mida oma võrgus eriti teha ei taha, kui just osa sellest eraldama ei hakka:
<pre>
hping3 -1 --flood -a VICTIM_IP BROADCAST_ADDRESS
</pre>

DOS Land Attack (SYN flood)
<pre>
hping3 -V -c 1000000 -d 120 -S -w 64 -p 445 -s 445 --flood --rand-source VICTIM_IP
</pre>

====SYN rünnaku ja Portide skänni limiteerimine====
Piirame RST vastused. Vaikimisi on piirang 200 paketti sekundis.
Lisaks on ka võimalus keelata sellekohaste sõnumite näitamine:

<pre>
sysctl net.inet.icmp.icmplim=200
sysctl net.inet.icmp.icmplim_output=0
</pre>

Selgituseks:
<pre>
From blackhole(7):
Code:

Normal behaviour, when a TCP SYN segment is received on a port where
there is no socket accepting connections, is for the system to return a
RST segment, and drop the connection. The connecting system will see
this as a ``Connection refused''. By setting the TCP blackhole MIB to a
numeric value of one, the incoming SYN segment is merely dropped, and no
RST is sent, making the system appear as a blackhole. By setting the MIB
value to two, any segment arriving on a closed port is dropped without
returning a RST. This provides some degree of protection against stealth
port scans.
</pre>

Tore on see, et RST piiratakse juba enne tulemüüri, nii et kui keegi selle rakenduse tasemel pangestab, jääb
piirang ikka peale niikaua, kui tuuma vastavad deemonid töötavad.

SYN rünnakul kolmest masinast, kasutades kahest hping-i ja juurest 24 ping-i instantsi, igaüks spämmides miljonites pinge minimaalse ooteaknaga ei suutnud tulemüüri silmagi pilgutama panna. (~90K paketti sekundis, CPU maksimaalselt 10% load, mälu kasutus ~2G 16-st)

==Lisad==

'''pflog logima faili'''

# grep -i pflog /etc/rc.local
echo -n "pflog -> syslog"
ifconfig pflog0 up
tcpdump -s 96 -l -e -t -i pflog0 | logger -p local0.info -t pf &
# grep -i local0.info /etc/syslog.conf
local0.info /var/log/pflog.txt
local0.info @loghost
# grep -i pflog.txt /etc/newsyslog.conf
/var/log/pflog.txt 600 7 * @T00 Z

'''pf flush kui reeglid untsuläinud'''

Üks võimalus oleks anda käsk

# pfctl -f pf.conf && sleep 60 && pfctl -f pf.conf.safe

See näide pole aga hea kui terminali ühendus mahakukub, sellepuhuks tasuks
pigem kasutada rida

echo "pfctl -d" | at + 5 minutes

Mis lihtsalt disabled pf kõik reelid

'''eemaldab pf tabelist ridu mis liiga vanad'''
http://expiretable.fnord.se/