https://kuutorvaja.eenet.ee/w/api.php?action=feedcontributions&feedformat=atom&user=Jj 2026-04-17T18:16:19Z Kasutaja kaastöö MediaWiki 1.43.6 https://kuutorvaja.eenet.ee/w/index.php?title=Rsync&diff=31019 2021-07-28T12:05:40Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Rsync on vabavara unixi laadsetele op süsteemidele, mis teeb andmete sünkroniseerimese arvutite vahel väga lihtsaks. Rsync kasutab kodeerimist ja ei tekita varundamisel duplikaate, vaid loob viiteid failide vahel, vähendades sedaviisi infomahte ja ka kettakasutust.<br /> <br /> Veebisait http://rsync.samba.org/ ja dokumentatsioon http://www.samba.org/rsync/documentation.html.<br /> <br /> Lihtne näide rsync kasutamisest:<br /> <br /> Sünkroniseerime faili lokaalsest masinast teise nimega host.ee<br /> <br /> rsync fail.laiend kasutaja@host.ee:<br /> <br /> Sünkroniseerime kausta lokaalsest masinast teise<br /> <br /> rsync -a kaust kasutaja@host.ee:<br /> <br /> Rsync toimib ka üle tavalise OpenSSH (Kuid on rohkem koormust tekitav).<br /> <br /> ===Olulisemad võtmed===<br /> <br /> *--archive -a arhiivi võti mida kasutades kindlustatakse kuupäevade õiguste omanike ja linkide säilumine, soovituslik lisada igasuguste sünkroniseerimiste puhul.<br /> *--verbose -v protsessi kohta põhjalikuma info näitamine nt failinimekiri<br /> *--progress ülekande progressi kohta info<br /> *--stats ülevaatlikum statistika kulunud ajast ja failide hulgast<br /> *--compress -z toimub pakkimine enne ülekandmist<br /> *--delete -d sihtkohast kustutatakse algallikas enam mitte eksisteerivad failid<br /> *--exclude &quot;*bak&quot; mingite faililaiendite, failinimede ignoreerimine näiteks avi, mp3 võib määrata ka võtmega --exclude-from faili milles failides või kaustades asjadest mida ei varundata<br /> *--numeric-ids ei üritata failide UID/GID muuta sünkroniseeritava süsteemi kasutajate järgi ja jäetakse need puutumatuna<br /> <br /> Veel mõned erandjuhtudel vajaminevad parameetrid<br /> <br /> *-n Mille korral rsync lihtsalt ütleb mida ta teeks ilma reaalselt faile üle kandmata<br /> *-W Teatab rsyncile kanda üle terve fail selle asemel, et kasutada oma block leveli võrdlemise vahendeid. Kui kasutada on väga kiire võrguühendus võib see võti muuta tööd kiiremaks kuna rsync ei pea faile kontrollima, kasutades rsynci üle interneti on tõenäoliselt seda võtit kasutada ebapraktiline<br /> *-c Käseb genereerida kõigi failide kontrollsummad. Kasutades seda võtit võib rsync muutuda üsnagi aeglaselt seega kasutada vaid tõsise vajaduse korral, näiteks kui kahtlus, et failide info on kuidagi rikutud.<br /> *-z suunab rsynci kasutama zlib pakkimist<br /> *-H, --hard-links Säilita hard lingid, vajalik nt kui ülekantavad andmed varundatud link-dest võtmega<br /> *-i - kui nö tavalise võtmekomplekti '-avH --numeric-ids' puhul ei esitata andmeid kui ainult faili metaandmed muutuvad, nt omanik, siis -i lisamisel esitatakse<br /> *-A --acls säilita acl-id<br /> *-X --xattrs säilitada laiendatud atribuudid<br /> <br /> Lisaks kui rsync teatab file has vanished tähendab seda, et failisüsteemis on sünkroniseerimise ajal tekkinud muudatusi<br /> <br /> Tasub ettevaatlik ning tähelepanelik olla kaika (/) märgi kasutamisega. kui tahad kopeerida kataloogi alla, siis pane teisele argumendile kaigas ja esimesele mitte. <br /> Kui tahad kopeerida kataloogi (/mnt -&gt; /mnt ntx), siis pane esimesele kaigas ja teisele mitte. Kaks näidet kuidas selle asetsemine võib käsu tundmatuseni muuta:<br /> <br /> *--exclude &quot;/foo&quot; <br /> eraldab faili nimega foo kaustas kus hetkel asutakse mida näeb pwd käsuga<br /> <br /> *--exclude &quot;foo/&quot; <br /> eraldab aga kõik kaustad nimega foo<br /> <br /> Võimalus on tekitada ka kausta mida arhiveeritakse fail .rsync-filter sisuga<br /> + *.mbox/***<br /> - *<br /> ja käsuraltuleb lisada -F võti.<br /> <br /> ===rsync server===<br /> <br /> Varundusserverit luues on mõistlik startida seal rsynci deemon, mis võimaldab parooliga ligipääsu lugemiseks/kirjutamiseks teatud kaustadele.<br /> <br /> Seadistusfailiks on rsyncd.conf mis vaikimisi Linuxis /etc/rsyncd.conf ja FreeBSDs /usr/local/etc/rsyncd.conf<br /> <br /> Näidis failist rsyncd.conf:<br /> <br /> uid = root<br /> gid = root<br /> use chroot = no<br /> max connections = 25<br /> log file=/var/log/rsyncd.log<br /> <br /> pid file = /var/run/rsyncd.pid<br /> <br /> [failid]<br /> path = /kus/failid/on<br /> comment = failid<br /> read only = false<br /> <br /> [pildid]<br /> path = /kus/pildid/on<br /> comment = failid<br /> dont compress = *<br /> <br /> NB! Kasutades FreeBSDd tuleb rida &quot;gid = root&quot; asendada reaga &quot;gid = wheel&quot;. read only parameeter on ääretult oluline, kui soovid rsync'ida faile serverisse. Vastasel juhul saad veateate, et &quot;module is read only&quot;.<br /> <br /> Seadistusfail tekitab kaks jaotist:<br /> Failid ja Pildid. Piltidele keelame direktiiviga &quot;dont compress = *&quot; andmevoo pakkimise,<br /> kuna pildid on juba pakitud ning suurt eelist see ei anna. Sama võib teha ka videosid sisaldavate kaustadega.<br /> <br /> Seda meetodit rakendatakse vaikimisi failitüüpidele: *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz<br /> <br /> Logimist võib korraldada ka läbi syslogi'i, kasutades rida:<br /> <br /> syslog facility = local5<br /> <br /> Või lihtsalt lisada syslog.conf'i rea:<br /> <br /> daemon.info /var/log/daemon.log<br /> <br /> Logimisest saab lugeda täpsemalt [http://kuutorvaja.eenet.ee/wiki/Logi sellest palast]. <br /> <br /> Soovides lubada varundamisele kliente ligi vaid kindla parooliga tuleks share teha selliselt:<br /> <br /> [failid]<br /> path = /kus/failid/on<br /> comment = failid<br /> auth users = kasutaja<br /> secrets file = /etc/rsyncd.pass<br /> read only = false<br /> <br /> Tekitame faili /etc/rsyncd.pass sisuga<br /> <br /> kasutaja:salasona<br /> <br /> Pange tähele, et paroolid hoitakse failis tavalise tekstina (plain text). Kindlasti tuleb paika panna paroolifaili õigused (ainult omanikule lugemiseks), vastasel juhul annab rsync veateate ja paroolifaili ignoreeritakse!<br /> <br /> ===rsync klient===<br /> <br /> Ka klient masinas same parooli hoida eraldi failis. Tekitame /etc/rsyncd.pass faili sisuga<br /> <br /> salasona<br /> <br /> Kausta /etc sünkroniseerimiseks varundamise serveriga:<br /> <br /> $ rsync --password-file /etc/rsyncd.pass -a /etc kasutaja@192.168.1.10::failid<br /> <br /> Failide taastamine<br /> <br /> $ rsync --password-file=/etc/rsyncd.pass -a kasutaja@192.168.1.10::failid /tmp/<br /> <br /> ===Tulemüüri seadistamine===<br /> <br /> rsync töötades deemonina kasutab porti tcp 873 <br /> <br /> linux iptablesis saame müüri teha pordi lahti käsuga<br /> <br /> iptables -I INPUT -p tcp -s 192.168.1.10 --dport 873 -j ACCEPT <br /> <br /> FreeBSD packet filteris<br /> <br /> pass in on $ext_if proto tcp from { 192.168.1.10 } to port 873 <br /> <br /> Muidugi võib seadistusfaili kirjutada kohe<br /> <br /> hosts allow = *.host.ee<br /> hosts deny = * <br /> <br /> nüüd võime anda käsu rsync -a kaust kasutaja@server::jaotisenimi<br /> <br /> <br /> $ rsync -a kaust kasutaja@arhiiv.zoo.tartu.ee::failid<br /> <br /> üleslaetud failide nimistut saab<br /> <br /> $ rsync -v --list-only -a root@host.ee::failid<br /> <br /> kui pole öeldud muidugi list = false<br /> <br /> Soovides limiteerida aeglasema kiirusega kohtades rsync kiirust tuleks kasutada rsync omadust --bwlimit=KBPS<br /> <br /> ===Paroolita rsync kasutades ssh kopeerimist===<br /> <br /> Paroolifaili etteandmine ilma rsync serverit kasutamata ei toimi, sellisel juhul tuleks toimida järgnevalt<br /> <br /> Genereerime privaatse ja avaliku võtme, kui parooli ei soovi vajutame lihtsalt enteri<br /> <br /> # '''ssh-keygen -t rsa -b 4096 -f rsync-key'''<br /> Generating public/private rsa key pair.<br /> rsync-key already exists.<br /> Overwrite (y/n)? y<br /> Enter passphrase (empty for no passphrase):<br /> Enter same passphrase again:<br /> Your identification has been saved in rsync-key.<br /> Your public key has been saved in rsync-key.pub.<br /> The key fingerprint is:<br /> e8:c7:f2:f1:da:2a:0f:a4:4f:63:89:9f:3e:9d:b9:87 root@loomaaed.zoo.ee<br /> <br /> Kopeerime rsync-key.pub sisu sihtkoht masinas kasutaja faili .ssh/authorized_keys<br /> <br /> $ scp rsync-key.pub remoteuser@remotehost:/home/remoteuser/ <br /> <br /> Seal masinas anname käsud<br /> <br /> $ cat thishost-rsync-key.pub &gt;&gt; .ssh/authorized_keys <br /> $ chmod 700 .ssh<br /> $ chmod 600 .ssh/authorized_keys<br /> <br /> Testime<br /> <br /> $ ssh -i rsync-key root@192.168.1.10<br /> <br /> ja rsync käsk näeb välja järgnev, ette tuleb anda rsync privaatne võti<br /> <br /> $ rsync -av --delete -e &quot;ssh -i /home/kasutaja/rsync-key&quot; /srv/kauyst root@192.168.1.10:/srv/<br /> <br /> Soovituslik oleks üldiselt kasutada sellistel juhtudel juba rsync serverit.<br /> <br /> ===Snapshot stiilis backup===<br /> <br /> Rsync omab võtit --link-dest mis võimaldab full backupide tegemisel<br /> hoida kokku ruumi. Nimelt võtab rsync siis näiteks eelmise päeva backupi<br /> aluseks ja loob jooksva päeva backup kausta hardlingid failidest mis on juba olemas<br /> ning syncib ainult muutunud failid. Nii on kaustas full backup kuid selle<br /> suuruseks on vaid muutunud failide summa. Nii on võimalik teha paarkümmend full backupi<br /> kuid nende mahuks jääb kokkuvõtteks 1-2 maht.<br /> <br /> [[Pilt:Summary educ4 html 61d7cbef.png]]<br /> <br /> Illustreeriv skeem, võetud lehelt http://web.cs.mun.ca/infrastructure/labnet/summary_educ4.html<br /> <br /> Hardlink on symlingi sarnane. Nad on tavaliselt loodud ln käsuga kuid ilma -s võtmeta. Hard link kujutab<br /> endast seda kui 2 faili viitavad samale inodele ja kettablokile. Erinevalt symlingist pole tegemist eraldi failiga vaid<br /> lihtsalt kahe lingiga samale faili.e Kui kustutada ükskõik kumb viide jääb teine alles ning sisaldab infot.<br /> <br /> Käsu süntaksiks on:<br /> <br /> rsync -avH --link-dest=/backup/eile /root/kaust_mida_varundame /backup/tänane_backup<br /> <br /> Anname rsyncile ette eilse backupi kausta, siis kausta mida soovime varundada ja<br /> kausta kuhu varundada.<br /> <br /> Töö lihtsustamiseks võib luua skripti<br /> <br /> &lt;source lang=bash&gt;<br /> #!/bin/sh<br /> t2na=`date &quot;+%Y%m%d&quot;`<br /> eile=`date -v-1d &quot;+%Y%m%d&quot;`<br /> mkdir /backup/$t2na<br /> rsync -avH --link-dest=/backup/$eile /www/kaust/mida/varundame /backup/$t2na<br /> &lt;/source&gt;<br /> <br /> Ajaformaat tuleb kujul 20120809 ning võti -v-1d lahutab selest maha ühe päeva.<br /> <br /> Loomulikult ei või aga kustutada ühtegi backup kausta kuna sellisel juhul<br /> lähevad hardlingid failide vahel katki.<br /> <br /> Siin on näide skriptist mis salvestab 7 incremental varukoopiat http://www.syrlug.org/contrib/rsync.html<br /> <br /> Juhul kui soovime sälitada vaid 28n päeva andmed siis tulb lisada skripti järgnev osa<br /> <br /> DAY29=`date -v-29d &quot;+%Y%m%d&quot;`<br /> if [ -d /backup/website/$DAY29 ]<br /> then<br /> rm /backup/$DAY29<br /> fi<br /> <br /> Veel juttu rsynciga snapshotide tegemisest aadressidel<br /> <br /> * http://blog.interlinked.org/tutorials/rsync_time_machine.html<br /> <br /> * http://www.mikerubel.org/computers/rsync_snapshots/<br /> <br /> ===Kiiruse limiteerimine===<br /> <br /> Kasutuse all olevates süsteemides võib sünkroniseerides juhtuda, et rsync hakkab liiga ohtralt io/protsessoriaega kulutama ja server muutub selle käigus aeglaseks, selpuhul on kasulik limiteerida kiirust näiteks järgnevalt<br /> <br /> rsync --bwlimit=1000 fail1 fail2<br /> <br /> kiirus tuleb märkida kilobaitides, number näitab täpsemalt mitu kilobaiti sekundus lubatakse saata. Teine hea võimalus on kasutada nice käsku<br /> <br /> ===Sudo kasutamine===<br /> <br /> Vahel pole võimalik root kasuajana logida aga vaja täisõigusi, selleks aitab kui lisada rsyncile võti<br /> <br /> --rsync-path=&quot;sudo rsync&quot;<br /> <br /> Ning /etc/sudoers faili<br /> <br /> username ALL= NOPASSWD:/usr/bin/rsync<br /> <br /> ===Probleemid===<br /> <br /> Ühes servers kippis rsync ikka aegajalt viskama teadet, et ei saa sünkroniseerimist lõpetada.<br /> <br /> Output:<br /> ERROR: out of memory in receive_sums [sender]<br /> rsync error: error allocating core memory buffers (code 22) at util.c(117) [sender=3.0.9]<br /> <br /> Aitas, kui muutsin block-size suurust 1024 pealt ümber:<br /> <br /> --block-size 2048 <br /> <br /> ===Lingid===<br /> <br /> * http://wiki.itcollege.ee/index.php/Rsync<br /> * http://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp rsynci versioon windowsile<br /> <br /> * http://dailycupoftech.com/windows-backup-with-rsync-and-freenas/ veel juttu windowsi peal rsynci kasutamisest<br /> <br /> *http://qtdtools.doering-thomas.de/page.php?seite=0&amp;sub=0&amp;lang=en veel üks windowsi rsynci kasutajaliides<br /> <br /> * https://serverfault.com/questions/746551/faster-rsync-of-huge-directory-which-was-not-changed Väga suure hulga failide varundamine</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Tuum_ja_Baas&diff=31015 2021-04-23T12:38:09Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> '''Tuum ja Baas'''<br /> <br /> Linux distributsioonid, võtame näiteks ühe populaarseima, Debiani (võiksime sama hästi võtta ka OpenSuse, Fedora, Gentoo Linux jms), koosnevad kahest loogilisest üksusest: tuumast ja kasutajamaailmast (kasutajamaailm on kõik utiliidid, seadistusfailid ning kaustad: /bin/sh, ee, cp, mv jne). BSD operatsioonisüsteemid, näiteks FreeBSD, koosnevad kolmest loogilisest üksusest: tuumast, kasutajamaailmast ja kolmandate osapoolte (apache, samba ..) tarkvarast.<br /> <br /> BSD pere operatsioonisüsteemides arendatakse tuuma ja kasutajamaailma koos. Selline tsentraliseeritud arendus- ja ülesehitusmudel tagab mugava dokumenteerimisvõimaluse nii tuumale kui ka “userlandile” korraga. Kogu operatsioonisüsteemi lähtekood on saadav ühest kohast korraga(üle CVS süsteemi).<br /> <br /> Linux'i tuuma ja seda osa mida BSD nimetab kasutajamaailmaks arendatakse eraldi. Distributsioon iseenesest koosneb tuumast ja kõigest muust mida konkreetse distro kokkupanijad oma maitse järgi vajalikuks peab. Kui sulle valmis Linuxi distributsioonid ei istu, paned kokku enda oma: kernel ühest kohast, kõik muu hädavajaliku otsid üle interneti kah ise kokku, iga asi ise kohast.<br /> Paindlik aga aeganõudev, selle pärast eelistataksegi valmis Linux distributsioone.<br /> <br /> Kuna kriitilised BSD operatsioonisüsteemi osad on kokku koondatud ühte kohta, nende arendus toimub juba aastatega väljakujunenud standartite alusel ja on korralikult dokumenteeritud, siis on sellisele süsteemile üsna mugav teha ka turvaauditit. Näiteks OpenBSD, mis on just keskendudnud turvalisusele, auditeerib periooditi nii oma tuuma, kasutajamaailma ja ka kolmandate osapoolte porditud koodi.<br /> <br /> Linux osas tegelevad tuuma ja kasutajamaailma kokku koondamisega distributsiooni koostajad. Linux tuuma arendus on hästi organiseeritud ja ka dokumenteeritud. Kurvem lugu on kasutajamaailmaga - oma distributsiooni RedHat vaevalt lubab algajate kirjutatud utiliite, kuid kogu kasutajamaailm on vaja internetist üles otsida, kontrollida et see oleks uusim, parandatud kood, leida korrektne dokumentatsioon(mis ei ole alati just lihtne). Turvaauditit teha kogu distributsioonile võib olla mõnetigi keerukam kui BSD operatsioonisüsteemide puhul. See selleks.<br /> <br /> BSD pere operatsioonisüsteemide uuendamine on isegi algaja taseme jaoks mugav: CVS serverist lähtekood, vastavalt siis mis versiooni endale soovid, paar tundi kompileerimist ja ongi tuum koos kasutajamaailmaga uuendatud, või uuendad ainult tuuma, vastavalt oma maitsele. Variante ja optimeerimise võimalusi on palju.<br /> <br /> BSD pere operatsioonisüsteemides on tuum koos kasutajamaailmaga(ehk siis operatsioonisüsteemi põhi) eraldatud rangelt kolmandate osapoolte tarkvarast. Näiteks asuvad /bin ja /sbin kataloogides ainult operatsioonisüsteemi failid, kui te soovite oma süsteemi näiteks Apache veebiserverit või KDE töökeskkonda, siis paigaldatakse kõik vajalikud failid väljaspoole süsteemi ala, FreeBSD puhul /usr/local/bin jne, NetBSD kasutajatel /usr/pkg/bin. [[FreeBSD_kataloogistruktuur]] Eraldatud pole mitte ainult binaarfailid vaid ka /etc, /share /var jne.<br /> <br /> Linux'i distributsioonide uuendamine toimub vastavalt igale distrole erinevalt, Gentoo eelistab enamjaolt kõike ise kompileerida, RedHat, Suse, Debian pakuvad juba valmis binaarkujul pakke kuid igaühe uuendamissüsteem on küllaltki omalaadne ja distrode vahel liikumine nõuab mõningat harjumist. Vanemad RedHat Linux'i kasutajad mäletavad veel ehk kunagist “rpm hell'i”.<br /> <br /> ===FreeBSD uuendamine===<br /> <br /> FreeBSD uuendamiseks tuleb uuesti kompileerida kokku nii baas kui tuum. Sourcest<br /> saab tõmmata lihtsate vahenditega nii kõige viimase release kui ka veel arenduses<br /> olevaid versioone. FreeBSD võimaldab ka käigult kompileerida näiteks FreeBSD versioo 6<br /> ümber versioon 7'meks. Ei tasuks ainult uuendamisel ühte versiooni vahele jätta näiteks<br /> üritada versioon 4 kompileerida kohe versiooniks 7 vaid esimesena versiooniks 5 ja siis 6 ning seejärel 7 alles. Sellise uuendamise teeb võimalikuks see ,et kõik kolmanda<br /> osapoole tarkvara paigaldatakse kausta /usr/local ja baas ning kernel<br /> on monoliitne ühtne bsd arendusmeeskonna poolt loodav. Selline võimalus teeb lihtsaks<br /> FreeBSD käigupealt uuendamise.<br /> <br /> FreeBSD uuendamine koosneb järgnevatest sammudest<br /> <br /> # Algkoodi hankimine<br /> # Vajaduse korral tuuma seadistamine ning tuuma &amp; baassüsteemi algkoodist kompileerimine<br /> # Tuuma ja baassüsteemi paigaldamine ning konfiguratsioonifailide uuendamine<br /> <br /> ===Koodi hankimine Subversioniga===<br /> <br /> Uuemal ajal on cvs FreeBSDst välja heidetud ja asendatud subversioniga.<br /> <br /> '''TODO vajab testimist'''<br /> <br /> Uuemates FreeBSD versioonides on olemas svnlite käsk, pisut vanemates tuleb subversion käsitsi paigaldada<br /> <br /> Subversioni paigaldamine<br /> <br /> # pkg_add -r subversion<br /> <br /> devel/subversion tuleb ehitada kas NEONi või selle puudumisel SERFiga. Ilma<br /> hakkab teatama Unrecognized URL scheme 'http://' <br /> <br /> Algkoodi alla tõmbamine<br /> <br /> # cd /usr<br /> # svn co https://svn.freebsd.org/base/stable/9 /usr/src<br /> <br /> Edaspidi piisab stable-9 viimase koodi allatõmbamiseks<br /> <br /> # cd /usr/src<br /> # svn update<br /> <br /> viimase aja valguses siis juba release-11.4 või 12.2<br /> <br /> svn checkout https://svn.freebsd.org/base/releng/11.4 /usr/src<br /> svn co https://svn.freebsd.org/base/stable/11 /usr/src<br /> <br /> Ning httpsi asemel võib öelda ka svn Või veel täpsemaks release seadistuseks https://svn.freebsd.org/base/releng/8.4<br /> <br /> Juhul kui vaja kasutada proxyt tuleb muuta enda kasutaja kaustas '''~/.subversion/servers''' faili<br /> <br /> [global]<br /> http-proxy-host = ip.add.re.ss<br /> http-proxy-port = 3128<br /> http-proxy-compression = no<br /> <br /> Kui aga juurkataloog on liiga väike võib lasta failid kompileerimisel seadistada teisele kettale<br /> <br /> # env MAKEOBJDIRPREFIX=/db/obj/ make buildworld<br /> <br /> *http://www.freebsd.org/doc/handbook/svn-mirrors.html Mirrorite nimekiri<br /> <br /> *https://www.freebsd.org/doc/handbook/svn.html<br /> <br /> ===Koodi hankimine CVSiga (vanem ja enam mitte toetatud lahendus)===<br /> <br /> Esmalt on vaja leida üks kiire lähedalasuv CVD serverit kust algkood hankida. Eestis on võimalik kasutada näiteks ametlikku mirrorit: cvsup.ee.FreeBSD.org või mitteametlikku cvsup.eenet.ee. CVS serverite täielikku nimekirja näeb lingilt http://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/cvsup.html. Endale lähima ja kiireima cvs serveri leidmiseks võib kasutada ka tarkvara nimega '''fastest_cvsup''', seda saab paigaldada nii portsust kui paketist ning käivitamine käib käsuga <br /> <br /> # fastest_cvsup -c all<br /> <br /> Selle väljund näeb välja midagi sarnast<br /> <br /> - 1st: cvsup2.ee.freebsd.org<br /> - 2nd: cvsup.ee.freebsd.org<br /> - 3rd: cvsup.lv.freebsd.org<br /> <br /> Ehk kõige kiirem on cvsup2.ee, teisel kohal cvsup.ee ja kolmandal kohal Läti mirror.<br /> <br /> Olles leidnud sobiva CVS algkoodi serveri aadressi tuleb luua CVS seadistusfail mille alusel koodi tõmbame. Faili nimi pole poluline. Näiteks tekitame ta hetkel 8-sup nimega ja kirjutame sinna sisse oma lemmik tekstiredaktoriga järgmise sisu. Faili asukoht süsteemis pole oluline, võime nt paigaldada selle administraatori kodukausta.<br /> <br /> *default host='''cvsup.eenet.ee'''<br /> *default base=/var/db<br /> *default prefix=/usr<br /> *default release=cvs tag='''RELENG_8'''<br /> src-all<br /> <br /> Selline seadistusfail võtab ühendust cvsup.eenet.ee serveriga, pakib portsud lahti /usr harusse jing<br /> tõmbab alla FreeBSD 8 kõige uuema STABLE haru algkoodi (src-all)<br /> <br /> Koodi tõmbamise alustamiseks tuleb kasutada käsku csup (FreeBSD 6x, 7x, 8x sees on see vaikimisi olemas, vanemates versioonides tuleb paigaldada pakett cvsup-without-gui).<br /> <br /> # csup 8-sup<br /> <br /> Cvs võimaldab hankida ka mingit teatud ajahetke BSD versiooni. Näiteks lisades<br /> cvs faili 8-sup rea<br /> <br /> *default date=2006.10.10.00.00.00<br /> <br /> Mis tõmbab algkoodi sellisel kujul nagu ta oli 2006.10.10 kuupäeval. Selliselt on võimalik ajas tagasi liigutada ka portsude puud, uuendada oleks mõistlik seejuures kogu portsude puu mitte vaid mõni selle haru.<br /> <br /> Kui on huvi kasutada kõige uuemat mitte releaseks või isegi mitte stableks tunnistatud FreBSD'd milleks näiteks hetkel on versioon 9 siis tuleks määrata seadistusfailis '''*default tag=.'''<br /> <br /> ===Tuum===<br /> <br /> Operatsioonisüsteemi tuum laetakse mällu peale arvuti käivitamist esimesena ning tema ülesanne on vahendada füüsilisi seadmeid operatsioonisüsteemi programmidele. <br /> <br /> Vajadus uue tuuma järele tekib tavaliselt siis, kui <br /> <br /> * soovite uuendada enda FreeBSD versiooni<br /> * soovite eemaldada või lisada olemasolevasse tuuma mõne seadme toetust, näiteks PS2 hiirt <br /> * soovite eemaldada või lisada tuuma teatud funktsioone, näiteks toetust IP pakettide filtreerimiseks <br /> <br /> FreeBSD tuuma juurde kuuluvad samuti moodulid mis vaikimisi tekitatakse igakordsel tuuma paigaldamisel kataloogi /modules. <br /> <br /> ====Tuuma konfigureerimine====<br /> <br /> '''NB!''' Kui eesmärgiks on vaid FreeBSD tuuma ehk Linuxi keeles kerneli versiooni uuendamine siis võib järgneva tekstilõigu rahulikult vahele jätta. <br /> <br /> Tasub siiski tähele panna, et üldiselt on konfigureeritud tuumal mitmeid eeliseid vaikeseaditustega GENERIC ees. Alglaadimine toimub kiiremalt. Kuna kernel otsib ainult riistvara, mis sul masinas ka tegelikult olemas on, võtab süsteemi alglaadimine tunduvalt vähem aega. Väiksem mälukasutus. Kohandatud kernel kasutab tihtipeale vähem mälu kui GENERIC-kernel ja see on tähtis, kuna kernel on protsess, mis peab alati reaalses mälus olema. Sellel põhjusel on kohandatud kerneli kasutamine eriti kasulik vähese RAM-iga süsteemi puhul. Lisanduv riistvaratugi. Kohandatud kernelisse saad lisada toe näiteks helikaartidele, mida GENERIC-kernelis pole.<br /> <br /> Enne lähtetekstidest tuuma kompileerimist peab näitama, milliste kohandatud omadustega tulemust soovitakse saada. Kerneli sedadistamist tehakse kerneli seadistusfaili redigeerides, mingit Linuxi menuconfig laadset käsurea tarkvara selleks pole. Kerneli default seadistusfail asub kaustas /usr/src/sys/'''arhidektuurinimi'''/conf nimega GENERIC (kus paikneb kerneli seadistuste fail) ja compile (see on kataloog, kuhu kernel ehitatakse). arhitektuur tähistab sinu arvuti arhitektuuri, näiteks i386, alpha või pc98 (alternatiivne PC arendusharu, mis on populaarne Jaapanis). Kõik, mis on konkreetse arhitektuuri kataloogi all, on antud arhitektuurile spetsiifiline. Kogu ülejäänud kood on kõikidele platformidele, millele FreeBSD võidakse portida, ühine.<br /> <br /> näiteks 64 bitine kernelifaili täisrada oleks<br /> <br /> /usr/src/sys/amd64/conf/GENERIC<br /> <br /> Soovides seda faili nüüd muuta sisenege kataloogi /usr/src/sys/amd64/conf ning kopeerige meelepärase nime alla tuuma näidiskonfiguratsioonifail GENERIC <br /> <br /> # cp GENERIC TUUM1<br /> <br /> Tuuma nimi kirjutatakse traditsiooniliselt suurte tähtedega. Tuuma konfiguratsioonifaili süntaks on traditsiooniline, trellist (#) paremale jäävat teksti ja tühje ridu ignoreeritakse. Teistel ridadel on parameetrid ja nende väärtused süstaksiga <br /> parameeter väärtus1 [väärtus2]<br /> <br /> näiteks selline rida konfigureerib tuuma ISO9660 standardile vastavate CD-plaatide lugemise toetuse <br /> options CD9660<br /> <br /> aga rida<br /> options SMP <br /> <br /> lisab mitmeprotsessori toe<br /> <br /> Võrguseadme kasutamiseks tuleb tuuma konfiguratsioonis näidata, millise seadmega on tegemist, näiteks 3Comi PCI etherneti võrgukaardi mudel 3C950 jaoks on rida <br /> <br /> device vx # 3Com 3c590, 3c595 (``Vortex'')<br /> <br /> ning arvuti algkäivitamisel sobiva tuumaga ilmub dmesgi sarnane tekst <br /> vx0: &lt;3COM 3C590 Etherlink III PCI&gt; port 0xa800-0xa81f irq 10 at device 10.0 on pci0<br /> vx0: supplying EUI64: 00:a0:24:ff:fe:75:43:6e<br /> vx0: driver is using old-style compatability shims<br /> vx0: starting DAD for fe80:0001::02a0:24ff:fe75:436e<br /> vx0: DAD complete for fe80:0001::02a0:24ff:fe75:436e - no duplicates found<br /> <br /> Samas kataloogis asuv fail NOTES sisaldab kõikvõimalikke parameetreid koos kommentaaridega. Kindlasti tasub seda faili uurida ,et paremini mõista mis rida teeb mida ja ei saaks kogematta midagi väga vajalikku välja visatud näiteks klaviatuuri tugi või midagi hullemat<br /> <br /> ====Tuuma kompileermine ja paigaldamine====<br /> <br /> Kompileerimiseks tuleb liikuda kaustapuus '''/usr/src'' alla ja anda käsk<br /> <br /> # make buildkernel<br /> <br /> Kui see käsk on oma töö edukalt lõpetanud võib kohe ka tuuma paigaldada käsuga<br /> <br /> # make installkernel<br /> <br /> Juhul kui te tegite eelneva peatüki eeskujul tuuma konfiguratsioonifailis mingeid muudatusi tuleb need käsud anda '''KERNCONF=TUUM1''' võtmega kujul näitks '''make buildkernel KERNCONF=TUUM1''' ja '''make installkernel KERNCONF=TUUM1'''.<br /> <br /> ====Probleemide esinemisel====<br /> <br /> Kui uus tuum mingil põhjusel ei sobi. Näiteks ei sisalda vajalikku draiverit või lihtsalt ei käivitu saab startida süsteemi uuesti vanalt.<br /> <br /> Nimelt olles installeerinud uue kerneli jäetakse ka eelmine kernel nime alla /kernel.old alles. Vana saate kasutada katkestades bootimise ja andes käsu <br /> config&gt; boot /kernel.old <br /> <br /> Samas kirjutatakse kernel.old igakord uuesti yle nii ,et tasuks siiski teha erineva nimealla eelnevast kernelist varukoopja<br /> <br /> # cd /boot<br /> # cp -r kernel.old kernel.generic<br /> <br /> Ning boodil tuleb anda käsud.<br /> <br /> unload<br /> config&gt;boot /boot/kernel.generic/kernel<br /> <br /> Kui aga käsu täitmisel teatatakse, et ruumi napib (vaikimisi tehtud juur partitsioon liiga väike juhtunud) tuleb raske südamega kustutada vana kernel rm -rf /boot/kernel.old<br /> <br /> ===Baas süsteemi kompileerimine ja paigaldamine===<br /> <br /> Kui tuum on paigas tuleks kokku panna ka uus userland, ehk siis baas süsteem kus asuvad<br /> kõik töövahendid ning failid<br /> <br /> Selleks siseneda kausta '''/usr/src''' ja anda käsud<br /> <br /> # make buildworld<br /> <br /> Mis kompileerib eelnevalt allatõmmatud algkoodis baasi kokku. Kui need käsud läksid veatult läbi siis<br /> <br /> # make installworld<br /> <br /> Mis asendab kokku kompileeritud failidega hetkel kasutuses olevad<br /> <br /> Aravatavasti tasub järgnevalt kontrollida põhimõttelisi muudatusi süsteemses seadistuses <br /> <br /> # mergemaster<br /> <br /> Käsu väljundit ja küsimusi tuleks hoolikalt jälgida sest mergemaster<br /> võib tahta kirjutada üle faile nt master.passwd etc milledes võib leiduda väärtuslikke seadistusi mida me ei soovi kaotada.<br /> <br /> Lihtsustada võivad aidata protsessi mõned võtmed:<br /> <br /> # mergemaster -F If the files differ only by VCS Id ($FreeBSD) install the new file.<br /> # mergemaster -U Attempt to auto upgrade files that have not been user modified.<br /> <br /> Viimaseks sammuks on algkäivitus, peale seda on juba kasutusel uus FreeBSD versioon<br /> <br /> ===Täpsem häälestamine===<br /> <br /> /etc/src.conf faili abil on võimalik häälestada kuidas ja mis komponentidest süsteem kokku pannakse. Järgnevalt<br /> mõned võimalikud väärtused milleta võib süsteemi kokku meisterdada. Rohkem infot annab man src.conf<br /> <br /> #WITHOUT_ACPI= true # do not build acpiconf(8) and related programs<br /> WITHOUT_BOOT= true # do not build boot blocks and loader<br /> WITHOUT_BLUETOOTH= true # do not build Bluetooth related stuff<br /> WITHOUT_FORTRAN= true # do not build g77 and related libraries<br /> WITHOUT_GDB= true # do not build GDB<br /> WITHOUT_GPIB= true # do not build GPIB support<br /> WITHOUT_I4B= true # do not build isdn4bsd package<br /> WITHOUT_IPFILTER= true # do not build IP Filter package<br /> WITHOUT_PF= true # do not build PF firewall package<br /> WITHOUT_AUTHPF= true # do not build and install authpf (setuid/gid)<br /> #WITHOUT_KERBEROS= true # do not build and install Kerberos 5 (KTH Heimdal)<br /> WITHOUT_LPR= true # do not build lpr and related programs<br /> WITHOUT_MAILWRAPPER=true # do not build the mailwrapper(8) MTA selector<br /> WITHOUT_MODULES= true # do not build modules with the kernel<br /> WITHOUT_SHAREDOCS= true # do not build the 4.4BSD legacy docs<br /> WITHOUT_NETCAT= true # do not build netcat<br /> #WITHOUT_NIS= true # do not build NIS support and related programs<br /> WITHOUT_SENDMAIL= true # do not build sendmail and related programs<br /> #WITHOUT_USB= true # do not build usbd(8) and related programs<br /> WITHOUT_VINUM= true # do not build Vinum utilities<br /> WITHOUT_ATM= true # do not build ATM related programs and libraries<br /> #WITHOUT_CRYPT= true # do not build any crypto code<br /> WITHOUT_GAMES= true # do not build games (games/ subdir)<br /> #WITHOUT_INFO= true # do not make or install info files<br /> WITHOUT_MAN= true # do not build manual pages<br /> WITHOUT_PROFILE= true # Avoid compiling profiled libraries<br /> <br /> # BIND OPTIONS<br /> WITHOUT_BIND= true # Do not build any part of BIND<br /> WITHOUT_BIND_DNSSEC= true # Do not build dnssec-keygen, dnssec-signzone<br /> WITHOUT_BIND_ETC= true # Do not install files to /etc/namedb<br /> #WITHOUT_BIND_LIBS_LWRES= true # Do not install the lwres library<br /> WITHOUT_BIND_MTREE= true # Do not run mtree to create chroot directories<br /> WITHOUT_BIND_NAMED= true # Do not build named, rndc, lwresd, etc.<br /> <br /> NB! see mõjutab peamiselt ainult installworldi, kompileeritakse kokku kõik jupid endiselt<br /> <br /> Võimalik on erinevaid konfiguratsioone ühendada külge võtmete abil, näiteks<br /> <br /> # make installworld DESTDIR=&lt;jail mroot&gt; SRCCONF=/root/src.conf.internetz<br /> <br /> ===Tuuma moodulid===<br /> <br /> Tuuma modulaarsuse põhjuseks on see, et parasjagu mitteoluline kood poleks arvuti mällu laetud ja ei raiskaks süsteemi ressurssi. Moodulid asuvad kataloogis /boot/kernel ja nendega manipuleerimine toimub järgmiste programmidega: <br /> <br /> *kldstat - kuvatakse nimekiri kernelisse laetud moodulites <br /> *kldload nimi - moodul laetakse mällu <br /> *kldunload nimi - moodul eemaldatakse mälust<br /> <br /> ===Probleemid===<br /> <br /> Juhul kui kompileerimine jääb mingil arusaamatul põhjusel seisma võib esmalt vaadata, et kas<br /> kasutusel on antud releasest kõige uuem versioon. Nt kui kasutusel 8.1 ning miskipärast läheb 9.2 peale uuendades ehitamine katki võiks uuendada kõigepealt 8.4-stable peale ja alles siis sealt edasi.<br /> <br /> 9.1-RELEASE peal võib uuendamise käigus teatada &quot;ERROR: Required auditdistd user is missing, see /usr/src/UPDATING.&quot;. Mille puhul aitab järgneva käsuga unbound kasutaja loomine<br /> <br /> # pw useradd -n auditdistd -g audit -c &quot;Auditdistd unprivileged user&quot; -d /var/empty -s /usr/sbin/nologin<br /> <br /> Või kurta unbound puudumise üle &quot;ERROR: Required unbound user is missing, see /usr/src/UPDATING.&quot; laheneb taas kasutaja tekitamisega.<br /> <br /> # pw useradd -n unbound -c &quot;Unbound unprivileged user&quot; -d /var/empty -s /usr/sbin/nologin<br /> <br /> Puuduva proxy kasutaja saab lisada<br /> <br /> # pw useradd proxy -u 62 -g proxy -c 'Packet Filter pseudo-user' -d /nonexistent -s /usr/sbin/nologin<br /> <br /> Kui 10.0 eelses süsteemis tulevad ehitamisel veateated nagu<br /> <br /> cc1: error: unrecognized command line option &quot;-mno-aes&quot;<br /> <br /> on vaja /etc/make.conf faili lisada<br /> <br /> CC=clang<br /> CXX=clang++<br /> CPP=clang-cpp<br /> <br /> FreeBSD 11.0-RC3 tuli veateade<br /> <br /> # make installworld<br /> <br /> &quot;ERROR-tried-to-rebuild-during-make-install&quot;.<br /> <br /> Sellest saab lahti võtmega<br /> <br /> #make buildworld -DNO_CLEAN&quot;</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Linuxi_j%C3%B5udluse_suurendamine&diff=31013 2021-03-24T10:08:51Z

<p>Jj: </p> <hr /> <div>=== Süsteemi tuunimine===<br /> <br /> Masinatel, kus rakendus avab palju faile ja/või võrguühendusi (näiteks logiserver, DB):<br /> $ ulimit -n<br /> 65535<br /> <br /> Vaikimisi 1024.<br /> <br /> Järgnev on parema võrgukiiruse saavutamiseks juhul kus mõlemad pooled on gigabiti otsas. Mõju on kohati päris suur, näiteks<br /> testi puhul kasvas kiirus 500Mbit/s -&gt; 750 MBit/s<br /> võrreldes vaikeväärtustega.<br /> <br /> TCP akna mõõdud. Normaaljuhul ei tohiks min väärtust nii suureks keerata<br /> (default on 4k) ja max väärtuse veel suuremaks ajamisest pole minu katsetuste põhjal kasu. Ühest küljest konservatiivne ja teisest küljest<br /> mitteahistav valik võiks olla 4k &lt;midagi&gt; 2M.<br /> net.ipv4.tcp_rmem = 131072 1048576 2097152<br /> net.ipv4.tcp_wmem = 131072 1048576 2097152<br /> net.core.rmem_default = 1048576<br /> net.core.wmem_default = 1048576<br /> net.core.rmem_max = 2097152<br /> net.core.wmem_max = 2097152<br /> <br /> Liskas tasub disableda slow-start, et võrgust maksimum välja pigistada:<br /> <br /> net.ipv4.tcp_slow_start_after_idle = 0<br /> <br /> Vastuvõtva järjekorra suurus (saatmisjärjekord seevastu peaks olema<br /> lühike, seal on liigne puhverdamine kahjulik)<br /> net.core.netdev_max_backlog = 10000<br /> <br /> Need on jällegi gigabitist maksimumi pigistamiseks, tavaolukorras las<br /> jäävad pigem sisselülitatuks.<br /> net.ipv4.tcp_timestamps = 0<br /> net.ipv4.tcp_dsack = 0<br /> net.ipv4.tcp_sack = 0<br /> Serveri moodi masinatel - määrab ära ootel ühenduste max arvu:<br /> net.core.somaxconn = 1024<br /> net.ipv4.tcp_max_syn_backlog = 8096<br /> Vaikimisi 128.<br /> <br /> Masinatel mis teevad palju ühendusi väljapoole (ntx vpn hub, load balancer):<br /> net.ipv4.tcp_tw_reuse = 1<br /> net.ipv4.ip_local_port_range = 10240 65535<br /> <br /> Vaikimisi &quot;2&quot; ja &quot;32768 60999&quot;.<br /> <br /> Serveri puhul on suure ühenduste arvu teenindamiseks vaja suuremaks<br /> keerata järgmisi asju:<br /> fs.file-max<br /> net.ipv4.tcp_max_orphans<br /> net.ipv4.tcp_max_tw_buckets<br /> Sõltuvalt masinast<br /> net.ipv4.tcp_mem<br /> Ja kui iptablesi reeglid on conntracki käima tõmmanud siis ka<br /> net.netfilter.nf_conntrack_max<br /> <br /> Lisaks veel, interruptide sidumise konkreetse tuuma külge teeb<br /> tavaliselt ära irqbalance, ise kruvimise huvi korral saab seda /proc/irq<br /> kaudu. Protsesside sidumiseks tuumaga on käsud taskset ja schedtool --<br /> viimane oskab ka palju muud huvitavat.<br /> <br /> http://www.twam.info/linux/changing-scheduling-parameters-in-linux<br /> <br /> The default is to run a process on all CPUs, giving a mask of<br /> <br /> 0xf for all 4 CPUs<br /> 0xff for all 8 CPUs<br /> <br /> # schedtool -a 0xff &lt;PID&gt;<br /> # schedtool -a 0xff -e /path/to/app arg1 arg2 argN<br /> <br /> [[Pilt:Tcp2 0110.gif]]<br /> <br /> SYN floodi vastu kaitseb sysctl muutja<br /> <br /> net.ipv4.tcp_syncookies = 1<br /> <br /> Lahendus toimib selliselt, et kernel küll võtab SYN paketi vastu, kuid registreerib selle esialgu<br /> enda oma puhvris (syncache) ning ootab kuni ühenduse loomine on kliendi poolt korrektselt lõpuni viidud.<br /> Sedamoodi püsivad võrgupuhvrid tühjad ja võtavad vähem resrusse näiteks SYN Flood korral.<br /> <br /> Lisaks tasub suurendada ka SYN backlogi suurust (vaikimisi 1024)<br /> <br /> Sissetulevad ühendused, mida pole veel teenindada jõutud.<br /> <br /> sysctl -w net.ipv4.tcp_max_syn_backlog=2048<br /> <br /> Vaatamiseks ja debugimiseks sobivad käsud<br /> <br /> # netstat -tuna | grep :80 | grep SYN_RECV<br /> <br /> # netstat -ant | grep 80 | awk '{print $6}' | sort | uniq -c | sort -n<br /> 1 CLOSE_WAIT<br /> 1 LISTEN<br /> 10 FIN_WAIT1<br /> 12 LAST_ACK<br /> 25 SYN_RECV<br /> 102 FIN_WAIT2<br /> 106 ESTABLISHED<br /> 1536 TIME_WAIT<br /> <br /> After you do the above, SYN Flood attacks will continue, but it will not affect the server negatively. You will see a message like this in your logs:<br /> <br /> [1116377.589736] possible SYN flooding on port 80. Sending cookies.<br /> [1116439.567828] possible SYN flooding on port 80. Sending cookies.<br /> [1116500.631623] possible SYN flooding on port 80. Sending cookies.<br /> <br /> ===Lingid===<br /> <br /> http://en.wikipedia.org/wiki/SYN_flood<br /> <br /> https://www.slideshare.net/brendangregg/how-netflix-tunes-ec2-instances-for-performance</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Docker&diff=31012 2021-03-24T09:56:29Z

<p>Jj: /* Konteinerite loomine docker-compose abil */</p> <hr /> <div>{{Täienda}}<br /> <br /> ===Sissejuhatus===<br /> <br /> Dockeri töid lihusustav põhimõte seisneb selles, et kõik lib-id ja programmid ning utikad on ühes isoleeritud ja kergelt paidaldatavas konteineris koos. Konteinereid võib hankida võrgust dockeri enda lehelt või siis koostada ja genereerida neid ise. Docker teeb arenduse lihtsamaks, sest pole vaja mässata keerukate serverikonfide ja seal tekkivate konfliktidega, üritades panna sama tarkvara (nt php või ka mysqli või postgresi) mitut eri versiooni korraga tööle. Soovides dockeriga käivitada enda rakenduse jaoks kolm eri php versiooniga serverit tuleb lihtsalt tõmmata kolm eri php versiooni ja apache serverit sisaldavat konteineri img-d ning nad süsteemis käivitada. Käivitamisel saab öelda igale konteinerile isikliku tööpordi ja kausta, mis nad külge haagivad. Kaust võib seejuures asuda /home või /srv all, kus rakenduse kood asub. Aga koodi võib vajadusel ka kohe konteineri loomisel sinna sisse integreerida. Samamoodi on konteineriseeritavad kõikvõimalikud muud rakendused alates rubyst kuni pythoni ja nodejsini. Samu konteinereid saab kasutada ka teistes süsteemides näiteks läpakas, tööarvutis või kliendi juures asuvas serveris.<br /> <br /> ===Paigaldus ubuntus/debianis===<br /> <br /> Dockeri paigaldamiseks ubuntu/debiani serveris installime kõigepealt vajalikud sõltuvused<br /> <br /> apt-get install \<br /> apt-transport-https \<br /> ca-certificates \<br /> curl \<br /> gnupg2 \<br /> software-properties-common<br /> <br /> Lisame apti võtme<br /> <br /> # curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add -<br /> <br /> Apti repositooriumi<br /> <br /> sudo add-apt-repository \<br /> &quot;deb [arch=amd64] https://download.docker.com/linux/debian \<br /> $(lsb_release -cs) \<br /> stable&quot;<br /> <br /> Uuendame uute allikate vastu<br /> <br /> # apt-get update<br /> <br /> Ja paneme dockeri peale<br /> <br /> # apt-get install docker-ce<br /> <br /> ===Paigaldus Centosis===<br /> <br /> Paigaldame repo<br /> <br /> # sudo yum-config-manager \<br /> --add-repo \<br /> https://download.docker.com/linux/centos/docker-ce.repo <br /> <br /> Paigaldame dockeri ja vajalikud lisavahendid<br /> <br /> yum install docker-ce docker-ce-cli containerd.io <br /> <br /> Paneme dockeri tööle ja lubame tal restardi järel käivituda<br /> <br /> # systemctl start docker<br /> # systemctl enable docker<br /> <br /> Selleks, et docker saadaks kogu enda logi journald peale<br /> <br /> cat &lt;&lt; 'EOF' &gt;/etc/docker/daemon.json<br /> {<br /> &quot;log-driver&quot;: &quot;journald&quot;,<br /> }<br /> EOF<br /> <br /> ===Konteinerite kasutamine===<br /> <br /> Dockeri üheks oluliseks tugevuseks on see, et nende poolt on pakkuda juba tuhandeid eelkonfigureeritud konteinerite tõmmiseid, millede abil saab hakata kohe erinevaid rakendusi ehitama.<br /> Laadime näiteks alustamiseks alla konteineris kasutamiseks mõeldud kergekaalulise ja ilma lisatarkvarata ubuntu konteineri img<br /> <br /> # docker pull ubuntu<br /> <br /> Peale tõmbamise lõpetamist paigaldatakse see images alla, näha saame seda järgneva käsuga<br /> <br /> # docker images<br /> REPOSITORY TAG IMAGE ID CREATED SIZE<br /> ubuntu latest 113a43faa138 2 weeks ago 81.2MB<br /> <br /> Saame näiteks selle sees oleva bashi käivitada ja käsureal ringi vaadata või sinna täiendavaid pakette paigaldada. Vaikimisi on tegemist väga minimaalse keskkonnaga<br /> <br /> # docker run -t -i ubuntu:latest /bin/bash<br /> <br /> Tõmmata saab ka juba eelkonfigureeritud tarkvaraga dockeri konteinereid. Näiteks tõmbame mysql serveri ja paneme selle käima<br /> <br /> docker pull mysql<br /> docker run -d --name=mysql1 -e MYSQL_ROOT_PASSWORD=’mypassword’ -v /storage/mysql1/mysql-datadir:/var/lib/mysql mysql<br /> <br /> Tähele tasub panna, et vahel võib võtta teenustel konteineri sees käimaminek aega, kuni tekitavad vajalikud failid ja andmebaasid jne. Lisaks saab tõmmata ka kindlaid mysql versioone<br /> <br /> docker pull mysql:5.6<br /> <br /> Sama on PHPga, näiteks võime sama rakenduse kausta /srv/docker/php-test1 peale käivitada kaks eri php versiooniga apache serverit<br /> <br /> Käivitame esimese php7-mega<br /> <br /> # docker run -d --name=php-test1 --publish 8080:80/tcp --volume /srv/docker/php-test1:/app webdevops/php-apache:ubuntu-18.04<br /> <br /> Ja teise php 5.6<br /> <br /> # docker run -d --name=php-test5 --publish 8081:80/tcp --volume /srv/docker/php-test1:/app webdevops/php-apache:debian-8<br /> <br /> Mõlemad serverid on nähtavad aadressilt<br /> <br /> http://localhost:8080/<br /> <br /> ja<br /> <br /> http://localhost:8081/<br /> <br /> Töötamas näeme neid järgnevalt<br /> <br /> # docker ps<br /> CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES<br /> ab8b5eec1efc webdevops/php-apache:debian-8 &quot;/entrypoint supervi…&quot; 13 seconds ago Up 11 seconds 443/tcp, 9000/tcp, 0.0.0.0:8081-&gt;80/tcp php-test52<br /> bc16f9feb4e webdevops/php-apache:ubuntu-18.04 &quot;/entrypoint supervi…&quot; About an hour ago Up About an hour 443/tcp, 9000/tcp, 0.0.0.0:8080-&gt;80/tcp php-test2<br /> <br /> Seisata saame käsuga<br /> <br /> # docker stop ab8b5eec1efc<br /> <br /> Ja uuesti käivitada<br /> <br /> # docker start ab8b5eec1efc<br /> <br /> Konteineri logisid näeb konteineri ID alusel, nt<br /> <br /> # docker logs 3b8a054c778d<br /> <br /> Logid esitatakse lakooniliselt näidates vaid olulisemaid vigu, nt stiilis<br /> <br /> Warning: mysqli::__construct(): (HY000/1045): Access denied for user 'wordpress'@'172.18.0.3' (using password: YES) in Standard input code on line 22<br /> MySQL Connection Error: (1045) Access denied for user 'wordpress'@'172.18.0.3' (using password: YES)<br /> <br /> Selleks, et logida töötavasse konteinerisse<br /> <br /> # docker exec -i -t 234545klksd1 bash<br /> <br /> Olemas on ka palju keerukamaid dockeri konteinereid. Näiteks konfigureeritud ja valmis LAMPi saab https://github.com/fauria/docker-lamp.<br /> <br /> Mysqli, nt kindla mariadb versiooni 10.3 paigaldamiseks<br /> <br /> # docker run --name some-mariadb -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mariadb:10.3 --publish 3306:3307/tcp -v /srv/mariadb103:/var/lib/mysql<br /> <br /> Kõikide dockeri konteinerite eemaldamiseks<br /> <br /> # docker rm $(docker ps -a -q)<br /> <br /> Kõikide dockeri img-de eemaldamiseks<br /> <br /> # docker rmi $(docker images -a -q)<br /> <br /> Ning volumete kustutamiseks<br /> <br /> # docker volume rm $(docker volume ls)<br /> <br /> Skripti jaoks mis kustutab regulaarselt liiga vanu imageid võib kasutada järgnevat käsku<br /> <br /> # docker image prune --all -f --filter until=24h<br /> <br /> ===Omaenda konteineri loomine===<br /> <br /> Konteineri loomine toimub failis Dockerfile olevate käsurea käskude alusel. Näiteks tekitame lihtsa konfi, mis tekitab meile eelmises lõigus allatõmmatud<br /> ubuntu image alusel apache veebiserveri, kus serveerib etteantud index.html faili<br /> <br /> FROM ubuntu:latest<br /> RUN apt-get update &amp;&amp; apt-get install -y apache2<br /> RUN mkdir -p /srv &amp;&amp; rm -fr /var/www/html &amp;&amp; ln -s /srv /var/www/html<br /> EXPOSE 80<br /> ADD index.html /srv/<br /> WORKDIR /srv<br /> ENTRYPOINT [&quot;/usr/sbin/apache2ctl&quot;, &quot;-D&quot;, &quot;FOREGROUND&quot;]<br /> <br /> Käsud lahtiseletatult:<br /> <br /> * FROM seadistab ära mis imaget me aluseks kasutame<br /> * RUN võimaldab käivitada enda järele kirjutatud käske<br /> * EXPOSE teeb pordi 80 meile nähtavaks<br /> * WORKDIR määrab kasutaja kataloogi<br /> * ADD kopeerib varemalt tekitatud index.html faili /srv kausta<br /> * ENTRYPOINT seadistab ära teenuse, mis konteineris tööle läheb<br /> <br /> Ehitame loodud konfi alusel konteineri valmis, selleks anname samas kaustas kus dockerfail järgneva käsu<br /> <br /> docker build -t test:test .<br /> <br /> Kui protsess lõppes peaksime seda ka images alt nägema<br /> <br /> # '''docker images'''<br /> REPOSITORY TAG IMAGE ID CREATED SIZE<br /> test test 364cac645fcc 2 minutes ago 223MB<br /> ubuntu latest 113a43faa138 2 weeks ago 81.2MB<br /> <br /> Paneme konteineri tööle<br /> <br /> # docker run -d -P test:test<br /> <br /> Töötavaid konteinereid näeme järgnevalt<br /> <br /> # '''docker ps'''<br /> CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES<br /> 5b9850b98a29 test:test &quot;/usr/sbin/apache2ct…&quot; 12 seconds ago Up 11 seconds 0.0.0.0:32770-&gt;80/tcp sleepy_carson<br /> <br /> Nagu näha on localhosti port 32770 suunatud konteineris 80 pordile.<br /> <br /> Selleks, et teha oma img kättesaadavaks ka läbi docker hubi tuleb tekitada sinna kasutaja ning repo ja logida käsurealt sinna sisse<br /> <br /> # docker login -u kasutaja<br /> <br /> Ja lükata fail üles<br /> <br /> # docker push kasutaja/test<br /> <br /> ===Konteinerite loomine docker-compose abil===<br /> <br /> docer-compose pole tegelikult midagi muud kui nö &quot;buildfile&quot; dockerisüsteemi jaoks. Ehk siis kui tavaliselt peab dockereid tõmbama käima käskudega<br /> <br /> docker run -t -i wordpress:latest /bin/bash<br /> docker run -t -i mariadb/bin/bash<br /> <br /> koos kõigi sinna juurde kuuluvate parameetrite jms asjadega siis docker-compose lubab luua ühtse faili kus kõik ühes kohas<br /> <br /> version: '3.3'<br /> <br /> services:<br /> wordpress:<br /> depends_on:<br /> - db<br /> image: wordpress<br /> ports:<br /> - &quot;8000:80&quot;<br /> restart: unless-stopped<br /> environment:<br /> WORDPRESS_DB_HOST: db<br /> MYSQL_PORT_3306_TCP: 3306<br /> WORDPRESS_DB_USER: wordpress<br /> WORDPRESS_DB_PASSWORD: wordpress<br /> <br /> db:<br /> image: mariadb<br /> ports:<br /> - &quot;3306:3306&quot;<br /> restart: unless-stopped<br /> environment:<br /> MYSQL_ROOT_PASSWORD: somewordpress<br /> MYSQL_DATABASE: wordpress<br /> MYSQL_USER: wordpress<br /> MYSQL_PASSWORD: wordpress<br /> <br /> Selle käivitamiseks tuleb teha kaustas kus docker-compose fail asub<br /> <br /> # docker-compose up -d<br /> <br /> Veendumine, et hakkas tööle<br /> <br /> # docker ps<br /> CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES<br /> 20eaa3976bc9 mysql:latest &quot;docker-entrypoint.s…&quot; 2 minutes ago Up 2 minutes 3306/tcp<br /> <br /> Pöördudes nüüd avaliku aadressi pordile 8000 peaksime nägema wordpressi paigaldust<br /> <br /> Soovides mõlemad masinad sulgeda<br /> <br /> # docker-compose stop<br /> <br /> Käsuga docker stats näeb jooksvalt konteinerite cpu, mälu, IO ja võrgukasutust<br /> <br /> # docker stats<br /> CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS<br /> 5c47855895c3 server3_wordpress_1 0.00% 89.96MiB / 7.79GiB 1.13% 3.58MB / 4.89MB 336kB / 1.59MB 11<br /> 034eb5845072 server3_db_1 0.04% 97.74MiB / 7.79GiB 1.23% 1.34MB / 3.14MB 10.7MB / 85.7MB 32<br /> <br /> Selleks, et dockeri masinad stardiksid peale serveri rebooti tuleb vaadata, et dockeri deemon käivituks ning seadistad docker-comopose faili<br /> <br /> restart: unless-stopped<br /> <br /> ===Dockeri kettaajaotus===<br /> <br /> TODO<br /> <br /> ===Healtcheck===<br /> <br /> Healtcheck sektsioon teatab dockerile, kuidas testida seda kas seal olev rakendus on ikkagi töökorras. Docker compose failis<br /> võib lisada konteineri sektsiooni lõppu näiteks<br /> <br /> healthcheck:<br /> test: curl -sS http://127.0.0.1 || exit 1<br /> interval: 5s<br /> timeout: 10s<br /> retries: 3<br /> <br /> Seda mis staatuses konteineri tervis on näeb näiteks käsuga docker ps. Soovides kontrollida aga tcp porte võib kasutada järgnevat käsku<br /> <br /> test: [&quot;CMD-SHELL&quot;, &quot;timeout 2 bash -c \&quot;&lt;/dev/tcp/127.0.0.1/443\&quot;;&quot;]<br /> <br /> Juhul kui curli binaar on konteinerist puudu saab selle järgnevat dockerfilega lisada<br /> <br /> FROM httpd:latest<br /> RUN apt-get update &amp;&amp; apt-get install -y --no-install-recommends curl &amp;&amp; apt-get clean<br /> EXPOSE 80<br /> HEALTHCHECK --interval=15s --retries=5 --timeout=30s --start-period=30s CMD curl -I -f &quot;http://localhost:80&quot; || exit 1<br /> <br /> Tegelikult pole muidugi vahet mis käsku kontrolliks käima lastakse. Postgresi andmebaasi toimimist saab kontrollida järgnevalt.<br /> <br /> test: [&quot;CMD-SHELL&quot;, &quot;pg_isready -U &lt;andmebaas&gt;&quot;]<br /> <br /> Docer-compose versioonides 2.x saab kasutada healthcheky ka konteinerite startijärjestuses. Nt teha kindlaks, et mingi konteiner ei stardiks enne kui esimese<br /> healtcheck on õnnestunud. Alates versioonis 3.x on see aga eemaldatud ning kasutada tuleb dockerize wrapperit<br /> <br /> depends_on:<br /> postgres_db:<br /> condition: service_healthy<br /> <br /> ===dockerize===<br /> <br /> Tegemist on wrapperiga, millega saab näiteks panna startiv konteiner ootama mingi tingimuse täitumist<br /> <br /> dockerize -wait tcp://db:5432 -wait http://web:80 -wait file:///tmp/generated-file<br /> <br /> Nginx logs to two different log files under /var/log/nginx by default. It would be nice have the nginx access and error log streamed to the console if your run this container interactively or if you docker logs nginx so you can see what’s happening.<br /> <br /> This would generate /etc/nginx/nginx.conf from the template located at /etc/nginx/nginx.tmpl and send /var/log/nginx/access.log to <br /> STDOUT and /var/log/nginx/error.log to STDERR after running nginx, only after waiting for the web host to respond on tcp 8000:<br /> <br /> ADD dockerize /usr/local/bin/dockerize<br /> CMD dockerize -template /etc/nginx/nginx.tmpl:/etc/nginx/nginx.conf -stdout /var/log/nginx/access.log -stderr /var/log/nginx/error.log -wait tcp://web:8000 nginx<br /> CMD dockerize -stdout /var/log/nginx/access.log -stderr /var/log/nginx/error.log nginx<br /> <br /> <br /> https://github.com/jwilder/dockerize<br /> <br /> ===Dockeri võrgud===<br /> <br /> $ docker network create myapp<br /> <br /> Kuidas see kõik töötab http://blog.nigelpoulton.com/demystifying-docker-overlay-networking/<br /> <br /> https://github.com/jwilder/dockerize konteinerite jooksev täiendamine<br /> <br /> <br /> ===Lingid===<br /> <br /> https://jvns.ca/blog/2019/11/18/how-containers-work--overlayfs/ overlayfsi tööpõhimõttest</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Let%27s_Encrypt&diff=31009 2021-01-22T08:52:01Z

<p>Jj: /* Paigaldus Ubuntu ja nginx puhul */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Lets encrypt on teenus mis pakub tasuta popup-free sertifikaate. See loodi 2016 ning selle taga on ettevõtted nagu Akamai, Cisco, Mozilla ning mitmed sõltumatud eraisikud.<br /> <br /> Let's Encrypt kasutab oma tööks ACME ehk Automatic Certificate Management Environment protokolli, mille<br /> abil saab tellida sertifikaate täisautomaatselt. Selle töö näeb välja umbkaudu järgnev<br /> <br /> #. Tarkvara genereerib võtme ja sertifikaadipäringu<br /> #. Sertifikaadipäring allkirjastatakse ja saadetakse lets encrypt API-le<br /> #. Lets encrypt server teeb valideerimise päringu domeeni vastu, millele sertifikaati taodeldakse, kus ta kontrollib http://domeen.ee/.well-known/acme-challenge/{token} olemasolu ja vastavust<br /> #. Sertifikaadid genereeritakse ja laetakse automaatselt letsencrypti juurest alla serverisse<br /> <br /> Sertifikaadid kehtivad vaid 90 päeva.<br /> <br /> ===Paigadus debiani ja apachega===<br /> <br /> Kui virtualhost on juba seadistatud on paigaldus väga lihtne, tuleb esiteks installida cerbot ja selle apache moodul<br /> <br /> # apt install python-certbot-apache<br /> <br /> Ning seejärel küsida domeeni<br /> <br /> # certbot --apache -d zoo.tartu.ee<br /> <br /> Viimane käsk on võimeline juba ise tuvastama serveri seadistuse, tekitama sobivasse kohta vajaliku võtme ning asendama virtualhostis ka varasemad sertifikaadid<br /> <br /> ===Paigaldus certbotiga nginx puhul===<br /> <br /> Installime CentOSis epel release ja cerboti<br /> <br /> yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm<br /> yum install certbot <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/default.d/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> Automaatseks uuendamiseks võib tekitada cron faili /etc/cron.d/letsencrypt<br /> <br /> MAILTO=info@zoo.tartu.ee<br /> 11 2 1 * * root /usr/bin/certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee &amp;&amp; /usr/bin/systemctl restart nginx<br /> <br /> <br /> ===Paigaldus Ubuntu ja nginx puhul===<br /> <br /> Installime cerboti<br /> <br /> # apt install certbot python3-certbot-nginx <br /> <br /> Seadistame nginxi domeeni ja küsime serdtifikaadid<br /> <br /> # certbot --nginx -d example.com -d www.example.com<br /> <br /> Automaatseks uuendamiseks on systemd timer certbot.timer<br /> <br /> systemctl status certbot.timer<br /> <br /> ===Paigaldus Acme skriptiga===<br /> <br /> Veebiserveri ettevalmistus. Nagu ülal kirjutatud siis vajab letsencrypt võimalust valideerida kasutaja õigust domeenile. Selleks tuleb veebiserverisse seadistada ligipääs<br /> letsencrypti genereeritud tokenile. Nginxi korral tuleb tekitada järgnev konstruktsioon<br /> <br /> location /.well-known/acme-challenge/ {<br /> root /var/www/certbot;<br /> }<br /> <br /> Tõmbame vajaliku skripti alla ja paneme käima<br /> <br /> curl https://get.acme.sh | sh<br /> <br /> See paigaldab ka croni töö mis tegeleb sertifikaatide uuendamisega.<br /> <br /> Küsime endale sertifikaadi<br /> <br /> acme.sh --issue -d test.org -w /var/www/certbot<br /> <br /> Keerukamad kasutusjuhud. Nt dockeri puhul võime ka täpselt ette anda sertifikaatide asukohad ja käsu dockeri sees nginxi restardiks<br /> <br /> acme.sh --install-cert -d test.org \<br /> --cert-file /apps/myapp/certs/cert.pem \<br /> --key-file /apps/myapp/certs/key.pem \<br /> --reloadcmd &quot;docker-compose -f /apps/myapp/docker-compose.yml exec wen nginx -t reload&quot;<br /> <br /> Wildcard domeeni jaoks sertifikaadi tekitamiseks<br /> <br /> acme.sh --issue -d example.com -d '*.example.com' --dns dns_cf</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Let%27s_Encrypt&diff=31008 2021-01-22T08:50:44Z

<p>Jj: /* Paigaldus Ubuntu ja nginx puhul */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Lets encrypt on teenus mis pakub tasuta popup-free sertifikaate. See loodi 2016 ning selle taga on ettevõtted nagu Akamai, Cisco, Mozilla ning mitmed sõltumatud eraisikud.<br /> <br /> Let's Encrypt kasutab oma tööks ACME ehk Automatic Certificate Management Environment protokolli, mille<br /> abil saab tellida sertifikaate täisautomaatselt. Selle töö näeb välja umbkaudu järgnev<br /> <br /> #. Tarkvara genereerib võtme ja sertifikaadipäringu<br /> #. Sertifikaadipäring allkirjastatakse ja saadetakse lets encrypt API-le<br /> #. Lets encrypt server teeb valideerimise päringu domeeni vastu, millele sertifikaati taodeldakse, kus ta kontrollib http://domeen.ee/.well-known/acme-challenge/{token} olemasolu ja vastavust<br /> #. Sertifikaadid genereeritakse ja laetakse automaatselt letsencrypti juurest alla serverisse<br /> <br /> Sertifikaadid kehtivad vaid 90 päeva.<br /> <br /> ===Paigadus debiani ja apachega===<br /> <br /> Kui virtualhost on juba seadistatud on paigaldus väga lihtne, tuleb esiteks installida cerbot ja selle apache moodul<br /> <br /> # apt install python-certbot-apache<br /> <br /> Ning seejärel küsida domeeni<br /> <br /> # certbot --apache -d zoo.tartu.ee<br /> <br /> Viimane käsk on võimeline juba ise tuvastama serveri seadistuse, tekitama sobivasse kohta vajaliku võtme ning asendama virtualhostis ka varasemad sertifikaadid<br /> <br /> ===Paigaldus certbotiga nginx puhul===<br /> <br /> Installime CentOSis epel release ja cerboti<br /> <br /> yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm<br /> yum install certbot <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/default.d/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> Automaatseks uuendamiseks võib tekitada cron faili /etc/cron.d/letsencrypt<br /> <br /> MAILTO=info@zoo.tartu.ee<br /> 11 2 1 * * root /usr/bin/certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee &amp;&amp; /usr/bin/systemctl restart nginx<br /> <br /> <br /> ===Paigaldus Ubuntu ja nginx puhul===<br /> <br /> Installime cerboti<br /> <br /> # apt install certbot python3-certbot-nginx <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/sites-available/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> Automaatseks uuendamiseks on systemd timer certbot.timer<br /> <br /> systemctl status certbot.timer<br /> <br /> ===Paigaldus Acme skriptiga===<br /> <br /> Veebiserveri ettevalmistus. Nagu ülal kirjutatud siis vajab letsencrypt võimalust valideerida kasutaja õigust domeenile. Selleks tuleb veebiserverisse seadistada ligipääs<br /> letsencrypti genereeritud tokenile. Nginxi korral tuleb tekitada järgnev konstruktsioon<br /> <br /> location /.well-known/acme-challenge/ {<br /> root /var/www/certbot;<br /> }<br /> <br /> Tõmbame vajaliku skripti alla ja paneme käima<br /> <br /> curl https://get.acme.sh | sh<br /> <br /> See paigaldab ka croni töö mis tegeleb sertifikaatide uuendamisega.<br /> <br /> Küsime endale sertifikaadi<br /> <br /> acme.sh --issue -d test.org -w /var/www/certbot<br /> <br /> Keerukamad kasutusjuhud. Nt dockeri puhul võime ka täpselt ette anda sertifikaatide asukohad ja käsu dockeri sees nginxi restardiks<br /> <br /> acme.sh --install-cert -d test.org \<br /> --cert-file /apps/myapp/certs/cert.pem \<br /> --key-file /apps/myapp/certs/key.pem \<br /> --reloadcmd &quot;docker-compose -f /apps/myapp/docker-compose.yml exec wen nginx -t reload&quot;<br /> <br /> Wildcard domeeni jaoks sertifikaadi tekitamiseks<br /> <br /> acme.sh --issue -d example.com -d '*.example.com' --dns dns_cf</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Let%27s_Encrypt&diff=31007 2021-01-22T08:43:16Z

<p>Jj: /* Paigaldus certbotiga nginx puhul */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Lets encrypt on teenus mis pakub tasuta popup-free sertifikaate. See loodi 2016 ning selle taga on ettevõtted nagu Akamai, Cisco, Mozilla ning mitmed sõltumatud eraisikud.<br /> <br /> Let's Encrypt kasutab oma tööks ACME ehk Automatic Certificate Management Environment protokolli, mille<br /> abil saab tellida sertifikaate täisautomaatselt. Selle töö näeb välja umbkaudu järgnev<br /> <br /> #. Tarkvara genereerib võtme ja sertifikaadipäringu<br /> #. Sertifikaadipäring allkirjastatakse ja saadetakse lets encrypt API-le<br /> #. Lets encrypt server teeb valideerimise päringu domeeni vastu, millele sertifikaati taodeldakse, kus ta kontrollib http://domeen.ee/.well-known/acme-challenge/{token} olemasolu ja vastavust<br /> #. Sertifikaadid genereeritakse ja laetakse automaatselt letsencrypti juurest alla serverisse<br /> <br /> Sertifikaadid kehtivad vaid 90 päeva.<br /> <br /> ===Paigadus debiani ja apachega===<br /> <br /> Kui virtualhost on juba seadistatud on paigaldus väga lihtne, tuleb esiteks installida cerbot ja selle apache moodul<br /> <br /> # apt install python-certbot-apache<br /> <br /> Ning seejärel küsida domeeni<br /> <br /> # certbot --apache -d zoo.tartu.ee<br /> <br /> Viimane käsk on võimeline juba ise tuvastama serveri seadistuse, tekitama sobivasse kohta vajaliku võtme ning asendama virtualhostis ka varasemad sertifikaadid<br /> <br /> ===Paigaldus certbotiga nginx puhul===<br /> <br /> Installime CentOSis epel release ja cerboti<br /> <br /> yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm<br /> yum install certbot <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/default.d/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> Automaatseks uuendamiseks võib tekitada cron faili /etc/cron.d/letsencrypt<br /> <br /> MAILTO=info@zoo.tartu.ee<br /> 11 2 1 * * root /usr/bin/certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee &amp;&amp; /usr/bin/systemctl restart nginx<br /> <br /> <br /> ===Paigaldus Ubuntu ja nginx puhul===<br /> <br /> Installime cerboti<br /> <br /> # apt install certbot python3-certbot-nginx <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/sites-available/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> Automaatseks uuendamiseks võib tekitada cron faili /etc/cron.d/letsencrypt<br /> <br /> MAILTO=info@zoo.tartu.ee<br /> 11 2 1 * * root /usr/bin/certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee &amp;&amp; /usr/bin/systemctl restart nginx<br /> <br /> ===Paigaldus Acme skriptiga===<br /> <br /> Veebiserveri ettevalmistus. Nagu ülal kirjutatud siis vajab letsencrypt võimalust valideerida kasutaja õigust domeenile. Selleks tuleb veebiserverisse seadistada ligipääs<br /> letsencrypti genereeritud tokenile. Nginxi korral tuleb tekitada järgnev konstruktsioon<br /> <br /> location /.well-known/acme-challenge/ {<br /> root /var/www/certbot;<br /> }<br /> <br /> Tõmbame vajaliku skripti alla ja paneme käima<br /> <br /> curl https://get.acme.sh | sh<br /> <br /> See paigaldab ka croni töö mis tegeleb sertifikaatide uuendamisega.<br /> <br /> Küsime endale sertifikaadi<br /> <br /> acme.sh --issue -d test.org -w /var/www/certbot<br /> <br /> Keerukamad kasutusjuhud. Nt dockeri puhul võime ka täpselt ette anda sertifikaatide asukohad ja käsu dockeri sees nginxi restardiks<br /> <br /> acme.sh --install-cert -d test.org \<br /> --cert-file /apps/myapp/certs/cert.pem \<br /> --key-file /apps/myapp/certs/key.pem \<br /> --reloadcmd &quot;docker-compose -f /apps/myapp/docker-compose.yml exec wen nginx -t reload&quot;<br /> <br /> Wildcard domeeni jaoks sertifikaadi tekitamiseks<br /> <br /> acme.sh --issue -d example.com -d '*.example.com' --dns dns_cf</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Let%27s_Encrypt&diff=31006 2021-01-14T09:19:26Z

<p>Jj: /* Sissejuhatus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Lets encrypt on teenus mis pakub tasuta popup-free sertifikaate. See loodi 2016 ning selle taga on ettevõtted nagu Akamai, Cisco, Mozilla ning mitmed sõltumatud eraisikud.<br /> <br /> Let's Encrypt kasutab oma tööks ACME ehk Automatic Certificate Management Environment protokolli, mille<br /> abil saab tellida sertifikaate täisautomaatselt. Selle töö näeb välja umbkaudu järgnev<br /> <br /> #. Tarkvara genereerib võtme ja sertifikaadipäringu<br /> #. Sertifikaadipäring allkirjastatakse ja saadetakse lets encrypt API-le<br /> #. Lets encrypt server teeb valideerimise päringu domeeni vastu, millele sertifikaati taodeldakse, kus ta kontrollib http://domeen.ee/.well-known/acme-challenge/{token} olemasolu ja vastavust<br /> #. Sertifikaadid genereeritakse ja laetakse automaatselt letsencrypti juurest alla serverisse<br /> <br /> Sertifikaadid kehtivad vaid 90 päeva.<br /> <br /> ===Paigadus debiani ja apachega===<br /> <br /> Kui virtualhost on juba seadistatud on paigaldus väga lihtne, tuleb esiteks installida cerbot ja selle apache moodul<br /> <br /> # apt install python-certbot-apache<br /> <br /> Ning seejärel küsida domeeni<br /> <br /> # certbot --apache -d zoo.tartu.ee<br /> <br /> Viimane käsk on võimeline juba ise tuvastama serveri seadistuse, tekitama sobivasse kohta vajaliku võtme ning asendama virtualhostis ka varasemad sertifikaadid<br /> <br /> ===Paigaldus certbotiga nginx puhul===<br /> <br /> Installime CentOSis epel release ja cerboti<br /> <br /> yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm<br /> yum install certbot <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/default.d/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> Automaatseks uuendamiseks võib tekitada cron faili /etc/cron.d/letsencrypt<br /> <br /> MAILTO=info@zoo.tartu.ee<br /> 11 2 1 * * root /usr/bin/certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee &amp;&amp; /usr/bin/systemctl restart nginx<br /> <br /> ===Paigaldus Acme skriptiga===<br /> <br /> Veebiserveri ettevalmistus. Nagu ülal kirjutatud siis vajab letsencrypt võimalust valideerida kasutaja õigust domeenile. Selleks tuleb veebiserverisse seadistada ligipääs<br /> letsencrypti genereeritud tokenile. Nginxi korral tuleb tekitada järgnev konstruktsioon<br /> <br /> location /.well-known/acme-challenge/ {<br /> root /var/www/certbot;<br /> }<br /> <br /> Tõmbame vajaliku skripti alla ja paneme käima<br /> <br /> curl https://get.acme.sh | sh<br /> <br /> See paigaldab ka croni töö mis tegeleb sertifikaatide uuendamisega.<br /> <br /> Küsime endale sertifikaadi<br /> <br /> acme.sh --issue -d test.org -w /var/www/certbot<br /> <br /> Keerukamad kasutusjuhud. Nt dockeri puhul võime ka täpselt ette anda sertifikaatide asukohad ja käsu dockeri sees nginxi restardiks<br /> <br /> acme.sh --install-cert -d test.org \<br /> --cert-file /apps/myapp/certs/cert.pem \<br /> --key-file /apps/myapp/certs/key.pem \<br /> --reloadcmd &quot;docker-compose -f /apps/myapp/docker-compose.yml exec wen nginx -t reload&quot;<br /> <br /> Wildcard domeeni jaoks sertifikaadi tekitamiseks<br /> <br /> acme.sh --issue -d example.com -d '*.example.com' --dns dns_cf</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Let%27s_Encrypt&diff=31005 2021-01-14T09:17:57Z

<p>Jj: /* Paigaldus certbotiga */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Lets encrypt on teenus mis pakub tasuta popup-free sertifikaate. See loodi 2016 ning selle taga on ettevõtted nagu Akamai, Cisco, Mozilla ning mitmed sõltumatud eraisikud.<br /> <br /> Let's Encrypt kasutab oma tööks ACME ehk Automatic Certificate Management Environment protokolli, mille<br /> abil saab tellida sertifikaate täisautomaatselt. Selle töö näeb välja umbkaudu järgnev<br /> <br /> #. Tarkvara genereerib võtme ja sertifikaadipäringu<br /> #. Sertifikaadipäring allkirjastatakse ja saadetakse lets encrypt API-le<br /> #. Lets encrypt server teeb valideerimise päringu domeeni vastu, millele sertifikaati taodeldakse, kus ta kontrollib http://domeen.ee/.well-known/acme-challenge/{token} olemasolu ja vastavust<br /> #. Sertifikaadid genereeritakse ja laetakse automaatselt letsencrypti juurest alla serverisse<br /> <br /> Sertifikaadid kehtivad vaid 90 päeva. <br /> <br /> ===Paigaldus certbotiga nginx puhul===<br /> <br /> Installime CentOSis epel release ja cerboti<br /> <br /> yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm<br /> yum install certbot <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/default.d/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> Automaatseks uuendamiseks võib tekitada cron faili /etc/cron.d/letsencrypt<br /> <br /> MAILTO=info@zoo.tartu.ee<br /> 11 2 1 * * root /usr/bin/certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee &amp;&amp; /usr/bin/systemctl restart nginx<br /> <br /> ===Paigaldus Acme skriptiga===<br /> <br /> Veebiserveri ettevalmistus. Nagu ülal kirjutatud siis vajab letsencrypt võimalust valideerida kasutaja õigust domeenile. Selleks tuleb veebiserverisse seadistada ligipääs<br /> letsencrypti genereeritud tokenile. Nginxi korral tuleb tekitada järgnev konstruktsioon<br /> <br /> location /.well-known/acme-challenge/ {<br /> root /var/www/certbot;<br /> }<br /> <br /> Tõmbame vajaliku skripti alla ja paneme käima<br /> <br /> curl https://get.acme.sh | sh<br /> <br /> See paigaldab ka croni töö mis tegeleb sertifikaatide uuendamisega.<br /> <br /> Küsime endale sertifikaadi<br /> <br /> acme.sh --issue -d test.org -w /var/www/certbot<br /> <br /> Keerukamad kasutusjuhud. Nt dockeri puhul võime ka täpselt ette anda sertifikaatide asukohad ja käsu dockeri sees nginxi restardiks<br /> <br /> acme.sh --install-cert -d test.org \<br /> --cert-file /apps/myapp/certs/cert.pem \<br /> --key-file /apps/myapp/certs/key.pem \<br /> --reloadcmd &quot;docker-compose -f /apps/myapp/docker-compose.yml exec wen nginx -t reload&quot;<br /> <br /> Wildcard domeeni jaoks sertifikaadi tekitamiseks<br /> <br /> acme.sh --issue -d example.com -d '*.example.com' --dns dns_cf</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=SPF_kasutamine_Postfixiga&diff=31001 2020-11-16T14:24:25Z

<p>Jj: /* Kasulikud lisamaterjalid */</p> <hr /> <div>=Sissejuhatus=<br /> <br /> SPF http://www.openspf.org/ ...<br /> <br /> SPF kontroll käib '''ümbriku''' saatja (envelope from) pihta (ehk siis kirja body sees olev From).<br /> <br /> SPF on Sender Policy Framework, mis peaks koostöös [[DKIM_ja_DMARC | DKIM ja DMARCiga]] tänapäevaste meetoditega võitlema spämmi saatmise vastu.<br /> <br /> SPF töötab kirja VASTUVÕTVA postiserveris ja kontrollib saatja domeeni ja kirja saatnud e-posti serveri vastavust.<br /> <br /> SPF on TXT nimekirje nimeserveris ja koosneb:<br /> <br /> &quot;v=spf1 a mx -all&quot;<br /> <br /> == TXT kirje komponendid == <br /> * v= - versioon, hetkel ainuke valiidne spf1<br /> * [a mx ... jne] - määrab ära, kes võib kirja saata<br /> * -all - vt piirangud<br /> <br /> == kirjasaatja võimalused ==<br /> * a - lubab kirjasaatmise domeeni A kirjelt (dünaamiline, st muutes A kirjet kehtib SPF reegel edasi)<br /> * mx - lubab kirjasaatmise domeeni MX kirjelt (dünaamiline, st muutes MX kirjet kehtib SPF reegel edasi)<br /> * include:_spf.protection.uusdomeen.ee - includeb _spf.protection.uusdomeen.ee kirje sinu kirje sisse (samuti dünaamiline, kuna selle kirje muutumisel muutub ka sinu kirje)<br /> * 193.40.0.2/32 - võid kasutada IPd ja/või vahemikku kirjasaatmise lubamisel<br /> <br /> == Piirangud ==<br /> * -all - range &quot;fail&quot; - keela kõik ülejäänud<br /> * ~all - pehmem &quot;softfail&quot; - hoiata kirjasaajat ja suhtu ettevaatlikkusega<br /> * ?all - veelpehmem &quot;neutral&quot; - neutraalne olek, suhtutakse samamoodi nagu SPF kirjet &quot;ei oleks&quot;<br /> * +all - vägapehme &quot;pass&quot; - SPF kirje küll on, aga lase kõik teised ka läbi<br /> <br /> =Tarkvara paigaldamine=<br /> <br /> SPF tarkvara paigaldamiseks sobib öelda<br /> <br /> # apt-get install postfix-policyd-spf-python<br /> <br /> =Nimesüsteemi ettevalmistamine=<br /> <br /> spf.py skriptiga saab testida SPF DNS TXT kirjet, nt selliselt<br /> <br /> * küsida domeeni SPF andmeid<br /> <br /> $ python /usr/share/pyshared/spf.py loomaaed.tartu.ee<br /> v=spf1 ip4:192.168.10.0/24 mx a:mail.loomaaed.tartu.ee ~all<br /> <br /> * Testida ettenäidatud SPF andmetele vastavalt tulemust<br /> <br /> $ python /usr/share/pyshared/spf.py &quot;v=spf1 +mx +ip4:10.0.0.2 -all&quot; 10.0.0.1 mart@loomaaed.tartu.ee a<br /> ('fail', 550, 'SPF fail - not authorized') -all<br /> <br /> ==null SPF kirjed==<br /> <br /> www.loomaaed.tartu.ee. IN TXT &quot;v=spf1 -all&quot;<br /> <br /> ==SPF seadistamine kirju vastuvõtva Postfixi juures==<br /> <br /> Kirju vastuvõtva Postfixi juures juhib SPF tööd seadistusfail /etc/postfix-policyd-spf-python/policyd-spf.conf, mille sisu on vaikimisi selline ja võiks üldiselt sobida kasutamiseks<br /> <br /> # cat /etc/postfix-policyd-spf-python/policyd-spf.conf<br /> debugLevel = 1<br /> defaultSeedOnly = 1<br /> <br /> HELO_reject = SPF_Not_Pass<br /> Mail_From_reject = Fail<br /> <br /> PermError_reject = False<br /> TempError_Defer = False <br /> <br /> skip_addresses = 127.0.0.0/8,::ffff:127.0.0.0//104,::1//128<br /> <br /> kus<br /> <br /> * debugLevel - määrab mail.log faili logi kirjutamise määra<br /> * defaultSeedOnly - väärtus 0 kasutamisel posti liiklust SPF ei muuda, kuid kirjadele lisatakse vastavad päised<br /> * HELO_reject - <br /> * Mail_From_reject - <br /> * PermError_reject - kontrollib, mida teha, kui vasvata SPF TXT nimekirje lahendamisel saadakse vastuseks katkine kirje, nt kirjes esineb süntaksiviga; False puhul käsitletakse sellist olukorda samaväärselt kirje puudumisega<br /> <br /> action=prepend Received-SPF: Permerror (SPF Permanent Error: Invalid IP4 address: ip4:1.2.3.4.5)<br /> <br /> * TempErrorDefer - kontrollib, mida teha kui, kui vasvata SPF TXT nimekirje lahendamine ei õnnestu, nt vastavalt nimeserverilt ei saada vastust; False puhul käsitletakse sellist olukorda samaväärselt kirje puudumisega<br /> <br /> action=defer_if_permit Message deferred due to: SPF Temporary Error: DNS no working nameservers found.<br /> <br /> Kasulikud lisamaterjalid<br /> <br /> * man policyd-spf.conf<br /> <br /> =SPF testimine=<br /> <br /> Öelda<br /> <br /> $ python /usr/bin/policyd-spf /etc/postfix-policyd-spf-python/policyd-spf.conf &lt; /tmp/sisend<br /> action=prepend Received-SPF: None (no SPF record) identity=mailfrom; \<br /> client-ip=192.168.0.1; helo=mail.loomaaed.tartu.ee; envelope-from=mart@loomaaed.tartu.ee; receiver=priit@eesti.ee<br /> <br /> kus<br /> <br /> $ cat /tmp/sisend<br /> request=smtpd_access_policy<br /> protocol_state=RCPT<br /> protocol_name=SMTP<br /> helo_name=mail.loomaaed.tartu.ee<br /> sender=mart@loomaaed.tartu.ee<br /> recipient=priit@eesti.ee<br /> client_address=192.168.0.1<br /> TÜHI RIDA JA REA LÕPUS REAVAHETUS<br /> <br /> =Postfixi seadmistamine=<br /> <br /> Seadista main.cfi<br /> # postfix-spf kasutamine<br /> policy-spf_time_limit = 3600s<br /> <br /> ja muutujasse<br /> <br /> smtpd_recipient_restrictions=<br /> <br /> lisa väärtus<br /> check_policy_service unix:private/policy-spf<br /> <br /> '''NB! policy-spf peab kattuma sellega, mida kasutad master.cf failis!'''<br /> <br /> master.cf täienda järgnevalt<br /> <br /> # SPF reeglid<br /> policy-spf unix - n n - 0 spawn<br /> user=nobody argv=/usr/bin/policyd-spf<br /> <br /> <br /> <br /> =Süsteemi kasutamine=<br /> <br /> TODO<br /> <br /> =SRS=<br /> <br /> Sender Rewrite Scheme<br /> <br /> TODO<br /> <br /> =Märkused=<br /> <br /> * TODO<br /> <br /> =Kasulikud lisamaterjalid=<br /> <br /> * [[:Postfix]]<br /> * http://www.postfix.org/SMTPD_POLICY_README.html<br /> * [[:Spam]]<br /> * http://en.wikipedia.org/wiki/Sender_Policy_Framework<br /> * http://en.wikipedia.org/wiki/Sender_Rewriting_Scheme<br /> * http://www.rfc-editor.org/rfc/rfc4408.txt<br /> * http://homepage.ntlworld.com./jonathan.deboynepollard/Proposals/IM2000/<br /> * http://www.openspf.org/SRS<br /> * https://www.sidn.nl/en/news-and-blogs/hands-on-implementing-spf-dkim-and-dmarc-in-postfix<br /> * https://domainaware.github.io/parsedmarc/ raportitest graafikute joonistaja</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=SPF_kasutamine_Postfixiga&diff=31000 2020-11-16T14:23:48Z

<p>Jj: </p> <hr /> <div>=Sissejuhatus=<br /> <br /> SPF http://www.openspf.org/ ...<br /> <br /> SPF kontroll käib '''ümbriku''' saatja (envelope from) pihta (ehk siis kirja body sees olev From).<br /> <br /> SPF on Sender Policy Framework, mis peaks koostöös [[DKIM_ja_DMARC | DKIM ja DMARCiga]] tänapäevaste meetoditega võitlema spämmi saatmise vastu.<br /> <br /> SPF töötab kirja VASTUVÕTVA postiserveris ja kontrollib saatja domeeni ja kirja saatnud e-posti serveri vastavust.<br /> <br /> SPF on TXT nimekirje nimeserveris ja koosneb:<br /> <br /> &quot;v=spf1 a mx -all&quot;<br /> <br /> == TXT kirje komponendid == <br /> * v= - versioon, hetkel ainuke valiidne spf1<br /> * [a mx ... jne] - määrab ära, kes võib kirja saata<br /> * -all - vt piirangud<br /> <br /> == kirjasaatja võimalused ==<br /> * a - lubab kirjasaatmise domeeni A kirjelt (dünaamiline, st muutes A kirjet kehtib SPF reegel edasi)<br /> * mx - lubab kirjasaatmise domeeni MX kirjelt (dünaamiline, st muutes MX kirjet kehtib SPF reegel edasi)<br /> * include:_spf.protection.uusdomeen.ee - includeb _spf.protection.uusdomeen.ee kirje sinu kirje sisse (samuti dünaamiline, kuna selle kirje muutumisel muutub ka sinu kirje)<br /> * 193.40.0.2/32 - võid kasutada IPd ja/või vahemikku kirjasaatmise lubamisel<br /> <br /> == Piirangud ==<br /> * -all - range &quot;fail&quot; - keela kõik ülejäänud<br /> * ~all - pehmem &quot;softfail&quot; - hoiata kirjasaajat ja suhtu ettevaatlikkusega<br /> * ?all - veelpehmem &quot;neutral&quot; - neutraalne olek, suhtutakse samamoodi nagu SPF kirjet &quot;ei oleks&quot;<br /> * +all - vägapehme &quot;pass&quot; - SPF kirje küll on, aga lase kõik teised ka läbi<br /> <br /> =Tarkvara paigaldamine=<br /> <br /> SPF tarkvara paigaldamiseks sobib öelda<br /> <br /> # apt-get install postfix-policyd-spf-python<br /> <br /> =Nimesüsteemi ettevalmistamine=<br /> <br /> spf.py skriptiga saab testida SPF DNS TXT kirjet, nt selliselt<br /> <br /> * küsida domeeni SPF andmeid<br /> <br /> $ python /usr/share/pyshared/spf.py loomaaed.tartu.ee<br /> v=spf1 ip4:192.168.10.0/24 mx a:mail.loomaaed.tartu.ee ~all<br /> <br /> * Testida ettenäidatud SPF andmetele vastavalt tulemust<br /> <br /> $ python /usr/share/pyshared/spf.py &quot;v=spf1 +mx +ip4:10.0.0.2 -all&quot; 10.0.0.1 mart@loomaaed.tartu.ee a<br /> ('fail', 550, 'SPF fail - not authorized') -all<br /> <br /> ==null SPF kirjed==<br /> <br /> www.loomaaed.tartu.ee. IN TXT &quot;v=spf1 -all&quot;<br /> <br /> ==SPF seadistamine kirju vastuvõtva Postfixi juures==<br /> <br /> Kirju vastuvõtva Postfixi juures juhib SPF tööd seadistusfail /etc/postfix-policyd-spf-python/policyd-spf.conf, mille sisu on vaikimisi selline ja võiks üldiselt sobida kasutamiseks<br /> <br /> # cat /etc/postfix-policyd-spf-python/policyd-spf.conf<br /> debugLevel = 1<br /> defaultSeedOnly = 1<br /> <br /> HELO_reject = SPF_Not_Pass<br /> Mail_From_reject = Fail<br /> <br /> PermError_reject = False<br /> TempError_Defer = False <br /> <br /> skip_addresses = 127.0.0.0/8,::ffff:127.0.0.0//104,::1//128<br /> <br /> kus<br /> <br /> * debugLevel - määrab mail.log faili logi kirjutamise määra<br /> * defaultSeedOnly - väärtus 0 kasutamisel posti liiklust SPF ei muuda, kuid kirjadele lisatakse vastavad päised<br /> * HELO_reject - <br /> * Mail_From_reject - <br /> * PermError_reject - kontrollib, mida teha, kui vasvata SPF TXT nimekirje lahendamisel saadakse vastuseks katkine kirje, nt kirjes esineb süntaksiviga; False puhul käsitletakse sellist olukorda samaväärselt kirje puudumisega<br /> <br /> action=prepend Received-SPF: Permerror (SPF Permanent Error: Invalid IP4 address: ip4:1.2.3.4.5)<br /> <br /> * TempErrorDefer - kontrollib, mida teha kui, kui vasvata SPF TXT nimekirje lahendamine ei õnnestu, nt vastavalt nimeserverilt ei saada vastust; False puhul käsitletakse sellist olukorda samaväärselt kirje puudumisega<br /> <br /> action=defer_if_permit Message deferred due to: SPF Temporary Error: DNS no working nameservers found.<br /> <br /> Kasulikud lisamaterjalid<br /> <br /> * man policyd-spf.conf<br /> <br /> =SPF testimine=<br /> <br /> Öelda<br /> <br /> $ python /usr/bin/policyd-spf /etc/postfix-policyd-spf-python/policyd-spf.conf &lt; /tmp/sisend<br /> action=prepend Received-SPF: None (no SPF record) identity=mailfrom; \<br /> client-ip=192.168.0.1; helo=mail.loomaaed.tartu.ee; envelope-from=mart@loomaaed.tartu.ee; receiver=priit@eesti.ee<br /> <br /> kus<br /> <br /> $ cat /tmp/sisend<br /> request=smtpd_access_policy<br /> protocol_state=RCPT<br /> protocol_name=SMTP<br /> helo_name=mail.loomaaed.tartu.ee<br /> sender=mart@loomaaed.tartu.ee<br /> recipient=priit@eesti.ee<br /> client_address=192.168.0.1<br /> TÜHI RIDA JA REA LÕPUS REAVAHETUS<br /> <br /> =Postfixi seadmistamine=<br /> <br /> Seadista main.cfi<br /> # postfix-spf kasutamine<br /> policy-spf_time_limit = 3600s<br /> <br /> ja muutujasse<br /> <br /> smtpd_recipient_restrictions=<br /> <br /> lisa väärtus<br /> check_policy_service unix:private/policy-spf<br /> <br /> '''NB! policy-spf peab kattuma sellega, mida kasutad master.cf failis!'''<br /> <br /> master.cf täienda järgnevalt<br /> <br /> # SPF reeglid<br /> policy-spf unix - n n - 0 spawn<br /> user=nobody argv=/usr/bin/policyd-spf<br /> <br /> <br /> <br /> =Süsteemi kasutamine=<br /> <br /> TODO<br /> <br /> =SRS=<br /> <br /> Sender Rewrite Scheme<br /> <br /> TODO<br /> <br /> =Märkused=<br /> <br /> * TODO<br /> <br /> =Kasulikud lisamaterjalid=<br /> <br /> * [[:Postfix]]<br /> * http://www.postfix.org/SMTPD_POLICY_README.html<br /> * [[:Spam]]<br /> * http://en.wikipedia.org/wiki/Sender_Policy_Framework<br /> * http://en.wikipedia.org/wiki/Sender_Rewriting_Scheme<br /> * http://www.rfc-editor.org/rfc/rfc4408.txt<br /> * http://homepage.ntlworld.com./jonathan.deboynepollard/Proposals/IM2000/<br /> * http://www.openspf.org/SRS<br /> * https://www.sidn.nl/en/news-and-blogs/hands-on-implementing-spf-dkim-and-dmarc-in-postfix</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=DKIM_ja_DMARC&diff=30999 2020-11-12T09:05:46Z

<p>Jj: </p> <hr /> <div>DKIM ja DMARC on kaks venda kolmest (kolmas on SPF, millel on eraldi peatükk [[SPF_kasutamine_Postfixiga]]), mida loetakse tänapäeva moodsa e-mailinduse kaitsjateks.<br /> <br /> DKIM tähendab DomainKeys Identified Mail<br /> DMARC tähendab Domain-based Message Authentication Reporting and Conformance<br /> <br /> Näites on kasutatud Arch Linuxit, Postfixi ja OpenDKIM ja OpenDMARC tarkvarasid.<br /> Eeldatud on, et Postfix on juba esialgselt seadistatud.<br /> <br /> = DKIM =<br /> DKIM mõte on selles, et väljuvatele kirjadele pannakse päisesse lisainformatsioon kirja allkirjastamise kohta. Käesoleval hetkel kasutatakse RSA võtmeid (vaikimisi 1024bit). Väga suuri võtmeid ei soovitata kasutada, kuna avalik võti ei pruugi ära mahtuda UDP vastusesse*. Lisaks võib suurem võti põhjustada suurt koormust arvuti protsessorile (olenevalt muidugi kirjade &quot;käibest&quot;/mahust).<br /> <br /> DKIM seadistamisel on alustuseks vaja DKIMi takrvara seadistada ja seejärel nimeserverisse lisada oma domeenile TXT kirje (kui soovid ise ka allkirjastama hakata väljuvaid kirju).<br /> TXT kirje peab olema kujul: selector._domainkey.uusdomeen.ee ja selle sisu<br /> &quot;v=DKIM1; k=rsa; s=email;&quot; &quot;p=avalik võti base64 encodingus&quot;<br /> <br /> &lt;nowiki&gt;*&lt;/nowiki&gt; - Siit tuleb ka välja UDP vastuse mõte - kuna DNS päringud on UDP, siis peab kogu TXT päring mahtuma UDP vastusesse ära.<br /> <br /> == TXT kirje komponendid ==<br /> * v= - versioon, hetkel ainuke valiidne väärtus DKIM1<br /> * k= - võtmetüüp, hetkel ainuke valiidne väärtus rsa<br /> * s= - teenuse tüüp, vaikimisi on &quot;*&quot;, võimalik ka &quot;email&quot;<br /> * p= - avalik võti base64 encodingus<br /> <br /> &quot;Lihtsam&quot; kirjaviis oleks:<br /> <br /> &quot;v=DKIM1; p=võti...&quot;<br /> <br /> DKIMi puhul lähtutakse kahest eraldi kirja mõlemast sektsioonist: header ja body. Mõlema jaoks on võimalik reegel kirjutada - kas range/leebe.<br /> <br /> == OpenDKIM seadistamine ==<br /> <br /> Paigalda DKIM tarkvara kasutades pakihaldust<br /> <br /> pacman -Sy opendkim<br /> <br /> Tekib töötav konfiguratsioonifail<br /> /etc/opendkim/opendkim.conf<br /> <br /> Tutvu sellega ja seadista vastavalt.<br /> <br /> === Konfiguratsioon ===<br /> <br /> Vaikimisi töötab opendkim '''sign''' ja '''verify''' režiimis. Seda saad muuta Mode parameetriga:<br /> * sv - sign + verify<br /> * v - verify<br /> * s - sign<br /> Vaikimisi piisab verify režiimist, sellisel juhul valideeritakse ainult sissetulevaid kirju. Kui soovid ka oma domeene allkirjastada, pead kasutama sign režiimi lisaks.<br /> <br /> '''Verify''' töötab ilma lisaseadistuseta. Veendu vaid, et nimelahendus töötab. ;)<br /> <br /> Lisks on olulised konfiguratsiooniparameetrid '''SigningTable''', '''KeyTable''' ja '''InternalHosts'''.<br /> <br /> * SigningTable - sisaldab saatjadomeeni ja võtme vastavust.<br /> * KeyTable - sisaldab iga selectori ja domeeni paari ning privaatvõtme asukohta.<br /> * InternalHosts - sisaldab domeene/IP-sid, millelt tulnud kirju signeeritakse (ülejäänusid ainult verifitseeritakse).<br /> <br /> Canonicalization määrab ära kuidas suhtutakse header/body muutumisse. Ehk siis vaikimisi on rangem režiim ('''simple/simple'''). See tähendab, et header/body puhul ei lubata peaaegu mingit ümberkirjutamist.<br /> Soovitusi on kahtepidiseid, aga siin näites on arvestatud pigem sellega, et päiseid võib ümber kirjutada ('''relaxed''') ja sisu mitte ('''simple''')<br /> <br /> # kirja header/body jaoks - väärtused simple või relaxed<br /> Canonicalization relaxed/simple<br /> <br /> <br /> === Socket või IP ===<br /> Kui DKIMile tullakse ligi vaid kohalikust masinast, siis on mõistlik kasutada socketit.<br /> IP peale konfigureerides pead veenduma, et sinna ei saa keegi võõras ligi (vastasel juhul saab ta sinna ju saata oma soovitud kirja allkirjastamiseks jmt &quot;jubedusi&quot; teha).<br /> <br /> Selle jaoks konfigureeri vastavalt soovile:<br /> #Socket inet:8891@localhost<br /> Socket local:/run/opendkim/opendkim.sock<br /> <br /> Näites siis tehakse socket asukohta /run/opendkim/opendkim.sock<br /> <br /> '''NB! Seda pead kasutama pärast ka Postfixi konfiguratsioonis.'''<br /> <br /> Selleks, et postfix saaks opendkimile ligi on soovituslik opendkim lisada postfix gruppi:<br /> <br /> usermod -a -G postfix opendkim<br /> <br /> Sellisel juhul on vaja ka konfiguratsioonis umask paika panna (et socketi õigused oleksid rwxrwx---)<br /> <br /> UMask 007<br /> <br /> == Uue allkirjastatava tsooni lisamine ==<br /> <br /> Lisa vajadusel InternalHost faili uus kirje.<br /> <br /> Tekita võtmete jaoks uus kaust (kui juba pole) ja sinna alla loodava domeeni jaoks kaust, näiteks:<br /> <br /> mkdir -vp /etc/opendkim/keys/uusdomeen.ee<br /> <br /> Vaheta kausta<br /> <br /> cd /etc/opendkim/keys/uusdomeen.ee<br /> <br /> ja tekita uus tsoon käsuga<br /> <br /> opendkim-genkey --restrict --domain uusdomeen.ee --bits 1024 --selector default<br /> <br /> võid muuta väärtusi vastavalt vajadusele. Arvesta, et --bits on vaikimisi 1024. Kui kasutad konfis mingit muud MinimumKeyBits suurust, siis pead seda arvestama võtme loomisel.<br /> <br /> Seepeale tehakse sulle kaks faili (--selector argumendile vastavalt): nimeserveri jaoks TXT kirje ja privaatvõti (default.private ja default.txt).<br /> <br /> Muuda KeyTable faili, lisades sinna<br /> <br /> default._domainkey.uusdomeen.ee uusdomeen.ee:default:/etc/opendkim/keys/uusdomeen.ee/default.private<br /> <br /> Muuda SigningTable faili, lisades sinna<br /> <br /> uusdomeen.ee default._domainkey.uusdomeen.ee<br /> <br /> SigningTable faili puhul olen kohanud ka kirjapilti esimeses väljas *@uusdomeen.ee. Oleneb vist sellest, kas konfis on vaikimisi alamdomeenide allkirjastamine ka sees. Ülanäite puhul tehakse (kuna klapib), aga *@ näite puhul pigem mitte, sest et reegel kehtib vaid @uusdomeen.ee puhul (mitte @alamdomeen.uusdomeen.ee).<br /> <br /> '''Mõlema faili puhul arvesta oma domeeni ja selectori ja kaustapuuga! :)'''<br /> <br /> Nüüd mine oma nimeserveri haldusesse (või palu seda kellelgi teha) ja täienda seda TXT kirjega:<br /> <br /> &lt;pre&gt;<br /> default._domainkey.uusdomeen.ee IN TXT ( &quot;v=DKIM1; k=rsa; s=email; &quot;<br /> &quot;p=avalik_võti_base64_encodingus&quot; ) ;<br /> &lt;/pre&gt;<br /> Olen kohanud ka kirjapilti ilma jutumärkideta. Sellisel juhul peaks kogu kirje olema ilma. Selles näites on mõlemad osad omaette jutumärkidega.<br /> <br /> == Kirja näidispäised ==<br /> Ühe DKIMi poolt allkirjastatud näidiskirja päisest võib leida<br /> <br /> &lt;pre&gt;<br /> DKIM-Filter: OpenDKIM Filter v2.10.3 mxfilter.uusdomeen.ee 861BF8005D<br /> DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/simple; d=uusdomeen.ee;<br /> s=default; t=1570605036;<br /> bh=LQZPc7Ca6aVneKHX25GlrXx4Xtkwjb0tLZwuCasB0MU=;<br /> h=From:To:Subject:Date;<br /> b=e2QagT5U4OjBPjTA7sHdGDAMR9R/UilD6TOsXavn5C3Kg49mIMZXsYF6XF30U5uS3<br /> uB6GRQZwZDQR6C3R1adTSW4qlgTN3eZzREm8DhNthDTG4nsmucOdSNYsFkQBuTgShJ<br /> V5b/2kOyFAjEeiI9UqIf8gcy6F6uiJhOhKQLQG3Y=<br /> &lt;/pre&gt;<br /> <br /> h=From:To:Subject:Date;<br /> Tunnetuslik selgitus hetkel, aga h= peaks näitama neid päiseid, mis olid olemas kirja allkirjastamise hetkel. RFC seletab keeruliselt?<br /> <br /> == Postfixiga integreerimine ==<br /> <br /> Lisa Postfixi main.cf' faili<br /> <br /> &lt;pre&gt;<br /> # DKIM reeglid<br /> smtpd_milters = unix:/run/opendkim/opendkim.sock<br /> non_smtpd_milters=$smtpd_milters<br /> milter_default_action = accept<br /> &lt;/pre&gt;<br /> <br /> == Probleemid DKIMiga ==<br /> Kui kasutad rohkem kui ühte väljuvat e-postiserverit sama domeeni kirjade saatmiseks (nt mailchip või mõni muu masspostitustööriist vmt), siis peaksid seadistama kõigile DKIMi kasutamise. Vastasel juhul on osad kirjad varustatud DKIMi päisega ja osad mitte. Kuna aga su nimeserverist tuleb DKIMi vastus - mis osutub valideerimisel valeks - võib saaja kirja kas minema visata või karantiini või junki panna.<br /> <br /> '''DKIMi võtmeid võib olla rohkem kui üks ja neid saad (pead) eraldada selektoriga!'''<br /> <br /> = DMARC =<br /> <br /> DMARC (Domain-Based Message Authentication, Reporting &amp; Conformance) on protokoll, mis ehitab ennast juba olemasolevate SPF ja DKIM protokollide peale lisades autori, domeeni nime, soovitused kirjade käitlemiseks ning võltskirjade eest kaitseks teated domeeni haldurile.<br /> <br /> DMARC seadistatakse analoogselt kahe vennaga nimeserveris ja selle ilmestamiseks on _dmarc.uusdomeen.ee TXT kirje sisuga:<br /> <br /> &quot;v=DMARC1;p=reject;rua=&lt;nowiki&gt;mailto:dmarcreports@uusdomeen.ee&lt;/nowiki&gt;&quot;<br /> <br /> DMARC kontrollib '''kirja''' From: (header from) päist.<br /> SPF kontroll käib aga '''ümbriku''' saatja (envelope from) pihta. Kui need domeenid erinevad ja kirjal DKIM allkirja pole, siis DMARC kontroll ebaõnnestub!<br /> <br /> == TXT kirje komponendid ==<br /> * v= - versioon, hetkel ainuke valiidne väärtus DMARC1<br /> * p= - policy/poliitika - soovitus, mida kirjadega teha<br /> * rua, fo, rf, ri - vaata [[#Aruanded]] alampeatükki<br /> '''NB! p= peab olema kohe peale v= parameetrit!'''<br /> <br /> == Aruanded ==<br /> <br /> DMARC reeglite poolt on võimalik nendelt e-posti serveritelt aruannete küsimine, kuhu kirju on saadetud.<br /> <br /> Aruannete (Raporting) kohta on neli väärtust TXT kirjes võimalik määrata:<br /> <br /> * fo= - mille kohta aruandeid saadetakse<br /> * rf= - raporti formaat<br /> * ri= - intervall kui tihti raportit saadetakse (vaikimisi 24h)24h).<br /> * rua= - raporti saatmise aadress, forumaat &lt;nowiki&gt;mailto:dmarcreports@example.com&lt;/nowiki&gt;.<br /> <br /> '''NB! rua domeen peaks olema samas domeenis!'''<br /> <br /> == OpenDMARC seadistamine ==<br /> <br /> Paigalda pakihaldusest opendmarc pakk<br /> <br /> pacman -Sy opendmarc<br /> <br /> Tekib töötav konfiguratsioonifail<br /> <br /> /etc/opendkim/opendkim.conf<br /> <br /> === Konfiguratsioon ===<br /> Tutvu sellega ja seadista vastavalt. Soovituslik on example/esialgsed väärtused alles jätta.<br /> Konfiguratsioon on piisavalt ''self-explanatory''.<br /> <br /> Selleks, et opendmarc tarkvara töötaks Postfixiga samas grupis oleks mõistlik seadistada opendmarc service käivitusel:<br /> <br /> mkdir -vp /etc/systemd/system/opendmarc.service.d/<br /> cat &gt; /systemd/system/opendmarc.service.d/override.conf &lt;&lt;EOT<br /> [Service]<br /> Group=<br /> Group=postfix<br /> EOT<br /> <br /> === Socket või IP ===<br /> Kui DMARCile tullakse ligi vaid kohalikust masinast, siis on mõistlik kasutada socketit.<br /> <br /> Selle jaoks konfigureeri vastavalt soovile:<br /> <br /> # Socket inet:8893@localhost<br /> Socket unix:/run/opendmarc/opendmarc.sock<br /> <br /> Näites siis tehakse socket asukohta /run/opendmarc/opendmarc.sock<br /> <br /> NB! Seda pead kasutama pärast ka Postfixi konfiguratsioonis.<br /> <br /> Selleks, et postfix saaks opendkimile ligi on soovituslik opendkim lisada postfix gruppi:<br /> <br /> usermod -a -G postfix opendkim<br /> <br /> Sellisel juhul on vaja ka konfiguratsioonis umask paika panna (et socketi õigused oleksid rwxrwx---)<br /> <br /> UMask 007<br /> <br /> == Postfixiga integreerimine ==<br /> <br /> Vaata ka OpenDKIM Postfixiga integreerimine.<br /> <br /> Postfixi main.cf' faili tuleb lisada<br /> <br /> # DKIM reeglid<br /> smtpd_milters = unix:/run/opendmarc/opendmarc.sock<br /> <br /> Kui sul juba on olemas smtpd_milters muutuja, siis jäta opendkim ettepoole ja dmarc tahapoole.<br /> <br /> Veendu, et sul oleks seadistatud ka:<br /> <br /> non_smtpd_milters=$smtpd_milters<br /> milter_default_action = accept<br /> <br /> = Lingid =<br /> * Zone DKIM: https://help.zone.eu/kb/dkim/<br /> * Zone DMARC: https://help.zone.eu/kb/dmarc-reeglid/<br /> * OpenDMARC - http://www.trusteddomain.org/opendmarc/<br /> * OpenDKIM - http://opendkim.org/<br /> * DKIM RFC4871 - http://dkim.org/specs/rfc4871-dkimbase.html<br /> * Abiks DMARC'i seadistamisel - https://www.kitterman.com/dmarc/assistant.html</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Ruutiv_mitmeharuline_tulem%C3%BC%C3%BCr&diff=30998 2020-11-10T08:12:33Z

<p>Jj: /* Lahendus ja pf.conf faili seadistus */</p> <hr /> <div>{{Täienda}}<br /> ===Tulemüüri ja võrgu konseptsioon===<br /> <br /> On asutus Loomaaed mil domeen zoo.tartu.ee. Asutusele on ISP poolt<br /> terve C klass IP aadresse. See on omakorda jagatud veel mitmeks eri võrguks.<br /> On kontorivõrk, on serverite võrk, on majutatud serverite võrk (mitmesugused<br /> hobi ja teadlaste projektid, loodusuurijate serverid ja loomade jälgimise kaamerad jms). Lisaks<br /> kõigele sellele on olemas veel NATitud sisevõrk ning kasutust leiab uus<br /> edumeelne protokoll IPV6.<br /> <br /> Asutusel on olemas server millel piisavalt CPU jõudlust ning kokku on masinas ülesannete<br /> täitmiseks neli võrgukaarti.<br /> <br /> NB! Põhieesmärk on luua tulemüür mis eraldab võrke, roudib pakette ning blokeerib mustade<br /> nimekirjade alusel halbu aadresse. Eelduseks on see, et kõigil serveritel<br /> on juba olemas oma isiklik personaalne tulemüür kõhus.<br /> <br /> Vaja on mingisugust kontrollkihti reeglite ja kasutaja ette. Ehk siis kogematta tehtud näpuviga<br /> ei hävitaks kogu meie serveriparki ja kontorit hoobilt. Näiteks mingi fireholi laadne wrapper ees on üsnagi hea kuna suudab vigase süntaksi tagasi tõrjuda enne kui iptablesi käskudeks selle moondab jms. <br /> <br /> '''Mõned ideed miks sedalaadi tulemüüri üldse vaja?'''<br /> <br /> *Annab koha kust lülitada „halbu“ aadresse välja.<br /> *Võimaldab piirata kontori windows masinaid<br /> *Võimaldab eraldada majutatud võrgu masinad kontorist<br /> *Pakub keskpunkti load-balance tegemiseks<br /> *Võimaldab kehtestada kiirusepiiranguid majutatud võrgule<br /> *Annab NATitud sisevõrku läpakatele<br /> <br /> '''Nõutavad tingimused tulemüüri tarkvarale'''<br /> <br /> *Lihtne süntaks reeglite kirjutamiseks, või kirjutamise abivahend.<br /> *Saaks kasutada lisaks filtreerimisele ka ruutimiseks<br /> *Oleks maailmas piisavalt levinud (arendatud)<br /> *Tasuta (võiks olla opensource ning aktiivne st suure kasutajatebaasiga ja aktiivses arenduses)<br /> *Võimaldaks erinevaid (koormus ja võrguühenduste)graafikuid joonistada<br /> *Peab olema võimeline hakkama saada suure hulga reeglitega ja massiivse hulga ühendustega. Näiteks<br /> mingi 10 000 ühendust kogu serveripargile pole eriti ulmeline olukord millega tarkvara peab suutma hakkama saada ja seejuures mitte piduriks jääma. Vaja on, et lisaks reeglite töötlusele oskaks<br /> tarkvara ka pakette kiirelt ruutida. <br /> <br /> '''Mõningad kaalutud tarkvaralised/riistvaralised lahendused ja esilekerkinud puudused'''<br /> <br /> *Juniper – Liiga kallis raud (Garantiileping on kulukas ja ilma garantiita paha)<br /> *Pfsense – Ilus aga puudus IPV6 tugi<br /> *Checkpoint – kallis ja haldus liiga Windowsi sõbralik<br /> *Haljas iptables – keeruline käsitsi kirjutada, vead kerged tekkima.<br /> *Iptables ja Firehol – mitmesugused puudused (ipv6 puudus nt)<br /> *Cisco – PIX liiga primitiivne ja erinevad haldusmoodulite hankimine taas kallis<br /> <br /> Packet Filter tundub lahendavat enamus nõudmistest ja on ülal mainitud lahenduste<br /> puudustest vaba. PF juures jääb vaid ainult osustada kas kasutada OpenBSD'd või FreeBSD'd.<br /> Hetkel sai osustatud FreeBSD kasuks kuna selle SMP (mitmiktuumade) osa on rohkem arendatud ning<br /> FreeBSD on oma laiemalt leviku tõttu suuremale hulgale inimestele tuttav. See<br /> samas ei tähenda, et allolevaid reegleid ei saaks kasutada OpenBSD juures. Ainult<br /> RC.CONF seadistus tuleb sellpuhul erinev. Lisaks on tulemüüri konseptsioon ideeliselt<br /> kasutatav igasuguste Linuxiliste ja &quot;karbitulemüüride&quot; puhul.<br /> <br /> Packet Filteri peamine miinus, puuduvad igasugused helperid. Näiteks SIP protokolli läbilasuks. Samas<br /> on aga talle olemas hulga erinevaid proxysid, millede kasutamine lisab küll keerukust aga aitab<br /> probleemist üle saada.<br /> <br /> ===Võrgu poliitika===<br /> *jäme joon - füüsilised ühendused.<br /> *noolega punktiirjoon - tulemüürist lubatud ühendused (nool tähistab suunda, kust-kuhu).<br /> <br /> [[Pilt:Serverivork.png]]<br /> <br /> C klassiks mis jagatud on 193.40.45.0/24<br /> Ruuteri IP aadress on 193.40.45.1<br /> <br /> * Serverivõrk<br /> ** seest välja ühendused oleksid kõik lahti<br /> ** väljast sisse kõikühendused lahti va serveritele:<br /> ** temperatuur.zoo.edu.ee ja monitoorija.zoo.edu.ee<br /> <br /> (viimased kaks on vanad legacy serverid mille portidele ei tahaks lubada välismaad)<br /> <br /> *Kontorivõrk<br /> ** Seest välja ühendused kõik lahti<br /> ** väljast sisse liikuvad kõik ühendused kinni va:<br /> ** kontor.zoo.edu.ee<br /> ** Serverivõrk<br /> <br /> Lisaks ei jagaks DHCP teenus edaspidi enam läpakatele ja ajutistele arvutitele<br /> väliseid IP aadresse vaid sisemisi NATitavaid aadresse.<br /> <br /> * Majutatud võrk<br /> ** sees välja kõik lahti<br /> ** väljas sisse kõik lahti<br /> <br /> ===Lahendus ja pf.conf faili seadistus===<br /> <br /> kasutusel võimalikult palju tabeleid, kuna tabelid tõenäoliselt eraldi reeglitest kiiremad. <br /> Olemas eraldi nn mustad nimekirjad kuhu saab kiiresti vajadusel &quot;halbu&quot; aadresse lisada.<br /> <br /> NB! Tähele tasub panna, et võrreldes tavalise ühe võrgukaardiga tulemüüriga on reeglid nö tagurpidi keeratud.<br /> <br /> Põhimõte tulemüüri valmistamisel oli, mitte kirjutada iga masina kohta käivaid piiranguid üldisesse tulemüüri vaid jätta spetsiifilised porte piiravad reeglid edasi olema igas masinas eraldi Kesksest tulemüürist kehtestatakse üldised piirangud - või siis lubamised.<br /> <br /> PS!: Reeglite süntaks on järgmine: <br /> [pass/block(drop/return)] [in/out] [log] [quick] [on interface] [inet/inet6] \<br /> [proto &lt;tcp/udp/icmp/icmp6&gt;] [from src_addr [port src_port]] [to dst_addr [port dst_port]] \<br /> [flags tcp_flags] [state]<br /> <br /> &lt;source lang=bash&gt;<br /> ext_if = &quot;fxp0&quot;<br /> server_if = &quot;fxp1&quot;<br /> kontor_if = &quot;fxp2&quot;<br /> majutatud_if = &quot;fxp3&quot;<br /> <br /> # Optimiseerimised<br /> set optimization normal<br /> set block-policy drop<br /> set skip on lo0<br /> set limit states 1048576<br /> <br /> #set state-defaults pflow<br /> # mitu erinevat remote ip aadressi saavad samaagselt state'isid pidada. <br /> #See peaks olema koos state limiidiga<br /> set limit src-nodes 30000<br /> <br /> scrub in all<br /> scrub out all random-id max-mss 1440<br /> <br /> # Ruuteri enda aadressid<br /> table &lt;my_addresses&gt; const { 193.40.45.2, 193.40.45.33, 193.40.45.77 }<br /> <br /> # Globaalne tabel kus olevad aadressid koheselt blokeeritakse<br /> table &lt;global_block_in_from&gt; { 0.0.0.0/8, 10.0.0.0/8, 127.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16, 240.0.0.0/4, fc00::/7 }<br /> <br /> # Blokeerime spämmarite ligipääsu postiserveritele<br /> table &lt;smtp_block_in_from&gt; persist<br /> <br /> # Serverite võrgu aadressid millele ligipääs blokeeritud<br /> table &lt;server_block_out_to&gt; const { 193.40.45.60, 193.40.45.61 }<br /> <br /> # Kontori aadressid millele lubatakse ligipääs väljast<br /> table &lt;kontor_pass_out_to&gt; const { 193.40.45.78 }<br /> <br /> # Serverite võrk lubatakse kontorivõrgule ligi<br /> table &lt;kontor_pass_out_from&gt; const { 193.40.45.33/26 }<br /> <br /> # Nat reegel kontori privaataadressidele<br /> nat on $ext_if inet from 192.168.0.0/16 to any -&gt; ($kontor_if:0)<br /> <br /> # IPv6 link-local on lubatud<br /> pass quick to fe80::/10<br /> pass quick from fe80::/10<br /> <br /> #* Sisenev võrk<br /> #<br /> pass on $ext_if all<br /> <br /> # Nende masinatega internetist me ei suhtle<br /> block in log quick on $ext_if from &lt;global_block_in_from&gt; label &quot;global_block_in&quot;<br /> <br /> # Keelame mõnedele kirjade saatmise<br /> block in log quick on $ext_if proto tcp from &lt;smtp_block_in_from&gt; to any port 25 label &quot;smtp_block_in&quot;<br /> <br /> # Paarile serverile piirame ligipääsu<br /> block in log quick on $ext_if to &lt;server_block_out_to&gt; label &quot;server_block_out&quot;<br /> <br /> # Ruuterile piirame ligipääsu väljast<br /> block in log quick on $ext_if proto { tcp, udp } to &lt;my_addresses&gt; label &quot;global_block_in&quot;<br /> <br /> #* Serverivõrk<br /> #<br /> # - seest välja ühendused oleksid kõik lahti<br /> # - väljast sisse kõik ühendused lahti va:<br /> <br /> pass on $server_if all keep state<br /> <br /> #* Kontorivõrk<br /> #<br /> # - Seest välja ühendused kõik lahti<br /> # - väljast sisse liikuvad kõik ühendused kinni va:<br /> # - serverivõrguga liiklus<br /> <br /> block log on $kontor_if all label &quot;blocked_kontor&quot;<br /> pass in on $kontor_if all keep state<br /> pass out on $kontor_if from $kontor_if to $kontor_if:network<br /> pass out on $kontor_if from &lt;kontor_pass_out_from&gt; keep state label &quot;kontor_pass_out&quot;<br /> pass out on $kontor_if to &lt;kontor_pass_out_to&gt; keep state label &quot;kontor_pass_out&quot;<br /> <br /> #* Majutatud võrk<br /> #<br /> # - seest välja kõik lahti<br /> # - väljast sisse kõik lahti:<br /> <br /> pass on $majutatud_if all keep state <br /> <br /> # -- END --<br /> &lt;/source&gt;<br /> <br /> Reeglite kohta statistikat näeb<br /> <br /> # pfctl -v -s rules<br /> <br /> Blokitud IP-de tabelisse saab lisada aadressi või aadressivahemiku käsuga<br /> <br /> # pfctl -t global_block_in_from -T add 218.70.0.0/16<br /> # pfctl -t smtp_block_in_from -T add 218.70.0.0/16<br /> <br /> Tabelis olevaid aadresse saab vaadata käsuga<br /> <br /> # pfctl -t global_block_in_from -T show<br /> # pfctl -t smtp_block_in_from -T show<br /> <br /> Ja tabelist saab kustutada ridu käsuga<br /> <br /> # pfctl -t global_block_in_from -T delete 218.70.0.0/16<br /> # pfctl -t smtp_block_in_from -T delete 218.70.0.0/16<br /> <br /> Selleks, et vabaneda liiga vanadest kirjetest tabelites on olemas järgnev käsk.<br /> <br /> # /sbin/pfctl -t jobud -Te 86400<br /> ..<br /> 15/15 addresses expired.<br /> <br /> Aeg tuleb anda sekundites. Seejärel kustutatakse tabelist kõik 24 tundi vanad ja vanemad kirjed.<br /> ps: Pacet Filteri reloadimine kustutab ka tabelite sisu. Flushitakse kõik peale olekute.<br /> <br /> ===RC.CONF faili seadistus===<br /> &lt;source lang=bash&gt;<br /> hostname=&quot;tulemyyr&quot;<br /> <br /> sshd_enable=&quot;YES&quot;<br /> gateway_enable=&quot;YES&quot;<br /> <br /> defaultrouter=&quot;193.40.45.1&quot;<br /> ifconfig_fxp0=&quot;inet 193.40.45.2 netmask 255.255.255.224&quot;<br /> # nn serverid<br /> ifconfig_fxp1=&quot;inet 193.40.45.33 netmask 255.255.255.224&quot;<br /> # nn kontor<br /> ifconfig_fxp2=&quot;inet 193.40.45.75 netmask 255.255.255.224&quot;<br /> ifconfig_fxp2_alias0=&quot;192.168.1.254 netmask 255.255.255.0&quot;<br /> <br /> pf_enable=&quot;YES&quot;<br /> pflog_enable=&quot;YES&quot;<br /> pf_conf=&quot;/etc/pf.conf&quot;<br /> <br /> Vaikimisi on IPv6 routing keelatud seepärast tuleb see eraldi veel lubada, samuti rtadvd deemon.<br /> ipv6_enable=&quot;YES&quot;<br /> ipv6_gateway_enable=&quot;YES&quot;<br /> <br /> rtadvd_enable=&quot;YES&quot;<br /> rtadvd_interfaces=&quot;igb1 bge0 nfe0&quot;<br /> <br /> # ipv6 aadressid testimiseks<br /> ipv6_ifconfig_fxp2=&quot;fec0:0:0:1::1/64&quot;<br /> ipv6_ifconfig_fxp3=&quot;fec0:0:0:2::1/64&quot;<br /> ipv6_ifconfig_fxp4=&quot;fec0:0:0:3::1/64&quot;<br /> &lt;/source&gt;<br /> <br /> ===Tähelepanekuid ehitamisel===<br /> <br /> Kui serveril on IPMI liides tuleb see paigaldada võrku mis asub väljaspool tulemüüri<br /> haardeulatust.<br /> <br /> Ajutise failoveri saavutamiseks piisab kui kõrval hoida konfitud ja töövalmis sarnane server. Kleepida serverile kaabelduse skeem st mis kaabel kuhu ümber tõsta. Igaks-juhuks teisele kettale kloonitud esimese ketta opsüsteem. Kui aega piisavalt võib mõelda sealt edasi ka CARP &amp; PFsync rakendamisele.<br /> <br /> Tasuks vältida integreeritud kaarte ning nvidia kaarte. Soovituslikud oleksid Inteli tooted.<br /> <br /> Graafikute joonistamiseks võib käivitada SNMP teenuse.<br /> <br /> ===Abiks===<br /> <br /> [[Packet_filteri_optimiseerimine]]<br /> <br /> http://home.nuug.no/~peter/pf/bsdcan2012/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Ruutiv_mitmeharuline_tulem%C3%BC%C3%BCr&diff=30997 2020-11-10T08:11:57Z

<p>Jj: /* Lahendus ja pf.conf faili seadistus */</p> <hr /> <div>{{Täienda}}<br /> ===Tulemüüri ja võrgu konseptsioon===<br /> <br /> On asutus Loomaaed mil domeen zoo.tartu.ee. Asutusele on ISP poolt<br /> terve C klass IP aadresse. See on omakorda jagatud veel mitmeks eri võrguks.<br /> On kontorivõrk, on serverite võrk, on majutatud serverite võrk (mitmesugused<br /> hobi ja teadlaste projektid, loodusuurijate serverid ja loomade jälgimise kaamerad jms). Lisaks<br /> kõigele sellele on olemas veel NATitud sisevõrk ning kasutust leiab uus<br /> edumeelne protokoll IPV6.<br /> <br /> Asutusel on olemas server millel piisavalt CPU jõudlust ning kokku on masinas ülesannete<br /> täitmiseks neli võrgukaarti.<br /> <br /> NB! Põhieesmärk on luua tulemüür mis eraldab võrke, roudib pakette ning blokeerib mustade<br /> nimekirjade alusel halbu aadresse. Eelduseks on see, et kõigil serveritel<br /> on juba olemas oma isiklik personaalne tulemüür kõhus.<br /> <br /> Vaja on mingisugust kontrollkihti reeglite ja kasutaja ette. Ehk siis kogematta tehtud näpuviga<br /> ei hävitaks kogu meie serveriparki ja kontorit hoobilt. Näiteks mingi fireholi laadne wrapper ees on üsnagi hea kuna suudab vigase süntaksi tagasi tõrjuda enne kui iptablesi käskudeks selle moondab jms. <br /> <br /> '''Mõned ideed miks sedalaadi tulemüüri üldse vaja?'''<br /> <br /> *Annab koha kust lülitada „halbu“ aadresse välja.<br /> *Võimaldab piirata kontori windows masinaid<br /> *Võimaldab eraldada majutatud võrgu masinad kontorist<br /> *Pakub keskpunkti load-balance tegemiseks<br /> *Võimaldab kehtestada kiirusepiiranguid majutatud võrgule<br /> *Annab NATitud sisevõrku läpakatele<br /> <br /> '''Nõutavad tingimused tulemüüri tarkvarale'''<br /> <br /> *Lihtne süntaks reeglite kirjutamiseks, või kirjutamise abivahend.<br /> *Saaks kasutada lisaks filtreerimisele ka ruutimiseks<br /> *Oleks maailmas piisavalt levinud (arendatud)<br /> *Tasuta (võiks olla opensource ning aktiivne st suure kasutajatebaasiga ja aktiivses arenduses)<br /> *Võimaldaks erinevaid (koormus ja võrguühenduste)graafikuid joonistada<br /> *Peab olema võimeline hakkama saada suure hulga reeglitega ja massiivse hulga ühendustega. Näiteks<br /> mingi 10 000 ühendust kogu serveripargile pole eriti ulmeline olukord millega tarkvara peab suutma hakkama saada ja seejuures mitte piduriks jääma. Vaja on, et lisaks reeglite töötlusele oskaks<br /> tarkvara ka pakette kiirelt ruutida. <br /> <br /> '''Mõningad kaalutud tarkvaralised/riistvaralised lahendused ja esilekerkinud puudused'''<br /> <br /> *Juniper – Liiga kallis raud (Garantiileping on kulukas ja ilma garantiita paha)<br /> *Pfsense – Ilus aga puudus IPV6 tugi<br /> *Checkpoint – kallis ja haldus liiga Windowsi sõbralik<br /> *Haljas iptables – keeruline käsitsi kirjutada, vead kerged tekkima.<br /> *Iptables ja Firehol – mitmesugused puudused (ipv6 puudus nt)<br /> *Cisco – PIX liiga primitiivne ja erinevad haldusmoodulite hankimine taas kallis<br /> <br /> Packet Filter tundub lahendavat enamus nõudmistest ja on ülal mainitud lahenduste<br /> puudustest vaba. PF juures jääb vaid ainult osustada kas kasutada OpenBSD'd või FreeBSD'd.<br /> Hetkel sai osustatud FreeBSD kasuks kuna selle SMP (mitmiktuumade) osa on rohkem arendatud ning<br /> FreeBSD on oma laiemalt leviku tõttu suuremale hulgale inimestele tuttav. See<br /> samas ei tähenda, et allolevaid reegleid ei saaks kasutada OpenBSD juures. Ainult<br /> RC.CONF seadistus tuleb sellpuhul erinev. Lisaks on tulemüüri konseptsioon ideeliselt<br /> kasutatav igasuguste Linuxiliste ja &quot;karbitulemüüride&quot; puhul.<br /> <br /> Packet Filteri peamine miinus, puuduvad igasugused helperid. Näiteks SIP protokolli läbilasuks. Samas<br /> on aga talle olemas hulga erinevaid proxysid, millede kasutamine lisab küll keerukust aga aitab<br /> probleemist üle saada.<br /> <br /> ===Võrgu poliitika===<br /> *jäme joon - füüsilised ühendused.<br /> *noolega punktiirjoon - tulemüürist lubatud ühendused (nool tähistab suunda, kust-kuhu).<br /> <br /> [[Pilt:Serverivork.png]]<br /> <br /> C klassiks mis jagatud on 193.40.45.0/24<br /> Ruuteri IP aadress on 193.40.45.1<br /> <br /> * Serverivõrk<br /> ** seest välja ühendused oleksid kõik lahti<br /> ** väljast sisse kõikühendused lahti va serveritele:<br /> ** temperatuur.zoo.edu.ee ja monitoorija.zoo.edu.ee<br /> <br /> (viimased kaks on vanad legacy serverid mille portidele ei tahaks lubada välismaad)<br /> <br /> *Kontorivõrk<br /> ** Seest välja ühendused kõik lahti<br /> ** väljast sisse liikuvad kõik ühendused kinni va:<br /> ** kontor.zoo.edu.ee<br /> ** Serverivõrk<br /> <br /> Lisaks ei jagaks DHCP teenus edaspidi enam läpakatele ja ajutistele arvutitele<br /> väliseid IP aadresse vaid sisemisi NATitavaid aadresse.<br /> <br /> * Majutatud võrk<br /> ** sees välja kõik lahti<br /> ** väljas sisse kõik lahti<br /> <br /> ===Lahendus ja pf.conf faili seadistus===<br /> <br /> kasutusel võimalikult palju tabeleid, kuna tabelid tõenäoliselt eraldi reeglitest kiiremad. <br /> Olemas eraldi nn mustad nimekirjad kuhu saab kiiresti vajadusel &quot;halbu&quot; aadresse lisada.<br /> <br /> NB! Tähele tasub panna, et võrreldes tavalise ühe võrgukaardiga tulemüüriga on reeglid nö tagurpidi keeratud.<br /> <br /> Põhimõte tulemüüri valmistamisel oli, mitte kirjutada iga masina kohta käivaid piiranguid üldisesse tulemüüri vaid jätta spetsiifilised porte piiravad reeglid edasi olema igas masinas eraldi Kesksest tulemüürist kehtestatakse üldised piirangud - või siis lubamised.<br /> <br /> PS!: Reeglite süntaks on järgmine: <br /> [pass/block(drop/return)] [in/out] [log] [quick] [on interface] [inet/inet6] \<br /> [proto &lt;tcp/udp/icmp/icmp6&gt;] [from src_addr [port src_port]] [to dst_addr [port dst_port]] \<br /> [flags tcp_flags] [state]<br /> <br /> &lt;source lang=bash&gt;<br /> ext_if = &quot;fxp0&quot;<br /> server_if = &quot;fxp1&quot;<br /> kontor_if = &quot;fxp2&quot;<br /> majutatud_if = &quot;fxp3&quot;<br /> <br /> # Optimiseerimised<br /> set optimization normal<br /> set block-policy drop<br /> set skip on lo0<br /> set limit states 1048576<br /> <br /> #set state-defaults pflow<br /> # mitu erinevat remote ip aadressi saavad samaagselt state'isid pidada. <br /> #See peaks olema koos state limiidiga<br /> set limit src-nodes 30000<br /> <br /> scrub in all<br /> scrub out all random-id max-mss 1440<br /> <br /> # Ruuteri enda aadressid<br /> table &lt;my_addresses&gt; const { 193.40.45.2, 193.40.45.33, 193.40.45.77 }<br /> <br /> # Globaalne tabel kus olevad aadressid koheselt blokeeritakse<br /> table &lt;global_block_in_from&gt; { 0.0.0.0/8, 10.0.0.0/8, 127.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16, 240.0.0.0/4, fc00::/7 }<br /> <br /> # Blokeerime spämmarite ligipääsu postiserveritele<br /> table &lt;smtp_block_in_from&gt; persist<br /> <br /> # Serverite võrgu aadressid millele ligipääs blokeeritud<br /> table &lt;server_block_out_to&gt; const { 193.40.45.60, 193.40.45.61 }<br /> <br /> # Kontori aadressid millele lubatakse ligipääs väljast<br /> table &lt;kontor_pass_out_to&gt; const { 193.40.45.78 }<br /> <br /> # Serverite võrk lubatakse kontorivõrgule ligi<br /> table &lt;kontor_pass_out_from&gt; const { 193.40.45.33/26 }<br /> <br /> # Nat reegel kontori privaataadressidele<br /> nat on $ext_if inet from 192.168.0.0/16 to any -&gt; ($kontor_if:0)<br /> <br /> # IPv6 link-local on lubatud<br /> pass quick to fe80::/10<br /> pass quick from fe80::/10<br /> <br /> #* Sisenev võrk<br /> #<br /> pass on $ext_if all<br /> <br /> # Nende masinatega internetist me ei suhtle<br /> block in log quick on $ext_if from &lt;global_block_in_from&gt; label &quot;global_block_in&quot;<br /> <br /> # Keelame mõnedele kirjade saatmise<br /> block in log quick on $ext_if proto tcp from &lt;smtp_block_in_from&gt; to any port 25 label &quot;smtp_block_in&quot;<br /> <br /> # Paarile serverile piirame ligipääsu<br /> block in log quick on $ext_if to &lt;server_block_out_to&gt; label &quot;server_block_out&quot;<br /> <br /> # Ruuterile piirame ligipääsu väljast<br /> block in log quick on $ext_if proto { tcp, udp } to &lt;my_addresses&gt; label &quot;global_block_in&quot;<br /> <br /> #* Serverivõrk<br /> #<br /> # - seest välja ühendused oleksid kõik lahti<br /> # - väljast sisse kõik ühendused lahti va:<br /> <br /> pass on $server_if all keep state<br /> <br /> #* Kontorivõrk<br /> #<br /> # - Seest välja ühendused kõik lahti<br /> # - väljast sisse liikuvad kõik ühendused kinni va:<br /> # - serverivõrguga liiklus<br /> <br /> block log on $kontor_if all label &quot;blocked_kontor&quot;<br /> pass in on $kontor_if all keep state<br /> pass out on $kontor_if from $kontor_if to $kontor_if:network<br /> pass out on $kontor_if from &lt;kontor_pass_out_from&gt; keep state label &quot;kontor_pass_out&quot;<br /> pass out on $kontor_if to &lt;kontor_pass_out_to&gt; keep state label &quot;kontor_pass_out&quot;<br /> <br /> #* Majutatud võrk<br /> #<br /> # - seest välja kõik lahti<br /> # - väljast sisse kõik lahti:<br /> <br /> pass on $majutatud_if all keep state <br /> <br /> # -- END --<br /> &lt;/source&gt;<br /> <br /> Blokitud IP-de tabelisse saab lisada aadressi või aadressivahemiku käsuga<br /> <br /> # pfctl -t global_block_in_from -T add 218.70.0.0/16<br /> # pfctl -t smtp_block_in_from -T add 218.70.0.0/16<br /> <br /> Tabelis olevaid aadresse saab vaadata käsuga<br /> <br /> # pfctl -t global_block_in_from -T show<br /> # pfctl -t smtp_block_in_from -T show<br /> <br /> Ja tabelist saab kustutada ridu käsuga<br /> <br /> # pfctl -t global_block_in_from -T delete 218.70.0.0/16<br /> # pfctl -t smtp_block_in_from -T delete 218.70.0.0/16<br /> <br /> Selleks, et vabaneda liiga vanadest kirjetest tabelites on olemas järgnev käsk.<br /> <br /> # /sbin/pfctl -t jobud -Te 86400<br /> ..<br /> 15/15 addresses expired.<br /> <br /> Aeg tuleb anda sekundites. Seejärel kustutatakse tabelist kõik 24 tundi vanad ja vanemad kirjed.<br /> ps: Pacet Filteri reloadimine kustutab ka tabelite sisu. Flushitakse kõik peale olekute.<br /> <br /> Reeglite kohta statistikat näeb<br /> <br /> # pfctl -v -s rules<br /> <br /> ===RC.CONF faili seadistus===<br /> &lt;source lang=bash&gt;<br /> hostname=&quot;tulemyyr&quot;<br /> <br /> sshd_enable=&quot;YES&quot;<br /> gateway_enable=&quot;YES&quot;<br /> <br /> defaultrouter=&quot;193.40.45.1&quot;<br /> ifconfig_fxp0=&quot;inet 193.40.45.2 netmask 255.255.255.224&quot;<br /> # nn serverid<br /> ifconfig_fxp1=&quot;inet 193.40.45.33 netmask 255.255.255.224&quot;<br /> # nn kontor<br /> ifconfig_fxp2=&quot;inet 193.40.45.75 netmask 255.255.255.224&quot;<br /> ifconfig_fxp2_alias0=&quot;192.168.1.254 netmask 255.255.255.0&quot;<br /> <br /> pf_enable=&quot;YES&quot;<br /> pflog_enable=&quot;YES&quot;<br /> pf_conf=&quot;/etc/pf.conf&quot;<br /> <br /> Vaikimisi on IPv6 routing keelatud seepärast tuleb see eraldi veel lubada, samuti rtadvd deemon.<br /> ipv6_enable=&quot;YES&quot;<br /> ipv6_gateway_enable=&quot;YES&quot;<br /> <br /> rtadvd_enable=&quot;YES&quot;<br /> rtadvd_interfaces=&quot;igb1 bge0 nfe0&quot;<br /> <br /> # ipv6 aadressid testimiseks<br /> ipv6_ifconfig_fxp2=&quot;fec0:0:0:1::1/64&quot;<br /> ipv6_ifconfig_fxp3=&quot;fec0:0:0:2::1/64&quot;<br /> ipv6_ifconfig_fxp4=&quot;fec0:0:0:3::1/64&quot;<br /> &lt;/source&gt;<br /> <br /> ===Tähelepanekuid ehitamisel===<br /> <br /> Kui serveril on IPMI liides tuleb see paigaldada võrku mis asub väljaspool tulemüüri<br /> haardeulatust.<br /> <br /> Ajutise failoveri saavutamiseks piisab kui kõrval hoida konfitud ja töövalmis sarnane server. Kleepida serverile kaabelduse skeem st mis kaabel kuhu ümber tõsta. Igaks-juhuks teisele kettale kloonitud esimese ketta opsüsteem. Kui aega piisavalt võib mõelda sealt edasi ka CARP &amp; PFsync rakendamisele.<br /> <br /> Tasuks vältida integreeritud kaarte ning nvidia kaarte. Soovituslikud oleksid Inteli tooted.<br /> <br /> Graafikute joonistamiseks võib käivitada SNMP teenuse.<br /> <br /> ===Abiks===<br /> <br /> [[Packet_filteri_optimiseerimine]]<br /> <br /> http://home.nuug.no/~peter/pf/bsdcan2012/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30995 2020-08-11T08:29:35Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> [[Fail:Freeipa2.jpg]]<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada mis antud näites on freeipa.test.ee. võimalik on test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> Kliendi eemaldamine<br /> <br /> # ipa-client-install --uninstall<br /> <br /> Kliendi seadistamine FreeIPA serverile<br /> <br /> # authconfig --enablesssdauth --enablemkhomedir --update --enablesssd<br /> <br /> ===Backup serveri paigaldus===<br /> <br /> Paigalda FreeIPA samamoodi nagu peaserverile ning seadista kinit käsuga admin kasutaja<br /> <br /> # ipa hostgroup-add-member ipaservers --hosts freeipa.test.ee<br /> # ipa-replica-install --setup-ca<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Fail:Freeipa2.jpg&diff=30994 2020-08-11T08:29:11Z

<p>Jj: </p> <hr /> <div></div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30993 2020-08-11T08:25:56Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> [[Fail:Freeipa.jpg|800px]]<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada mis antud näites on freeipa.test.ee. võimalik on test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> Kliendi eemaldamine<br /> <br /> # ipa-client-install --uninstall<br /> <br /> Kliendi seadistamine FreeIPA serverile<br /> <br /> # authconfig --enablesssdauth --enablemkhomedir --update --enablesssd<br /> <br /> ===Backup serveri paigaldus===<br /> <br /> Paigalda FreeIPA samamoodi nagu peaserverile ning seadista kinit käsuga admin kasutaja<br /> <br /> # ipa hostgroup-add-member ipaservers --hosts freeipa.test.ee<br /> # ipa-replica-install --setup-ca<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30992 2020-08-11T08:25:28Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> [[Fail:Freeipa.jpg|700px]]<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada mis antud näites on freeipa.test.ee. võimalik on test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> Kliendi eemaldamine<br /> <br /> # ipa-client-install --uninstall<br /> <br /> Kliendi seadistamine FreeIPA serverile<br /> <br /> # authconfig --enablesssdauth --enablemkhomedir --update --enablesssd<br /> <br /> ===Backup serveri paigaldus===<br /> <br /> Paigalda FreeIPA samamoodi nagu peaserverile ning seadista kinit käsuga admin kasutaja<br /> <br /> # ipa hostgroup-add-member ipaservers --hosts freeipa.test.ee<br /> # ipa-replica-install --setup-ca<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30991 2020-08-11T08:25:21Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> [[Fail:Freeipa.jpg|500px]]<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada mis antud näites on freeipa.test.ee. võimalik on test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> Kliendi eemaldamine<br /> <br /> # ipa-client-install --uninstall<br /> <br /> Kliendi seadistamine FreeIPA serverile<br /> <br /> # authconfig --enablesssdauth --enablemkhomedir --update --enablesssd<br /> <br /> ===Backup serveri paigaldus===<br /> <br /> Paigalda FreeIPA samamoodi nagu peaserverile ning seadista kinit käsuga admin kasutaja<br /> <br /> # ipa hostgroup-add-member ipaservers --hosts freeipa.test.ee<br /> # ipa-replica-install --setup-ca<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30990 2020-08-11T08:24:43Z

<p>Jj: /* Sissejuhatus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> [[Fail:Freeipa.jpg]]<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada mis antud näites on freeipa.test.ee. võimalik on test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> Kliendi eemaldamine<br /> <br /> # ipa-client-install --uninstall<br /> <br /> Kliendi seadistamine FreeIPA serverile<br /> <br /> # authconfig --enablesssdauth --enablemkhomedir --update --enablesssd<br /> <br /> ===Backup serveri paigaldus===<br /> <br /> Paigalda FreeIPA samamoodi nagu peaserverile ning seadista kinit käsuga admin kasutaja<br /> <br /> # ipa hostgroup-add-member ipaservers --hosts freeipa.test.ee<br /> # ipa-replica-install --setup-ca<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30988 2020-08-10T12:43:41Z

<p>Jj: /* Kliendi seadistus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada mis antud näites on freeipa.test.ee. võimalik on test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> Kliendi eemaldamine<br /> <br /> # ipa-client-install --uninstall<br /> <br /> Kliendi seadistamine FreeIPA serverile<br /> <br /> # authconfig --enablesssdauth --enablemkhomedir --update --enablesssd<br /> <br /> ===Backup serveri paigaldus===<br /> <br /> Paigalda FreeIPA samamoodi nagu peaserverile ning seadista kinit käsuga admin kasutaja<br /> <br /> # ipa hostgroup-add-member ipaservers --hosts freeipa.test.ee<br /> # ipa-replica-install --setup-ca<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30987 2020-08-10T12:40:50Z

<p>Jj: /* Kliendi seadistus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada mis antud näites on freeipa.test.ee. võimalik on test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> Kliendi eemaldamine<br /> <br /> # ipa-client-install --uninstall<br /> <br /> Kliendi seadistamine FreeIPA serverile<br /> <br /> # authconfig --enablesssdauth --enablemkhomedir --update --enablesssd<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Barman&diff=30986 2020-08-07T09:15:31Z

<p>Jj: /* Paigaldus Debianis */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Barman on postgresi varundamise vahend, kus postgresql server saadab pidevalt enda muudatused wal-idena barmani serverisse ning annab seeläbi point-in-time recovery võimekuse.<br /> <br /> * Postgres-server 192.168.0.4<br /> * Barman-server 192.168.0.5<br /> <br /> ===Paigaldus Debianis===<br /> <br /> # apt-get install barman barman-cli<br /> <br /> Postgresql server ja barman server peavad suutma mõlemad logida ssh võtmetega üksteise käsureale. Ehk siis barman kasutaja peab saama logida postgres kasutajaga<br /> postgres sererisse ja postgres serer omakorda barman kasutajaga barmani serverisse.<br /> <br /> Postgresql serveris<br /> # sudo -u postgres ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;postgres@server-a&quot;<br /> <br /> Barman serveris <br /> <br /> # sudo -u barman ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;barman@server-b&quot;<br /> <br /> ===Seadistus===<br /> <br /> Avame barmani serveris /etc/barman.conf<br /> <br /> [barman]<br /> barman_home = /srv/barman<br /> barman_user = barman<br /> log_file = /var/log/barman/barman.log<br /> compression = gzip<br /> reuse_backup = link<br /> backup_method = rsync<br /> archiver = on<br /> <br /> [main-server]<br /> description = &quot;Main DB Server&quot;<br /> ssh_command = ssh postgres@192.168.0.4<br /> backup_options = exclusive_backup<br /> parallel_jobs = 1<br /> conninfo = host=192.168.0.4 user=postgres password=parool<br /> last_backup_maximum_age = 33 DAYS<br /> minimum_redundancy = 1<br /> retention_policy = RECOVERY WINDOW OF 1 MONTHS<br /> <br /> Postgres serveris lisame käsud rsyncida walide barmani saatmise, postgresql.conf<br /> <br /> archive_mode = on<br /> archive_command = ‘rsync -a %p barman@192.168.0.5:/srv/barman/main-server/incoming/%f`<br /> <br /> /var/data/barman/main-server/incoming/%f<br /> <br /> ===Kasutamine===<br /> <br /> Tekitame main backupi<br /> <br /> # barman backup postgres-server<br /> <br /> Vaatamiseks<br /> <br /> # barman list-backup postges-server<br /> <br /> Barman võimaldab ka point-in-time taastamist otse serverisse, kus võetakse aluseks üks backupidest ning täiendatakse seda arhiveeritud wal-idega<br /> <br /> # barman recover --target-time &quot;2020-03-04 06:42:34.139167+02:00&quot; --remote-ssh-command &quot;ssh postgres@192.168.0.4&quot; main-server 20200304T010401 /var/data/pgdata<br /> <br /> ===Lingid===<br /> <br /> https://www.digitalocean.com/community/tutorials/how-to-back-up-restore-and-migrate-postgresql-databases-with-barman-on-centos-7</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Barman&diff=30985 2020-08-07T09:14:12Z

<p>Jj: /* Seadistus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Barman on postgresi varundamise vahend, kus postgresql server saadab pidevalt enda muudatused wal-idena barmani serverisse ning annab seeläbi point-in-time recovery võimekuse.<br /> <br /> * Postgres-server 192.168.0.4<br /> * Barman-server 192.168.0.5<br /> <br /> ===Paigaldus Debianis===<br /> <br /> # apt-get install barman barman-cli<br /> <br /> Postgresql server ja barman server peavad suutma mõlemad logida ssh võtmetega üksteise käsureale<br /> <br /> Postgresql serveris<br /> # sudo -u postgres ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;postgres@server-a&quot;<br /> <br /> Barman serveris <br /> <br /> # sudo -u barman ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;barman@server-b&quot;<br /> <br /> ===Seadistus===<br /> <br /> Avame barmani serveris /etc/barman.conf<br /> <br /> [barman]<br /> barman_home = /srv/barman<br /> barman_user = barman<br /> log_file = /var/log/barman/barman.log<br /> compression = gzip<br /> reuse_backup = link<br /> backup_method = rsync<br /> archiver = on<br /> <br /> [main-server]<br /> description = &quot;Main DB Server&quot;<br /> ssh_command = ssh postgres@192.168.0.4<br /> backup_options = exclusive_backup<br /> parallel_jobs = 1<br /> conninfo = host=192.168.0.4 user=postgres password=parool<br /> last_backup_maximum_age = 33 DAYS<br /> minimum_redundancy = 1<br /> retention_policy = RECOVERY WINDOW OF 1 MONTHS<br /> <br /> Postgres serveris lisame käsud rsyncida walide barmani saatmise, postgresql.conf<br /> <br /> archive_mode = on<br /> archive_command = ‘rsync -a %p barman@192.168.0.5:/srv/barman/main-server/incoming/%f`<br /> <br /> /var/data/barman/main-server/incoming/%f<br /> <br /> ===Kasutamine===<br /> <br /> Tekitame main backupi<br /> <br /> # barman backup postgres-server<br /> <br /> Vaatamiseks<br /> <br /> # barman list-backup postges-server<br /> <br /> Barman võimaldab ka point-in-time taastamist otse serverisse, kus võetakse aluseks üks backupidest ning täiendatakse seda arhiveeritud wal-idega<br /> <br /> # barman recover --target-time &quot;2020-03-04 06:42:34.139167+02:00&quot; --remote-ssh-command &quot;ssh postgres@192.168.0.4&quot; main-server 20200304T010401 /var/data/pgdata<br /> <br /> ===Lingid===<br /> <br /> https://www.digitalocean.com/community/tutorials/how-to-back-up-restore-and-migrate-postgresql-databases-with-barman-on-centos-7</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Barman&diff=30984 2020-08-07T09:11:41Z

<p>Jj: /* Seadistus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Barman on postgresi varundamise vahend, kus postgresql server saadab pidevalt enda muudatused wal-idena barmani serverisse ning annab seeläbi point-in-time recovery võimekuse.<br /> <br /> * Postgres-server 192.168.0.4<br /> * Barman-server 192.168.0.5<br /> <br /> ===Paigaldus Debianis===<br /> <br /> # apt-get install barman barman-cli<br /> <br /> Postgresql server ja barman server peavad suutma mõlemad logida ssh võtmetega üksteise käsureale<br /> <br /> Postgresql serveris<br /> # sudo -u postgres ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;postgres@server-a&quot;<br /> <br /> Barman serveris <br /> <br /> # sudo -u barman ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;barman@server-b&quot;<br /> <br /> ===Seadistus===<br /> <br /> Avame barmani serveris /etc/barman.conf<br /> <br /> [barman]<br /> barman_home = /srv/barman<br /> barman_user = barman<br /> log_file = /var/log/barman/barman.log<br /> compression = gzip<br /> reuse_backup = link<br /> backup_method = rsync<br /> archiver = on<br /> <br /> [main-db-server]<br /> description = &quot;Main DB Server&quot;<br /> ssh_command = ssh postgres@192.168.0.4<br /> backup_options = exclusive_backup<br /> parallel_jobs = 1<br /> conninfo = host=192.168.0.4 user=postgres password=parool<br /> last_backup_maximum_age = 33 DAYS<br /> minimum_redundancy = 1<br /> retention_policy = RECOVERY WINDOW OF 1 MONTHS<br /> <br /> Postgres serveris lisame käsud rsyncida walide barmani saatmise, postgresql.conf<br /> <br /> archive_mode = on<br /> archive_command = ‘rsync -a %p barman@192.168.0.5:STREAMING_WALS_DIRECTORY/%f`<br /> <br /> ===Kasutamine===<br /> <br /> Tekitame main backupi<br /> <br /> # barman backup postgres-server<br /> <br /> Vaatamiseks<br /> <br /> # barman list-backup postges-server<br /> <br /> Barman võimaldab ka point-in-time taastamist otse serverisse, kus võetakse aluseks üks backupidest ning täiendatakse seda arhiveeritud wal-idega<br /> <br /> # barman recover --target-time &quot;2020-03-04 06:42:34.139167+02:00&quot; --remote-ssh-command &quot;ssh postgres@192.168.0.4&quot; main-server 20200304T010401 /var/data/pgdata<br /> <br /> ===Lingid===<br /> <br /> https://www.digitalocean.com/community/tutorials/how-to-back-up-restore-and-migrate-postgresql-databases-with-barman-on-centos-7</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Barman&diff=30983 2020-08-06T09:50:48Z

<p>Jj: /* Seadistus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Barman on postgresi varundamise vahend, kus postgresql server saadab pidevalt enda muudatused wal-idena barmani serverisse ning annab seeläbi point-in-time recovery võimekuse.<br /> <br /> * Postgres-server 192.168.0.4<br /> * Barman-server 192.168.0.5<br /> <br /> ===Paigaldus Debianis===<br /> <br /> # apt-get install barman barman-cli<br /> <br /> Postgresql server ja barman server peavad suutma mõlemad logida ssh võtmetega üksteise käsureale<br /> <br /> Postgresql serveris<br /> # sudo -u postgres ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;postgres@server-a&quot;<br /> <br /> Barman serveris <br /> <br /> # sudo -u barman ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;barman@server-b&quot;<br /> <br /> ===Seadistus===<br /> <br /> Avame barmani serveris /etc/barman.conf<br /> <br /> [barman]<br /> barman_home = /srv/barman<br /> barman_user = barman<br /> log_file = /var/log/barman/barman.log<br /> compression = gzip<br /> reuse_backup = link<br /> backup_method = rsync<br /> archiver = on<br /> <br /> [main-db-server]<br /> description = &quot;Main DB Server&quot;<br /> ssh_command = ssh postgres@192.168.0.4<br /> conninfo = host=192.168.0.4 user=postgres<br /> <br /> Postgres serveris lisame käsud rsyncida walide barmani saatmise, postgresql.conf<br /> <br /> archive_mode = on<br /> archive_command = ‘rsync -a %p barman@192.168.0.5:STREAMING_WALS_DIRECTORY/%f`<br /> <br /> ===Kasutamine===<br /> <br /> Tekitame main backupi<br /> <br /> # barman backup postgres-server<br /> <br /> Vaatamiseks<br /> <br /> # barman list-backup postges-server<br /> <br /> Barman võimaldab ka point-in-time taastamist otse serverisse, kus võetakse aluseks üks backupidest ning täiendatakse seda arhiveeritud wal-idega<br /> <br /> # barman recover --target-time &quot;2020-03-04 06:42:34.139167+02:00&quot; --remote-ssh-command &quot;ssh postgres@192.168.0.4&quot; main-server 20200304T010401 /var/data/pgdata<br /> <br /> ===Lingid===<br /> <br /> https://www.digitalocean.com/community/tutorials/how-to-back-up-restore-and-migrate-postgresql-databases-with-barman-on-centos-7</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Barman&diff=30982 2020-08-06T09:43:42Z

<p>Jj: /* Sissejuhatus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Barman on postgresi varundamise vahend, kus postgresql server saadab pidevalt enda muudatused wal-idena barmani serverisse ning annab seeläbi point-in-time recovery võimekuse.<br /> <br /> * Postgres-server 192.168.0.4<br /> * Barman-server 192.168.0.5<br /> <br /> ===Paigaldus Debianis===<br /> <br /> # apt-get install barman barman-cli<br /> <br /> Postgresql server ja barman server peavad suutma mõlemad logida ssh võtmetega üksteise käsureale<br /> <br /> Postgresql serveris<br /> # sudo -u postgres ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;postgres@server-a&quot;<br /> <br /> Barman serveris <br /> <br /> # sudo -u barman ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;barman@server-b&quot;<br /> <br /> ===Seadistus===<br /> <br /> Avame barmani serveris /etc/barman.conf<br /> <br /> [barman]<br /> barman_home = /srv/barman<br /> barman_user = barman<br /> log_file = /var/log/barman/barman.log<br /> compression = gzip<br /> reuse_backup = link<br /> backup_method = rsync<br /> archiver = on<br /> <br /> [main-db-server]<br /> description = &quot;Main DB Server&quot;<br /> ssh_command = ssh postgres@192.168.0.4<br /> conninfo = host=192.168.0.4 user=postgres<br /> <br /> Postgres serveris lisame postgresql.conf<br /> <br /> archive_mode = on<br /> archive_command = ‘rsync -a %p barman@192.168.0.5:STREAMING_WALS_DIRECTORY/%f`<br /> <br /> ===Kasutamine===<br /> <br /> Tekitame main backupi<br /> <br /> # barman backup postgres-server<br /> <br /> Vaatamiseks<br /> <br /> # barman list-backup postges-server<br /> <br /> Barman võimaldab ka point-in-time taastamist otse serverisse, kus võetakse aluseks üks backupidest ning täiendatakse seda arhiveeritud wal-idega<br /> <br /> # barman recover --target-time &quot;2020-03-04 06:42:34.139167+02:00&quot; --remote-ssh-command &quot;ssh postgres@192.168.0.4&quot; main-server 20200304T010401 /var/data/pgdata<br /> <br /> ===Lingid===<br /> <br /> https://www.digitalocean.com/community/tutorials/how-to-back-up-restore-and-migrate-postgresql-databases-with-barman-on-centos-7</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Barman&diff=30981 2020-08-06T08:54:36Z

<p>Jj: /* Kasutamine */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> * Postgres-server 192.168.0.4<br /> * Barman-server 192.168.0.5<br /> <br /> ===Paigaldus Debianis===<br /> <br /> # apt-get install barman barman-cli<br /> <br /> Postgresql server ja barman server peavad suutma mõlemad logida ssh võtmetega üksteise käsureale<br /> <br /> Postgresql serveris<br /> # sudo -u postgres ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;postgres@server-a&quot;<br /> <br /> Barman serveris <br /> <br /> # sudo -u barman ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;barman@server-b&quot;<br /> <br /> ===Seadistus===<br /> <br /> Avame barmani serveris /etc/barman.conf<br /> <br /> [barman]<br /> barman_home = /srv/barman<br /> barman_user = barman<br /> log_file = /var/log/barman/barman.log<br /> compression = gzip<br /> reuse_backup = link<br /> backup_method = rsync<br /> archiver = on<br /> <br /> [main-db-server]<br /> description = &quot;Main DB Server&quot;<br /> ssh_command = ssh postgres@192.168.0.4<br /> conninfo = host=192.168.0.4 user=postgres<br /> <br /> Postgres serveris lisame postgresql.conf<br /> <br /> archive_mode = on<br /> archive_command = ‘rsync -a %p barman@192.168.0.5:STREAMING_WALS_DIRECTORY/%f`<br /> <br /> ===Kasutamine===<br /> <br /> Tekitame main backupi<br /> <br /> # barman backup postgres-server<br /> <br /> Vaatamiseks<br /> <br /> # barman list-backup postges-server<br /> <br /> Barman võimaldab ka point-in-time taastamist otse serverisse, kus võetakse aluseks üks backupidest ning täiendatakse seda arhiveeritud wal-idega<br /> <br /> # barman recover --target-time &quot;2020-03-04 06:42:34.139167+02:00&quot; --remote-ssh-command &quot;ssh postgres@192.168.0.4&quot; main-server 20200304T010401 /var/data/pgdata<br /> <br /> ===Lingid===<br /> <br /> https://www.digitalocean.com/community/tutorials/how-to-back-up-restore-and-migrate-postgresql-databases-with-barman-on-centos-7</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Barman&diff=30980 2020-08-06T08:43:41Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> * Postgres-server 192.168.0.4<br /> * Barman-server 192.168.0.5<br /> <br /> ===Paigaldus Debianis===<br /> <br /> # apt-get install barman barman-cli<br /> <br /> Postgresql server ja barman server peavad suutma mõlemad logida ssh võtmetega üksteise käsureale<br /> <br /> Postgresql serveris<br /> # sudo -u postgres ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;postgres@server-a&quot;<br /> <br /> Barman serveris <br /> <br /> # sudo -u barman ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;barman@server-b&quot;<br /> <br /> ===Seadistus===<br /> <br /> Avame barmani serveris /etc/barman.conf<br /> <br /> [barman]<br /> barman_home = /srv/barman<br /> barman_user = barman<br /> log_file = /var/log/barman/barman.log<br /> compression = gzip<br /> reuse_backup = link<br /> backup_method = rsync<br /> archiver = on<br /> <br /> [main-db-server]<br /> description = &quot;Main DB Server&quot;<br /> ssh_command = ssh postgres@192.168.0.4<br /> conninfo = host=192.168.0.4 user=postgres<br /> <br /> Postgres serveris lisame postgresql.conf<br /> <br /> archive_mode = on<br /> archive_command = ‘rsync -a %p barman@192.168.0.5:STREAMING_WALS_DIRECTORY/%f`<br /> <br /> ===Kasutamine===<br /> <br /> Tekitame main backupi<br /> <br /> # barman backup postgres-server<br /> <br /> Vaatamiseks<br /> <br /> # barman list-backup postges-server<br /> <br /> ===Lingid===<br /> <br /> https://www.digitalocean.com/community/tutorials/how-to-back-up-restore-and-migrate-postgresql-databases-with-barman-on-centos-7</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Barman&diff=30979 2020-08-06T08:40:43Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> * Postgres server 192.168.0.4<br /> * Barman server 192.168.0.5<br /> <br /> ===Paigaldus Debianis===<br /> <br /> # apt-get install barman barman-cli<br /> <br /> Postgresql server ja barman server peavad suutma mõlemad logida ssh võtmetega üksteise käsureale<br /> <br /> Postgresql serveris<br /> # sudo -u postgres ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;postgres@server-a&quot;<br /> <br /> Barman serveris <br /> <br /> # sudo -u barman ssh-keygen -b 2048 -t rsa -N &quot;&quot; -C &quot;barman@server-b&quot;<br /> <br /> ===Seadistus===<br /> <br /> /etc/barman.conf<br /> <br /> [barman]<br /> barman_home = /srv/barman<br /> barman_user = barman<br /> log_file = /var/log/barman/barman.log<br /> compression = gzip<br /> reuse_backup = link<br /> backup_method = rsync<br /> archiver = on<br /> <br /> [main-db-server]<br /> description = &quot;Main DB Server&quot;<br /> ssh_command = ssh postgres@192.168.0.4<br /> conninfo = host=192.168.0.4 user=postgres<br /> <br /> <br /> ===Lingid===<br /> <br /> https://www.digitalocean.com/community/tutorials/how-to-back-up-restore-and-migrate-postgresql-databases-with-barman-on-centos-7</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Let%27s_Encrypt&diff=30978 2020-08-06T07:08:02Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Lets encrypt on teenus mis pakub tasuta popup-free sertifikaate. See loodi 2016 ning selle taga on ettevõtted nagu Akamai, Cisco, Mozilla ning mitmed sõltumatud eraisikud.<br /> <br /> Let's Encrypt kasutab oma tööks ACME ehk Automatic Certificate Management Environment protokolli, mille<br /> abil saab tellida sertifikaate täisautomaatselt. Selle töö näeb välja umbkaudu järgnev<br /> <br /> #. Tarkvara genereerib võtme ja sertifikaadipäringu<br /> #. Sertifikaadipäring allkirjastatakse ja saadetakse lets encrypt API-le<br /> #. Lets encrypt server teeb valideerimise päringu domeeni vastu, millele sertifikaati taodeldakse, kus ta kontrollib http://domeen.ee/.well-known/acme-challenge/{token} olemasolu ja vastavust<br /> #. Sertifikaadid genereeritakse ja laetakse automaatselt letsencrypti juurest alla serverisse<br /> <br /> Sertifikaadid kehtivad vaid 90 päeva. <br /> <br /> ===Paigaldus certbotiga===<br /> <br /> Installime CentOSis epel release ja cerboti<br /> <br /> yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm<br /> yum install certbot <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/default.d/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> Automaatseks uuendamiseks võib tekitada cron faili /etc/cron.d/letsencrypt<br /> <br /> MAILTO=info@zoo.tartu.ee<br /> 11 2 1 * * root /usr/bin/certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee &amp;&amp; /usr/bin/systemctl restart nginx<br /> <br /> ===Paigaldus Acme skriptiga===<br /> <br /> Veebiserveri ettevalmistus. Nagu ülal kirjutatud siis vajab letsencrypt võimalust valideerida kasutaja õigust domeenile. Selleks tuleb veebiserverisse seadistada ligipääs<br /> letsencrypti genereeritud tokenile. Nginxi korral tuleb tekitada järgnev konstruktsioon<br /> <br /> location /.well-known/acme-challenge/ {<br /> root /var/www/certbot;<br /> }<br /> <br /> Tõmbame vajaliku skripti alla ja paneme käima<br /> <br /> curl https://get.acme.sh | sh<br /> <br /> See paigaldab ka croni töö mis tegeleb sertifikaatide uuendamisega.<br /> <br /> Küsime endale sertifikaadi<br /> <br /> acme.sh --issue -d test.org -w /var/www/certbot<br /> <br /> Keerukamad kasutusjuhud. Nt dockeri puhul võime ka täpselt ette anda sertifikaatide asukohad ja käsu dockeri sees nginxi restardiks<br /> <br /> acme.sh --install-cert -d test.org \<br /> --cert-file /apps/myapp/certs/cert.pem \<br /> --key-file /apps/myapp/certs/key.pem \<br /> --reloadcmd &quot;docker-compose -f /apps/myapp/docker-compose.yml exec wen nginx -t reload&quot;<br /> <br /> Wildcard domeeni jaoks sertifikaadi tekitamiseks<br /> <br /> acme.sh --issue -d example.com -d '*.example.com' --dns dns_cf</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Let%27s_Encrypt&diff=30977 2020-08-06T07:02:32Z

<p>Jj: /* Paigaldus certbotiga */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Lets encrypt on teenus mis pakub tasuta popup-free sertifikaate. See loodi 2016 ning selle taga on ettevõtted nagu Akamai, Cisco, Mozilla ning mitmed sõltumatud eraisikud.<br /> <br /> Let's Encrypt kasutab oma tööks ACME ehk Automatic Certificate Management Environment protokolli, mille<br /> abil saab tellida sertifikaate täisautomaatselt. Selle töö näeb välja umbkaudu järgnev<br /> <br /> #. Tarkvara genereerib võtme ja sertifikaadipäringu<br /> #. Sertifikaadipäring allkirjastatakse ja saadetakse lets encrypt API-le<br /> #. Lets encrypt server teeb valideerimise päringu domeeni vastu, millele sertifikaati taodeldakse, kus ta kontrollib http://domeen.ee/.well-known/acme-challenge/{token} olemasolu ja vastavust<br /> #. Sertifikaadid genereeritakse ja laetakse automaatselt letsencrypti juurest alla serverisse<br /> <br /> Sertifikaadid kehtivad vaid 90 päeva. <br /> <br /> ===Paigaldus certbotiga===<br /> <br /> Installime CentOSis epel release ja cerboti<br /> <br /> yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm<br /> yum install certbot <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/default.d/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> ===Paigaldus Acme skriptiga===<br /> <br /> Veebiserveri ettevalmistus. Nagu ülal kirjutatud siis vajab letsencrypt võimalust valideerida kasutaja õigust domeenile. Selleks tuleb veebiserverisse seadistada ligipääs<br /> letsencrypti genereeritud tokenile. Nginxi korral tuleb tekitada järgnev konstruktsioon<br /> <br /> location /.well-known/acme-challenge/ {<br /> root /var/www/certbot;<br /> }<br /> <br /> Tõmbame vajaliku skripti alla ja paneme käima<br /> <br /> curl https://get.acme.sh | sh<br /> <br /> See paigaldab ka croni töö mis tegeleb sertifikaatide uuendamisega.<br /> <br /> Küsime endale sertifikaadi<br /> <br /> acme.sh --issue -d test.org -w /var/www/certbot<br /> <br /> Keerukamad kasutusjuhud. Nt dockeri puhul võime ka täpselt ette anda sertifikaatide asukohad ja käsu dockeri sees nginxi restardiks<br /> <br /> acme.sh --install-cert -d test.org \<br /> --cert-file /apps/myapp/certs/cert.pem \<br /> --key-file /apps/myapp/certs/key.pem \<br /> --reloadcmd &quot;docker-compose -f /apps/myapp/docker-compose.yml exec wen nginx -t reload&quot;<br /> <br /> Wildcard domeeni jaoks sertifikaadi tekitamiseks<br /> <br /> acme.sh --issue -d example.com -d '*.example.com' --dns dns_cf</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Let%27s_Encrypt&diff=30976 2020-08-06T07:02:16Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Lets encrypt on teenus mis pakub tasuta popup-free sertifikaate. See loodi 2016 ning selle taga on ettevõtted nagu Akamai, Cisco, Mozilla ning mitmed sõltumatud eraisikud.<br /> <br /> Let's Encrypt kasutab oma tööks ACME ehk Automatic Certificate Management Environment protokolli, mille<br /> abil saab tellida sertifikaate täisautomaatselt. Selle töö näeb välja umbkaudu järgnev<br /> <br /> #. Tarkvara genereerib võtme ja sertifikaadipäringu<br /> #. Sertifikaadipäring allkirjastatakse ja saadetakse lets encrypt API-le<br /> #. Lets encrypt server teeb valideerimise päringu domeeni vastu, millele sertifikaati taodeldakse, kus ta kontrollib http://domeen.ee/.well-known/acme-challenge/{token} olemasolu ja vastavust<br /> #. Sertifikaadid genereeritakse ja laetakse automaatselt letsencrypti juurest alla serverisse<br /> <br /> Sertifikaadid kehtivad vaid 90 päeva. <br /> <br /> ===Paigaldus certbotiga===<br /> <br /> Installime CentOSis epel release ja cerboti<br /> <br /> yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm<br /> yum install certbot <br /> <br /> Tekitame nginx confi <br /> <br /> cat &lt;&lt;EOF &gt; /etc/nginx/default.d/letsencrypt.conf<br /> location /.well-known {<br /> root /srv/letsencrypt;<br /> }<br /> EOF<br /> <br /> Tekitame cerboti kausta<br /> <br /> # mkdir /srv/letsencrypt/<br /> <br /> Tekitame cerboti konfi<br /> <br /> cat &lt;&lt;EOF &gt; /srv/letsencrypt/letsencrypt.ini<br /> agree-tos<br /> email = info@zoo.tartu.ee<br /> <br /> authenticator = webroot<br /> webroot-path = /opt/letsencrypt<br /> EOF<br /> <br /> Stardine nginxi<br /> <br /> # systemctl start nginx<br /> # systemctl enable nginx<br /> <br /> Küsime sertifikaadi<br /> <br /> # certbot certonly -n -c /srv/letsencrypt/letsencrypt.ini -d zoo.tartu.ee<br /> <br /> ===Paigaldus Acme skriptiga===<br /> <br /> Veebiserveri ettevalmistus. Nagu ülal kirjutatud siis vajab letsencrypt võimalust valideerida kasutaja õigust domeenile. Selleks tuleb veebiserverisse seadistada ligipääs<br /> letsencrypti genereeritud tokenile. Nginxi korral tuleb tekitada järgnev konstruktsioon<br /> <br /> location /.well-known/acme-challenge/ {<br /> root /var/www/certbot;<br /> }<br /> <br /> Tõmbame vajaliku skripti alla ja paneme käima<br /> <br /> curl https://get.acme.sh | sh<br /> <br /> See paigaldab ka croni töö mis tegeleb sertifikaatide uuendamisega.<br /> <br /> Küsime endale sertifikaadi<br /> <br /> acme.sh --issue -d test.org -w /var/www/certbot<br /> <br /> Keerukamad kasutusjuhud. Nt dockeri puhul võime ka täpselt ette anda sertifikaatide asukohad ja käsu dockeri sees nginxi restardiks<br /> <br /> acme.sh --install-cert -d test.org \<br /> --cert-file /apps/myapp/certs/cert.pem \<br /> --key-file /apps/myapp/certs/key.pem \<br /> --reloadcmd &quot;docker-compose -f /apps/myapp/docker-compose.yml exec wen nginx -t reload&quot;<br /> <br /> Wildcard domeeni jaoks sertifikaadi tekitamiseks<br /> <br /> acme.sh --issue -d example.com -d '*.example.com' --dns dns_cf</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30975 2020-08-05T23:32:27Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Keepalived tarkvara abil on üsna lihtsalt võimalik korraldada kahe või enama arvuti nn aktiivset/passiivset klastrit kasutades VRRP MAC aadressi põhist protokolli. Klastri igal arvutil on oma individuaalne IP aadress, ning lisaks on kogu klastri peale üks virtuaalne IP aadress, millelt on kättesaadav klastri pakutav teenus. Sõltuvalt sellest, kuidas on klastri osalised masteri osas kokku leppinud, on virtuaalne IP parasjagu masteriks oleva arvuti küljes ja teised on nö kõrval-seisvas (ingl. k. standby) asendis. Sarnast võimekust pakub ka CARP protokolli põhine mõnevõrra lihtsam UCARP või heartbeat.<br /> <br /> ===Paigaldamine===<br /> <br /> CentOSis paigaldamiseks tuleb mõlemal nodel käivitada järgnevad käsud<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }<br /> <br /> Ning vrrp_instance VI_1 alla tuleb lisada<br /> <br /> track_script {<br /> chk_haproxy<br /> }<br /> <br /> Kuid võimalik on käivitada ka keerukamaid skripte<br /> <br /> vrrp_script chk_myscript {<br /> script &quot;/usr/local/bin/mycheckscript.sh&quot;<br /> interval 2 # check every 2 seconds<br /> fall 2 # require 2 failures for KO<br /> rise 2 # require 2 successes for OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30974 2020-08-05T23:22:39Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Keepalived tarkvara abil on üsna lihtsalt võimalik korraldada kahe või enama arvuti nn aktiivset/passiivset klastrit kasutades VRRP MAC aadressi põhist protokolli. Klastri igal arvutil on oma individuaalne IP aadress, ning lisaks on kogu klastri peale üks virtuaalne IP aadress, millelt on kättesaadav klastri pakutav teenus. Sõltuvalt sellest, kuidas on klastri osalised masteri osas kokku leppinud, on virtuaalne IP parasjagu masteriks oleva arvuti küljes ja teised on nö kõrval-seisvas (ingl. k. standby) asendis. Sarnast võimekust pakub ka CARP protokolli põhine mõnevõrra lihtsam UCARP või heartbeat.<br /> <br /> ===Paigaldamine===<br /> <br /> CentOSis paigaldamiseks tuleb mõlemal nodel käivitada järgnevad käsud<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }<br /> <br /> Ning vrrp_instance VI_1 alla tuleb lisada<br /> <br /> track_script {<br /> chk_haproxy<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30973 2020-08-05T23:20:18Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Keepalived tarkvara abil on üsna lihtsalt võimalik korraldada kahe või enama arvuti nn aktiivset/passiivset klastrit kasutades VRRP MAC aadressi põhist protokolli. Klastri igal arvutil on oma individuaalne IP aadress, ning lisaks on kogu klastri peale üks virtuaalne IP aadress, millelt on kättesaadav klastri pakutav teenus. Sõltuvalt sellest, kuidas on klastri osalised masteri osas kokku leppinud, on virtuaalne IP parasjagu masteriks oleva arvuti küljes ja teised on nö kõrval-seisvas (ingl. k. standby) asendis. Sarnast võimekust pakub ka CARP protokolli põhine mõnevõrra lihtsam UCARP või heartbeat.<br /> <br /> ===Paigaldamine===<br /> <br /> CentOSis paigaldamiseks tuleb mõlemal nodel käivitada järgnevad käsud<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30972 2020-08-05T23:14:40Z

<p>Jj: /* Sissejuhatus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Keepalived tarkvara abil on üsna lihtsalt võimalik korraldada kahe või enama arvuti nn aktiivset/passiivset klastrit kasutades VRRP MAC aadressi põhist protokolli. Klastri igal arvutil on oma individuaalne IP aadress, ning lisaks on kogu klastri peale üks virtuaalne IP aadress, millelt on kättesaadav klastri pakutav teenus. Sõltuvalt sellest, kuidas on klastri osalised masteri osas kokku leppinud, on virtuaalne IP parasjagu masteriks oleva arvuti küljes ja teised on nö kõrval-seisvas (ingl. k. standby) asendis. Sarnast võimekust pakub ka CARP protokolli põhine mõnevõrra lihtssam UCARP ovõi heartbeat.<br /> <br /> ===Paigaldamine===<br /> <br /> CentOSis paigaldamiseks tuleb mõlemal nodel käivitada järgnevad käsud<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30971 2020-08-05T18:50:00Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Seadistame kaks node master ja slave, kummagil on lokaalsed ip aadressid ning üks virtuaalne mis hüppab vajadusel masterilt slave peale. <br /> Mõlemad hostid vahetavad selle jaoks hearbeati üle VRRP mis MAC aadressi põhine protokoll.<br /> <br /> ===Paigaldamine===<br /> <br /> CentOSis paigaldamiseks tuleb mõlemal nodel käivitada järgnevad käsud<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30970 2020-08-05T18:48:12Z

<p>Jj: /* Paigaldamine */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Seadistame kaks node master ja slave, kummagil on lokaalsed ip aadressid ning üks virtuaalne mis hüppab vajadusel masterilt slave peale. <br /> Mõlemad hostid vahetavad selle jaoks hearbeati üle VRRPi mis MAC aadressi põhine protokoll.<br /> <br /> ===Paigaldamine===<br /> <br /> CentOSis paigaldamiseks tuleb mõlemal nodel käivitada järgnevad käsud<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30969 2020-08-05T18:46:33Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Seadistame kaks node master ja slave, kummagil on lokaalsed ip aadressid ning üks virtuaalne mis hüppab vajadusel masterilt slave peale. <br /> Mõlemad hostid vahetavad selle jaoks hearbeati üle VRRPi mis MAC aadressi põhine protokoll.<br /> <br /> ===Paigaldamine===<br /> <br /> Paigaldamine CentOSis<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30968 2020-08-05T18:45:49Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> Seadistame kaks node master ja slave, kummagil on lokaalsed ip aadressid ning üks virtuaalne mis hüppab vajadusel masterilt slave peale. <br /> Mõlemad hostid vahetavad selle jaoks hearbeati üle VRRPi mis MAC aadressi põhine protokoll.<br /> <br /> ===Paigaldamine===<br /> <br /> Paigaldamine CentOSis<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@{{ k8s_cluster_name }}<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30967 2020-08-05T18:43:01Z

<p>Jj: </p> <hr /> <div>===Paigaldamine===<br /> <br /> Paigaldamine CentOSis<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@test.ee<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@{{ k8s_cluster_name }}<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Keepalived&diff=30966 2020-08-05T18:42:32Z

<p>Jj: Uus lehekülg: &#039;===Paigaldamine=== Paigaldamine CentOSis # yum install keepalived # systemctl enable keepalived ===Seadistus=== Seadistame kaks keepalived serverit millest üks master ja t...&#039;</p> <hr /> <div>===Paigaldamine===<br /> <br /> Paigaldamine CentOSis<br /> <br /> # yum install keepalived<br /> # systemctl enable keepalived<br /> <br /> ===Seadistus===<br /> <br /> Seadistame kaks keepalived serverit millest üks master ja teine slave. Mõlemad jagavad omavahel 192.168.0.5 virtuaalst aadressi. <br /> <br /> Master serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@{{ k8s_cluster_name }}<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state MASTER<br /> virtual_router_id 1<br /> priority 101<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Slave serveri /etc/keepalived/keepalived.conf<br /> <br /> global_defs {<br /> notification_email {<br /> info@test.ee<br /> }<br /> notification_email_from keepalived@{{ k8s_cluster_name }}<br /> smtp_server 192.168.0.10<br /> smtp_connect_timeout 30<br /> router_id minginimi<br /> vrrp_skip_check_adv_addr<br /> vrrp_garp_interval 0<br /> vrrp_gna_interval 0<br /> }<br /> <br /> vrrp_instance VI_1 {<br /> interface eth0 # interface to monitor<br /> state BACKUP<br /> virtual_router_id 1<br /> priority 100<br /> virtual_ipaddress {<br /> 192.168.0.5<br /> }<br /> track_script {<br /> chk_haproxy<br /> }<br /> }<br /> <br /> Võimalik on panna keepalived programmi enda IP aadressi masterilt slave serverile vahetama ka teataval tingimusel. Näiteks kui serveris enal haproxy protsess ei tööta<br /> <br /> vrrp_script chk_haproxy {<br /> script &quot;pidof haproxy&quot; # check the haproxy process<br /> interval 2 # every 2 seconds<br /> weight 2 # add 2 points if OK<br /> }</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Toored_palad&diff=30965 2020-08-05T18:39:20Z

<p>Jj: </p> <hr /> <div>Poolvalmis palad ehk must materjal mis on alles<br /> arendamisjärgus ja millede järgi ei soovita üritada<br /> midagi käimasaada-õppida. Küll on aga kõik teretulnud<br /> siin leiduvaid palasid parandama, täiustama, kommenteerima.<br /> Samuti on oodatud kõik selle teema alla lisama enda sahtlis<br /> leiduvaid uusi ning vanu kirjatöid.<br /> <br /> ----<br /> <br /> * [[:Pisikesed asjad]]<br /> * [[:NFS]] Võrgu failisüsteem.<br /> * [[:C]] C ja UNIX<br /> * [[:pptpvpn]] mpd vpn server<br /> * [[:Poptop]]<br /> * [[Cherokee]] Järjekordne lihtne ning väike veebiserver (uue versiooniga süntaks võimalik ,et muutunud ja pala OUTDATED)<br /> * [[Vahendid kettatestiks]]<br /> * [[OCFS2]]<br /> * [[Multimeedia]]<br /> * [[Linux-HA]]<br /> * [[Kooliserver]] ideede pala<br /> * [[Mailiserver]]<br /> * [[runlevels]]<br /> * [[UNIXI arengu kronoloogia]]<br /> * [[snordi katsetus]]<br /> * [[GIT]]<br /> * [[Radius]]<br /> * [[Webalizer]]<br /> * [[ZoneMinder]]<br /> * [[:UTF8 kodeeringu kasutamine]]<br /> * [[:Retrospectiva kasutamine Debian Lenniga]]<br /> * [[:Modsecurity]]<br /> * [[:Pacemaker kasutamine Debianiga]]<br /> * [[:test]]<br /> * [[:Citrix Xenserver]]<br /> * [[:Smokeping]]<br /> * [[:AWstats]]<br /> * [[: Packet filteri optimiseerimine]]<br /> <br /> * [[:Linux From Scratch]]<br /> <br /> * [[:Selenium IDE]]<br /> <br /> * [[:Apache]] Palas kirjeldatakse algajale Linuxi süsteemi administraatorile, kuidas paigalda ning kasutada Apache'i veebiserverit.<br /> <br /> * [[:IP maskeraad Linuxis]]<br /> <br /> * [[:FFmpeg]]<br /> <br /> * [[:Iptables puust ja punaseks]]<br /> <br /> * [[:Katkestused]]<br /> <br /> * [[:Linux süsteemi tõmmiste loomise tarkvara valik]]<br /> <br /> * [[Linux keskhalduse tarkvara]]<br /> <br /> * [[FreeBSD Watchdog]]<br /> <br /> * [[Puppet kasutamine]]<br /> <br /> * [[Linuxis kompileerimine puust ja punaseks]]<br /> <br /> * [[Automaatne Debiani install KVM jaoks]]<br /> <br /> * [[Epub puust ja punaseks]]<br /> <br /> * [[Proxmox VE 2.x]]<br /> <br /> * [[Rails koos Unicorni ja Nginxiga]]<br /> <br /> * [[Ipv6 praktiline kasutamine]]<br /> <br /> * [[Protsessorist algajatele]]<br /> <br /> [[Linuxi jõudluse suurendamine]]<br /> <br /> [[systemd]]<br /> <br /> [[Multihoming ehk trikid ruutinguga]]<br /> <br /> [[Raspberry Pi]]<br /> <br /> [[ProFTP]]<br /> <br /> [[OCFS2]]<br /> <br /> [[Calibre]]<br /> <br /> * [[:apache ssl]] täiendust vajav<br /> <br /> * [[BitTorrent Sync]]<br /> <br /> * [[IPsec]]<br /> <br /> [[Namazu]]<br /> <br /> [[LSI Raid]]<br /> <br /> [[Multipath puust ja punaseks]]<br /> <br /> [[Honeyd]]<br /> <br /> * [[OpenStack installeerimine ja kasutamine Debianil]]<br /> <br /> * [[Pulseaudio]]<br /> <br /> * [[OwnCloud]]<br /> <br /> * [[OpenvSwitch]]<br /> <br /> * [[Ceph]]<br /> <br /> * [[Dnsmasq]]<br /> <br /> * [[iozone]]<br /> <br /> * [[Fio]]<br /> <br /> * [[DeVeDe]]<br /> <br /> * [[KVM puust ja punaseks]]<br /> <br /> * [[ELK Stack põhine logiserver]]<br /> <br /> * [[Linux ja fiber channel]]<br /> <br /> * [[Arch Linux install ja seadistus]]<br /> <br /> * [[Samba 4 kasutamine]]<br /> <br /> * [[Linux bonding]]<br /> <br /> * [[SMS saatmine gammuga]]<br /> <br /> * [[Collectd]]<br /> <br /> [[Slurm resursihaldur]] Arvutiklastri töödejaotussüsteem<br /> <br /> [[PgPool II]]<br /> <br /> [[Postgresql varundus]]<br /> <br /> [[Pssh]]<br /> <br /> [[GFS2 failisüsteemi kasutamine]]<br /> <br /> [[Apache proxy]]<br /> <br /> [[Java]]<br /> <br /> [[Borg]]<br /> <br /> [[Proxmox VE 4.x]]<br /> <br /> [[Cephi paigaldus käsitsi ilma deploy-utiliidita]]<br /> <br /> [[Nagios Check_mk ja Pnp4nagios]]<br /> <br /> [[X-tee v6 turvaserveri paigaldamine ja kasutamine]]<br /> <br /> [[Ansible]]<br /> <br /> [[Salt]]<br /> <br /> [[Sssd]]<br /> <br /> [[Little Man Computer]]<br /> <br /> [[strace]]<br /> <br /> [[Linuxi entroopia]]<br /> <br /> [[Virtuaalmälu]]<br /> <br /> [[Docker]]<br /> <br /> [[PHP-FPM]]<br /> <br /> [[Zabbix]]<br /> <br /> [[Barman]]<br /> <br /> [[Jenkins]]<br /> <br /> [[Centosi kasutamine]]<br /> <br /> [[Docker swarm]]<br /> <br /> [[Let's Encrypt]]<br /> <br /> [[Helm]]<br /> <br /> [[Flashcache]]<br /> <br /> [[FreeIPA]]<br /> <br /> [[Keepalived]]</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30964 2020-08-04T11:44:32Z

<p>Jj: /* Serveri paigaldus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada mis antud näites on freeipa.test.ee. võimalik on test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30963 2020-08-04T09:52:06Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada. Võimalik on see test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE<br /> <br /> ===Lingid===<br /> <br /> https://computingforgeeks.com/install-and-configure-freeipa-server-on-ubuntu/<br /> <br /> https://computingforgeeks.com/how-to-configure-freeipa-client-on-ubuntu-centos/<br /> <br /> https://www.howtoforge.com/how-to-install-freeipa-client-on-ubuntu-server-1804/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=FreeIPA&diff=30962 2020-08-03T22:24:09Z

<p>Jj: </p> <hr /> <div>===Sissejuhatus===<br /> <br /> TODO<br /> <br /> ===Serveri paigaldus===<br /> <br /> Server vajab esimesena asjana FQDNi ehk siis pädevat domeeni millel töötada. Võimalik on see test keskkonnas defineerida ka kõigi masinate hosts failidesse kaudu aga targem oleks see siiski ka reaalselt luua<br /> <br /> Lisaks vajab süsteem kõvasti entroopiat mida võib hakata virtuaalmasinates nappima nii tugevalt, et isegi paigaldus võib hanguda, seega tasub esimese asjana lisada süsteemi rng-tools<br /> <br /> # apt -y install rng-tools<br /> <br /> Misjärel tuleb avada /etc/default/rng-tools ning lisada allolev rida<br /> <br /> HRNGDEVICE=/dev/urandom<br /> <br /> Misjärel stardime rng-tools deemoni<br /> <br /> # sudo systemctl enable rng-tools<br /> # sudo systemctl start rng-tools<br /> <br /> FreeIPA paigaldamine Ubuntus<br /> <br /> # apt-get install freeipa-server<br /> <br /> FreeIPA automaatseks seadistuseks on eraldi utiliit<br /> <br /> # ipa-server-install<br /> <br /> Kui paigaldus on tehtud saab luua esimesed kasutajad pöördudes selleks kas browseriga serveri domeeni poole või kasutades käsurea utiliiti. Käsurealt kasutajate loomine näeb välja järgnev<br /> <br /> # ipa config-mod --defaultshell=/bin/bash<br /> # ipa user-add test --first=testikas --last=vants --email=test@asutus.ee --password<br /> <br /> ===Kliendi seadistus===<br /> <br /> Kliendi paigaldus Ubuntus<br /> <br /> # apt-get install freeipa-client<br /> <br /> Serveriga ühendamine on automaatne protsess kus tuleb ette anda domeen ning Kerberos realm<br /> <br /> # ipa-client-install --hostname=freeipa.test.ee --mkhomedir --server=freeipa.test.ee --domain test.ee --realm TEST.EE</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Slurm_resursihaldur&diff=30961 2020-08-03T13:09:15Z

<p>Jj: /* Slurmi klustri paigaldus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Slurm (Simple Linux Utility for Resource Management) on arvutiklastri jaoks mõeldud rakendus mille ülesandeks on jagada etteantud töid mööda arvutiresursse laiali, monitoorida töötavaid protsesse ja pidada tööde üle järjekorda.<br /> <br /> Üldiselt näeb slurmi arhidektuur välja sarnane allolevale pildile. On keskne haldusserver, kuhu kasutajad logivad ja käske käivitavad ning terve hulk<br /> arvutusnodesid-servereid, milledele slurm töid edastab.<br /> <br /> [[Pilt:SlurmArchitecture.gif]]<br /> <br /> ===Slurmi klustri paigaldus===<br /> <br /> Slurmi server koosneb kolmest suuremast komponendist<br /> <br /> # munge - autentimiseks<br /> # slurmctl - mis juhib selle küljes olevaid kliente<br /> # slurmdbd - mis tegeleb kasutusstatistika kogumisega ning vajab omakorda mingit andmebaasi, näiteks Mariadb'd<br /> <br /> Munge paigaldamiseks Debianis<br /> <br /> # apt-get install libmunge-dev libmunge2 munge<br /> <br /> Munge võtme loomine<br /> <br /> # sudo dd if=/dev/urandom bs=1 count=1024 &gt; /etc/munge/munge.key<br /> # chown munge:munge /etc/munge/munge.key<br /> # chmod 400 /etc/munge/munge.key<br /> <br /> See tekkinud fail tuleb kopeerida ka kõigisse klientidesse<br /> <br /> # scp /etc/munge/munge.key &lt;node-user&gt;@&lt;node-ip&gt;:/etc/munge/munge.key<br /> <br /> Munge käivitamine<br /> <br /> # sudo systemctl enable munge<br /> # sudo systemctl start munge<br /> <br /> Paigaldame Mariadb sulrmdb jaoks<br /> <br /> # apt-get install mariadb-server<br /> <br /> Slurm on andmebaasi parameetrite osas üsna nõudlik ning vajab innodb seadistamist<br /> <br /> Debianis tuleb avada /etc/mysql/mariadb.conf.d/50-server.cnf ning lisada<br /> <br /> innodb_buffer_pool_size=1024M<br /> innodb_log_file_size=64M<br /> innodb_lock_wait_timeout=900<br /> <br /> Stardime mariadb<br /> <br /> # systemctl start mariadb<br /> # systemctl enable mariadb<br /> <br /> Logime sinna sisse ning tekitame Slurmi kasutaja<br /> <br /> # CREATE USER 'slurm2'@'localhost' IDENTIFIED BY 'parool';<br /> # GRANT ALL ON slurm_acct_db.* TO 'slurm'@'localhost';<br /> <br /> Seejärel võime paigaldada slurmdb, nii andmebaasi enda kui kõik vajalikud andmetabelid tektiab ta seejuures ise<br /> <br /> # apt-get install slurmdb<br /> <br /> Tekitame slurmdbd seadistusfaili /etc/slurm-llnl/slurmdbd.conf<br /> <br /> AuthType=auth/munge<br /> AuthInfo=/var/run/munge/munge.socket.2<br /> StorageHost=localhost<br /> DbdHost=server-hostname<br /> StoragePort=3306<br /> StorageUser=slurm<br /> StoragePass=parool<br /> StorageType=accounting_storage/mysql<br /> StorageLoc=slurm_acct_db<br /> LogFile=/var/log/slurm-llnl/slurmdbd.log<br /> PidFile=/run/slurmdbd.pid<br /> SlurmUser=slurm<br /> DebugLevel=1<br /> <br /> Paneme slurmdbd käima<br /> <br /> # systemctl enable slurmdbd<br /> # systemctl start slurmdbd<br /> <br /> Paigaldame slurmctrli. See seadistuse osa on ühine nii peaserveril kui ka kliendil<br /> <br /> # apt-get install slurm-wlm<br /> <br /> Tekitame talle seadistusfaili, kus defineerime ära ühtlasi ka slurmdb ning esimese kliendi. Selleks lisame faili /etc/slurm-llnl/slurm.conf<br /> <br /> ClusterName=slurm <br /> ControlMachine=server-hostname<br /> ControlAddr=localhost<br /> #<br /> SlurmUser=slurm<br /> SlurmctldPort=6817<br /> SlurmdPort=6818<br /> AuthType=auth/munge<br /> StateSaveLocation=/var/spool/slurm/ctld<br /> SlurmdSpoolDir=/var/spool/slurm/d<br /> SwitchType=switch/none<br /> MpiDefault=none<br /> SlurmctldPidFile=/run/slurmctld.pid<br /> SlurmdPidFile=/run/slurmd.pid<br /> ProctrackType=proctrack/pgid<br /> ReturnToService=0<br /> # <br /> # Timers<br /> SlurmctldTimeout=300<br /> SlurmdTimeout=300<br /> InactiveLimit=0<br /> MinJobAge=300<br /> KillWait=30<br /> Waittime=0<br /> # <br /> # Accounting<br /> AccountingStorageType=accounting_storage/slurmdbd<br /> AccountingStoreJobComment=YES<br /> JobAcctGatherFrequency=30<br /> JobAcctGatherType=jobacct_gather/linux<br /> # <br /> # Logging<br /> DebugFlags=NO_CONF_HASH<br /> SlurmctldDebug=3<br /> SlurmctldLogFile=/var/log/slurm-llnl/slurmctld.log<br /> SlurmdDebug=3<br /> SlurmdLogFile=/var/log/slurm-llnl/slurmd.log<br /> SlurmSchedLogFile= /var/log/slurm-llnl/slurmschd.log<br /> SlurmSchedLogLevel=3<br /> JobCompType=jobcomp/none<br /> #<br /> # Compute nodes<br /> NodeName=slurm-test NodeAddr=10.40.0.10 Port=17000 Procs=1 State=UNKNOWN <br /> PartitionName=test Nodes=ALL Default=YES MaxTime=INFINITE State=UP<br /> <br /> Slurmctrld käivitamiseks<br /> <br /> # systemctl enable slurmctld<br /> # systemctl start slurmctld<br /> <br /> Tekitame test clustri ning esimese kasutaja<br /> <br /> # sacctmgr -i add cluster cluster<br /> # sacctmgr -i add account test Cluster=cluster<br /> # sacctmgr -i add user test Account=test<br /> <br /> Kasutajale admin õiguste lisamiseks<br /> <br /> # sacctmgr modify user test set adminlevel=admin<br /> <br /> Kliendi käivitamine<br /> <br /> # systemctl enable slurmd<br /> # systemctl start slurmd<br /> <br /> Testimiseks võib kasutada käsku<br /> <br /> $ srun uname -a<br /> <br /> ===Lingid===<br /> <br /> https://southgreenplatform.github.io/trainings/hpc/slurminstallation/<br /> <br /> https://gist.github.com/asmateus/301b0cb86700cbe74c269b27f2ecfbef<br /> <br /> https://implement.pt/2018/09/slurm-in-ubuntu-clusters-pt1/<br /> <br /> ===Tööde käivitamine===<br /> <br /> Saadame slurmi töö mis käivitatakse neli korda ja mis väljastab masina kerneli versiooni.<br /> <br /> # '''srun --ntasks=4 uname -a'''<br /> srun: job 561700 queued and waiting for resources<br /> srun: job 561700 has been allocated resources<br /> idu08<br /> idu08<br /> idu08<br /> idu08<br /> <br /> Või soovides käivitada lihtsalt kokku 24 tööd kõigil nodedel ja ja lasta slurmil ise nad jagada laiali<br /> <br /> # srun --ntasks=24 --partition=gpu hostname<br /> <br /> Tasub muidugi tähele panna, et srun sobib peamiselt testimiseks või väga lihtsateks töödeks ning keerukamatel kasutusjuhtudel tuleks kasutada käske salloc või sbatch<br /> Põhimõtteliselt sama esimene näide skriptiga tehtuna, tekitame parallel_uname.sh<br /> <br /> &lt;source lang=bash&gt;<br /> #!/bin/bash<br /> #SBATCH –J test # Seadistab töö nime mida näeb squeue käsuga <br /> #SBATCH –N=4 # Määrab mitut füüsilist serverit kasutatakse<br /> #SBATCH --ntasks-per-node=4 # Määrab, mitu ülesannet ühel serveril käivitatakse<br /> #SBATCH --output=kontroll.out # Väljundfaili nimi – programm ei edastada väljundit kohe ekraanile vaid faili.<br /> uname -a # käsk, mida käivitatakse. Antud juhul uname -a<br /> &lt;/source&gt;<br /> <br /> Lisaks võib seadistada e-maili saatmise töö lõpu korral<br /> <br /> #SBATCH --mail-type=END # Type of email notification- BEGIN,END,FAIL,ALL <br /> #SBATCH --mail-user=ajk@123.com # Email to which notifications will be sent<br /> <br /> Paneme käima<br /> <br /> # '''sbatch parallel_uname.sh'''<br /> Submitted batch job 65918<br /> <br /> Ja väljund<br /> <br /> # cat slurm-65918.out <br /> Linux stage59 2.6.32-431.17.1.el6.x86_64 #1 SMP Wed May 7 14:14:17 CDT 2014 x86_64 x86_64 x86_64 GNU/Linux<br /> <br /> ====MPI tööde käivitamine====<br /> <br /> Message Passing Interface ehk MPI on paraleelsete programmide loomiseks<br /> <br /> Kasutamiseks on vaja laadida moodulid<br /> <br /> module load intel<br /> module load openmpi<br /> <br /> Slurm skript võiks näha välja järgnev<br /> <br /> &lt;source lang=bash&gt;<br /> #!/bin/bash<br /> #SLURM -J myjob<br /> #SLURM -p mpi-core8<br /> #SLURM -t 01:00:00<br /> #SLURM -o myjob-%J.out<br /> #SLURM -N 4<br /> #SLURM --ntasks-per-node=8<br /> module load gcc<br /> module load openmpi<br /> cd subdir<br /> mpirun -np 32 ./myapp<br /> exit 0<br /> &lt;/source&gt;<br /> <br /> https://computing.llnl.gov/tutorials/mpi/<br /> <br /> http://brazos.tamu.edu/software/openmpi.html<br /> <br /> ===Tööde haldus===<br /> <br /> Tööde nimekirja näeb<br /> <br /> # squeue <br /> JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br /> 561555 gpu python hpc_tane R 4-22:47:46 1 idu41<br /> 561544 gpu punct2 ottokar R 5-02:52:19 1 idu40<br /> 561538 gpu punct2 ottokar R 5-03:06:09 1 idu39<br /> 561528 gpu train_HO hpc_tane R 6-07:54:01 1 idu40<br /> 561490 gpu train_HO hpc_tane R 7-06:15:40 1 idu39<br /> 561795 long EUWEST_6 elmer R 10:09:00 1 idu30<br /> 561802 long EESTI1_7 elmer R 4:01:17 1 idu02<br /> 561801 long EESTI1_4 elmer R 4:01:18 1 idu01<br /> 561800 long EUWEST_7 elmer R 4:01:19 1 idu12<br /> 561794 long SLOVAK_6 elmer R 10:13:23 1 idu06<br /> 561793 long EESTI1_2 elmer R 16:04:42 1 idu05<br /> 561792 long EESTI1_6 elmer R 16:09:14 1 idu03<br /> 561647 long bash hpc_kuz R 3-19:32:13 1 idu04<br /> 561810 long run_R-1- hpc_eero R 1:58:03 1 idu34<br /> 561811 long run_R-1- hpc_eero R 1:58:03 1 idu31<br /> 561813 long run_R-1- hpc_eero R 1:58:03 1 idu32<br /> 561809 long run_R-1- hpc_eero R 2:08:03 1 idu29<br /> 561806 long run_R-1- hpc_eero R 2:18:03 1 idu33<br /> 561808 long run_R-1- hpc_eero R 2:18:03 1 idu35<br /> <br /> Töö staatuse nägemiseks tuleb scontrolile anda ette JOBID<br /> <br /> # '''scontrol show job 561581'''<br /> JobId=561581 Name=SLOVAK_6<br /> UserId=elmer(10010) GroupId=elmer(10010)<br /> Priority=1503 Account=(null) QOS=(null)<br /> JobState=RUNNING Reason=None Dependency=(null)<br /> Requeue=1 Restarts=0 BatchFlag=0 ExitCode=0:0<br /> RunTime=09:06:37 TimeLimit=12:00:00 TimeMin=N/A<br /> SubmitTime=2016-02-25T06:26:02 EligibleTime=2016-02-25T06:26:02<br /> StartTime=2016-02-25T06:26:02 EndTime=2016-02-25T18:26:02<br /> PreemptTime=None SuspendTime=None SecsPreSuspend=0<br /> Partition=long AllocNode:Sid=juur:22238<br /> ReqNodeList=(null) ExcNodeList=(null)<br /> NodeList=idu38<br /> BatchHost=idu38<br /> NumNodes=1 NumCPUs=8 CPUs/Task=8 ReqS:C:T=2:4:1<br /> MinCPUsNode=8 MinMemoryNode=18G MinTmpDiskNode=0<br /> Features=(null) Gres=(null) Reservation=(null)<br /> Shared=OK Contiguous=0 Licenses=(null) Network=(null)<br /> Command=/storage/jobs/g-9.sh<br /> WorkDir=/cluster/elmer<br /> <br /> Töö lõppu on muidugi võimatu ette teada/ennustada. Võib-olla umbes töö alustaja ise teab, kaua see VÕIKS aega võtta.<br /> <br /> idu seisu vaatamiseks juurest või suvalisest idust anda käsk<br /> <br /> # '''scontrol show node idu38'''<br /> NodeName=idu38 Arch=x86_64 CoresPerSocket=6<br /> CPUAlloc=8 CPUErr=0 CPUTot=12 CPULoad=5.82 Features=K20<br /> Gres=gpu:2<br /> NodeAddr=idu38 NodeHostName=idu38<br /> OS=Linux RealMemory=48000 AllocMem=18432 Sockets=2 Boards=1<br /> State=MIXED ThreadsPerCore=1 TmpDisk=200000 Weight=100<br /> BootTime=2015-01-21T00:23:33 SlurmdStartTime=2015-01-21T00:24:09<br /> CurrentWatts=0 LowestJoules=0 ConsumedJoules=0<br /> ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/ s<br /> <br /> ===Slurmi partitsioonid===<br /> <br /> Tööde paremaks halduseks on mõistlik erinevad masinad jagada erinevatesse partitsioonide gruppidesse. <br /> <br /> Partitsioonide konfiguratsiooni nägemiseks<br /> <br /> # sinfo<br /> PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br /> short* up 30:00 4 idle~ idu[08-11]<br /> short* up 30:00 16 mix idu[01-06,12,29-37]<br /> short* up 30:00 1 down idu07<br /> long up infinite 4 idle~ idu[08-11]<br /> long up infinite 16 mix idu[01-06,12,29-37]<br /> long up infinite 1 down idu07<br /> gpu up infinite 5 idle~ idu[08-11,38]<br /> gpu up infinite 10 mix idu[01-06,12,39-41]<br /> gpu up infinite 1 down idu07<br /> <br /> Partitsioonide täpsem info<br /> <br /> # '''scontrol show partition'''<br /> PartitionName=short<br /> AllocNodes=ALL AllowGroups=ALL Default=YES<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=00:30:00 MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[29-37]<br /> Priority=100 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=204 TotalNodes=21 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> PartitionName=long<br /> AllocNodes=ALL AllowGroups=ALL Default=NO<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[29-37]<br /> Priority=150 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=204 TotalNodes=21 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> PartitionName=gpu<br /> AllocNodes=ALL AllowGroups=ALL Default=NO<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[38-41]<br /> Priority=1000 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=144 TotalNodes=16 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> Näiteks antud juhul asuvad GPUsid sisalduvad noded &quot;long&quot; partitsioonist väljaspool, et neile muid arvutusi ei antaks. <br /> <br /> Nodede liigutamiseks partitsoonide vahel. /etc/slurm/slurm.conf lõpus on see partitsioonide konf<br /> Muuda vastavalt partitsioone, mida tahad ja siis slurmi servisele restart (käivad tööd sellest katki ei lähe).<br /> <br /> /etc/init.d/slurm restart<br /> <br /> ===Veateated ja probleemid===<br /> <br /> Mälulimiit on programmi poolt ületatud<br /> <br /> slurmd[n1]: error: Job 60204 exceeded 10240 KB memory limit, being killed<br /> slurmd[n1]: error: *** JOB 60204 CANCELLED AT 2011-05-27T19:34:34 ***<br /> <br /> Mälulimiit on seadistatud liiga kõrge olemasoleva mälu jaoks<br /> <br /> $ sbatch run.slurm <br /> sbatch: error: Batch job submission failed: Requested node configuration is not available<br /> <br /> http://www.umbc.edu/hpcf/resources-tara-2013/scheduling-policy.php<br /> <br /> Node staatus on &quot;down&quot;<br /> <br /> Esmalt võiks proovida seda manuaalselt muuta, näiteks:<br /> scontrol update state=MIXED nodename=node84<br /> <br /> ===Lingid===<br /> <br /> http://www.schedmd.com/slurmdocs/quickstart.html<br /> <br /> https://rc.fas.harvard.edu/resources/running-jobs/<br /> <br /> http://www.ibm.com/developerworks/library/l-slurm-utility/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Slurm_resursihaldur&diff=30960 2020-08-03T09:15:47Z

<p>Jj: /* Slurmi klustri paigaldus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Slurm (Simple Linux Utility for Resource Management) on arvutiklastri jaoks mõeldud rakendus mille ülesandeks on jagada etteantud töid mööda arvutiresursse laiali, monitoorida töötavaid protsesse ja pidada tööde üle järjekorda.<br /> <br /> Üldiselt näeb slurmi arhidektuur välja sarnane allolevale pildile. On keskne haldusserver, kuhu kasutajad logivad ja käske käivitavad ning terve hulk<br /> arvutusnodesid-servereid, milledele slurm töid edastab.<br /> <br /> [[Pilt:SlurmArchitecture.gif]]<br /> <br /> ===Slurmi klustri paigaldus===<br /> <br /> Slurmi server koosneb kolmest suuremast komponendist<br /> <br /> # munge - autentimiseks<br /> # slurmctl - mis juhib selle küljes olevaid kliente<br /> # slurmdbd - mis tegeleb kasutusstatistika kogumisega ning vajab omakorda mingit andmebaasi, näiteks Mariadb'd<br /> <br /> Munge paigaldamiseks Debianis<br /> <br /> # apt-get install libmunge-dev libmunge2 munge<br /> <br /> Munge võtme loomine<br /> <br /> # sudo dd if=/dev/urandom bs=1 count=1024 &gt; /etc/munge/munge.key<br /> # chown munge:munge /etc/munge/munge.key<br /> # chmod 400 /etc/munge/munge.key<br /> <br /> See tekkinud fail tuleb kopeerida ka kõigisse klientidesse<br /> <br /> # scp /etc/munge/munge.key &lt;node-user&gt;@&lt;node-ip&gt;:/etc/munge/munge.key<br /> <br /> Munge käivitamine<br /> <br /> # sudo systemctl enable munge<br /> # sudo systemctl start munge<br /> <br /> Paigaldame Mariadb sulrmdb jaoks<br /> <br /> # apt-get install mariadb-server<br /> <br /> Slurm on andmebaasi parameetrite osas üsna nõudlik ning vajab innodb seadistamist<br /> <br /> Debianis tuleb avada /etc/mysql/mariadb.conf.d/50-server.cnf ning lisada<br /> <br /> innodb_buffer_pool_size=1024M<br /> innodb_log_file_size=64M<br /> innodb_lock_wait_timeout=900<br /> <br /> Stardime mariadb<br /> <br /> # systemctl start mariadb<br /> # systemctl enable mariadb<br /> <br /> Logime sinna sisse ning tekitame Slurmi kasutaja<br /> <br /> # CREATE USER 'slurm2'@'localhost' IDENTIFIED BY 'parool';<br /> # GRANT ALL ON slurm_acct_db.* TO 'slurm'@'localhost';<br /> <br /> Seejärel võime paigaldada slurmdb, nii andmebaasi enda kui kõik vajalikud andmetabelid tektiab ta seejuures ise<br /> <br /> # apt-get install slurmdb<br /> <br /> Tekitame slurmdbd seadistusfaili /etc/slurm-llnl/slurmdbd.conf<br /> <br /> AuthType=auth/munge<br /> AuthInfo=/var/run/munge/munge.socket.2<br /> StorageHost=localhost<br /> DbdHost=server-hostname<br /> StoragePort=3306<br /> StorageUser=slurm<br /> StoragePass=parool<br /> StorageType=accounting_storage/mysql<br /> StorageLoc=slurm_acct_db<br /> LogFile=/var/log/slurm-llnl/slurmdbd.log<br /> PidFile=/run/slurmdbd.pid<br /> SlurmUser=slurm<br /> DebugLevel=1<br /> <br /> Paneme slurmdbd käima<br /> <br /> # systemctl enable slurmdbd<br /> # systemctl start slurmdbd<br /> <br /> Paigaldame slurmctrli. See seadistuse osa on ühine nii peaserveril kui ka kliendil<br /> <br /> # apt-get install slurm-wlm<br /> <br /> Tekitame talle seadistusfaili, kus defineerime ära ühtlasi ka slurmdb ning esimese kliendi. Selleks lisame faili /etc/slurm-llnl/slurm.conf<br /> <br /> ClusterName=slurm <br /> ControlMachine=server-hostname<br /> ControlAddr=localhost<br /> #<br /> SlurmUser=slurm<br /> SlurmctldPort=6817<br /> SlurmdPort=6818<br /> AuthType=auth/munge<br /> StateSaveLocation=/var/spool/slurm/ctld<br /> SlurmdSpoolDir=/var/spool/slurm/d<br /> SwitchType=switch/none<br /> MpiDefault=none<br /> SlurmctldPidFile=/run/slurmctld.pid<br /> SlurmdPidFile=/run/slurmd.pid<br /> ProctrackType=proctrack/pgid<br /> ReturnToService=0<br /> # <br /> # Timers<br /> SlurmctldTimeout=300<br /> SlurmdTimeout=300<br /> InactiveLimit=0<br /> MinJobAge=300<br /> KillWait=30<br /> Waittime=0<br /> # <br /> # Accounting<br /> AccountingStorageType=accounting_storage/slurmdbd<br /> AccountingStoreJobComment=YES<br /> JobAcctGatherFrequency=30<br /> JobAcctGatherType=jobacct_gather/linux<br /> # <br /> # Logging<br /> DebugFlags=NO_CONF_HASH<br /> SlurmctldDebug=3<br /> SlurmctldLogFile=/var/log/slurm-llnl/slurmctld.log<br /> SlurmdDebug=3<br /> SlurmdLogFile=/var/log/slurm-llnl/slurmd.log<br /> SlurmSchedLogFile= /var/log/slurm-llnl/slurmschd.log<br /> SlurmSchedLogLevel=3<br /> JobCompType=jobcomp/none<br /> #<br /> # Compute nodes<br /> NodeName=slurm-test NodeAddr=10.40.0.10 Port=17000 Procs=1 State=UNKNOWN <br /> PartitionName=test Nodes=ALL Default=YES MaxTime=INFINITE State=UP<br /> <br /> Slurmctrld käivitamiseks<br /> <br /> # systemctl enable slurmctld<br /> # systemctl start slurmctld<br /> <br /> Tekitame test clustri ning esimese kasutaja<br /> <br /> # sacctmgr -i add cluster cluster<br /> # sacctmgr -i add account test Cluster=cluster<br /> # sacctmgr -i add user test Account=test<br /> <br /> Kliendi käivitamine<br /> <br /> # systemctl enable slurmd<br /> # systemctl start slurmd<br /> <br /> Testimiseks võib kasutada käsku<br /> <br /> $ srun uname -a<br /> <br /> ===Lingid===<br /> <br /> https://southgreenplatform.github.io/trainings/hpc/slurminstallation/<br /> <br /> https://gist.github.com/asmateus/301b0cb86700cbe74c269b27f2ecfbef<br /> <br /> https://implement.pt/2018/09/slurm-in-ubuntu-clusters-pt1/<br /> <br /> ===Tööde käivitamine===<br /> <br /> Saadame slurmi töö mis käivitatakse neli korda ja mis väljastab masina kerneli versiooni.<br /> <br /> # '''srun --ntasks=4 uname -a'''<br /> srun: job 561700 queued and waiting for resources<br /> srun: job 561700 has been allocated resources<br /> idu08<br /> idu08<br /> idu08<br /> idu08<br /> <br /> Või soovides käivitada lihtsalt kokku 24 tööd kõigil nodedel ja ja lasta slurmil ise nad jagada laiali<br /> <br /> # srun --ntasks=24 --partition=gpu hostname<br /> <br /> Tasub muidugi tähele panna, et srun sobib peamiselt testimiseks või väga lihtsateks töödeks ning keerukamatel kasutusjuhtudel tuleks kasutada käske salloc või sbatch<br /> Põhimõtteliselt sama esimene näide skriptiga tehtuna, tekitame parallel_uname.sh<br /> <br /> &lt;source lang=bash&gt;<br /> #!/bin/bash<br /> #SBATCH –J test # Seadistab töö nime mida näeb squeue käsuga <br /> #SBATCH –N=4 # Määrab mitut füüsilist serverit kasutatakse<br /> #SBATCH --ntasks-per-node=4 # Määrab, mitu ülesannet ühel serveril käivitatakse<br /> #SBATCH --output=kontroll.out # Väljundfaili nimi – programm ei edastada väljundit kohe ekraanile vaid faili.<br /> uname -a # käsk, mida käivitatakse. Antud juhul uname -a<br /> &lt;/source&gt;<br /> <br /> Lisaks võib seadistada e-maili saatmise töö lõpu korral<br /> <br /> #SBATCH --mail-type=END # Type of email notification- BEGIN,END,FAIL,ALL <br /> #SBATCH --mail-user=ajk@123.com # Email to which notifications will be sent<br /> <br /> Paneme käima<br /> <br /> # '''sbatch parallel_uname.sh'''<br /> Submitted batch job 65918<br /> <br /> Ja väljund<br /> <br /> # cat slurm-65918.out <br /> Linux stage59 2.6.32-431.17.1.el6.x86_64 #1 SMP Wed May 7 14:14:17 CDT 2014 x86_64 x86_64 x86_64 GNU/Linux<br /> <br /> ====MPI tööde käivitamine====<br /> <br /> Message Passing Interface ehk MPI on paraleelsete programmide loomiseks<br /> <br /> Kasutamiseks on vaja laadida moodulid<br /> <br /> module load intel<br /> module load openmpi<br /> <br /> Slurm skript võiks näha välja järgnev<br /> <br /> &lt;source lang=bash&gt;<br /> #!/bin/bash<br /> #SLURM -J myjob<br /> #SLURM -p mpi-core8<br /> #SLURM -t 01:00:00<br /> #SLURM -o myjob-%J.out<br /> #SLURM -N 4<br /> #SLURM --ntasks-per-node=8<br /> module load gcc<br /> module load openmpi<br /> cd subdir<br /> mpirun -np 32 ./myapp<br /> exit 0<br /> &lt;/source&gt;<br /> <br /> https://computing.llnl.gov/tutorials/mpi/<br /> <br /> http://brazos.tamu.edu/software/openmpi.html<br /> <br /> ===Tööde haldus===<br /> <br /> Tööde nimekirja näeb<br /> <br /> # squeue <br /> JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br /> 561555 gpu python hpc_tane R 4-22:47:46 1 idu41<br /> 561544 gpu punct2 ottokar R 5-02:52:19 1 idu40<br /> 561538 gpu punct2 ottokar R 5-03:06:09 1 idu39<br /> 561528 gpu train_HO hpc_tane R 6-07:54:01 1 idu40<br /> 561490 gpu train_HO hpc_tane R 7-06:15:40 1 idu39<br /> 561795 long EUWEST_6 elmer R 10:09:00 1 idu30<br /> 561802 long EESTI1_7 elmer R 4:01:17 1 idu02<br /> 561801 long EESTI1_4 elmer R 4:01:18 1 idu01<br /> 561800 long EUWEST_7 elmer R 4:01:19 1 idu12<br /> 561794 long SLOVAK_6 elmer R 10:13:23 1 idu06<br /> 561793 long EESTI1_2 elmer R 16:04:42 1 idu05<br /> 561792 long EESTI1_6 elmer R 16:09:14 1 idu03<br /> 561647 long bash hpc_kuz R 3-19:32:13 1 idu04<br /> 561810 long run_R-1- hpc_eero R 1:58:03 1 idu34<br /> 561811 long run_R-1- hpc_eero R 1:58:03 1 idu31<br /> 561813 long run_R-1- hpc_eero R 1:58:03 1 idu32<br /> 561809 long run_R-1- hpc_eero R 2:08:03 1 idu29<br /> 561806 long run_R-1- hpc_eero R 2:18:03 1 idu33<br /> 561808 long run_R-1- hpc_eero R 2:18:03 1 idu35<br /> <br /> Töö staatuse nägemiseks tuleb scontrolile anda ette JOBID<br /> <br /> # '''scontrol show job 561581'''<br /> JobId=561581 Name=SLOVAK_6<br /> UserId=elmer(10010) GroupId=elmer(10010)<br /> Priority=1503 Account=(null) QOS=(null)<br /> JobState=RUNNING Reason=None Dependency=(null)<br /> Requeue=1 Restarts=0 BatchFlag=0 ExitCode=0:0<br /> RunTime=09:06:37 TimeLimit=12:00:00 TimeMin=N/A<br /> SubmitTime=2016-02-25T06:26:02 EligibleTime=2016-02-25T06:26:02<br /> StartTime=2016-02-25T06:26:02 EndTime=2016-02-25T18:26:02<br /> PreemptTime=None SuspendTime=None SecsPreSuspend=0<br /> Partition=long AllocNode:Sid=juur:22238<br /> ReqNodeList=(null) ExcNodeList=(null)<br /> NodeList=idu38<br /> BatchHost=idu38<br /> NumNodes=1 NumCPUs=8 CPUs/Task=8 ReqS:C:T=2:4:1<br /> MinCPUsNode=8 MinMemoryNode=18G MinTmpDiskNode=0<br /> Features=(null) Gres=(null) Reservation=(null)<br /> Shared=OK Contiguous=0 Licenses=(null) Network=(null)<br /> Command=/storage/jobs/g-9.sh<br /> WorkDir=/cluster/elmer<br /> <br /> Töö lõppu on muidugi võimatu ette teada/ennustada. Võib-olla umbes töö alustaja ise teab, kaua see VÕIKS aega võtta.<br /> <br /> idu seisu vaatamiseks juurest või suvalisest idust anda käsk<br /> <br /> # '''scontrol show node idu38'''<br /> NodeName=idu38 Arch=x86_64 CoresPerSocket=6<br /> CPUAlloc=8 CPUErr=0 CPUTot=12 CPULoad=5.82 Features=K20<br /> Gres=gpu:2<br /> NodeAddr=idu38 NodeHostName=idu38<br /> OS=Linux RealMemory=48000 AllocMem=18432 Sockets=2 Boards=1<br /> State=MIXED ThreadsPerCore=1 TmpDisk=200000 Weight=100<br /> BootTime=2015-01-21T00:23:33 SlurmdStartTime=2015-01-21T00:24:09<br /> CurrentWatts=0 LowestJoules=0 ConsumedJoules=0<br /> ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/ s<br /> <br /> ===Slurmi partitsioonid===<br /> <br /> Tööde paremaks halduseks on mõistlik erinevad masinad jagada erinevatesse partitsioonide gruppidesse. <br /> <br /> Partitsioonide konfiguratsiooni nägemiseks<br /> <br /> # sinfo<br /> PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br /> short* up 30:00 4 idle~ idu[08-11]<br /> short* up 30:00 16 mix idu[01-06,12,29-37]<br /> short* up 30:00 1 down idu07<br /> long up infinite 4 idle~ idu[08-11]<br /> long up infinite 16 mix idu[01-06,12,29-37]<br /> long up infinite 1 down idu07<br /> gpu up infinite 5 idle~ idu[08-11,38]<br /> gpu up infinite 10 mix idu[01-06,12,39-41]<br /> gpu up infinite 1 down idu07<br /> <br /> Partitsioonide täpsem info<br /> <br /> # '''scontrol show partition'''<br /> PartitionName=short<br /> AllocNodes=ALL AllowGroups=ALL Default=YES<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=00:30:00 MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[29-37]<br /> Priority=100 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=204 TotalNodes=21 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> PartitionName=long<br /> AllocNodes=ALL AllowGroups=ALL Default=NO<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[29-37]<br /> Priority=150 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=204 TotalNodes=21 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> PartitionName=gpu<br /> AllocNodes=ALL AllowGroups=ALL Default=NO<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[38-41]<br /> Priority=1000 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=144 TotalNodes=16 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> Näiteks antud juhul asuvad GPUsid sisalduvad noded &quot;long&quot; partitsioonist väljaspool, et neile muid arvutusi ei antaks. <br /> <br /> Nodede liigutamiseks partitsoonide vahel. /etc/slurm/slurm.conf lõpus on see partitsioonide konf<br /> Muuda vastavalt partitsioone, mida tahad ja siis slurmi servisele restart (käivad tööd sellest katki ei lähe).<br /> <br /> /etc/init.d/slurm restart<br /> <br /> ===Veateated ja probleemid===<br /> <br /> Mälulimiit on programmi poolt ületatud<br /> <br /> slurmd[n1]: error: Job 60204 exceeded 10240 KB memory limit, being killed<br /> slurmd[n1]: error: *** JOB 60204 CANCELLED AT 2011-05-27T19:34:34 ***<br /> <br /> Mälulimiit on seadistatud liiga kõrge olemasoleva mälu jaoks<br /> <br /> $ sbatch run.slurm <br /> sbatch: error: Batch job submission failed: Requested node configuration is not available<br /> <br /> http://www.umbc.edu/hpcf/resources-tara-2013/scheduling-policy.php<br /> <br /> Node staatus on &quot;down&quot;<br /> <br /> Esmalt võiks proovida seda manuaalselt muuta, näiteks:<br /> scontrol update state=MIXED nodename=node84<br /> <br /> ===Lingid===<br /> <br /> http://www.schedmd.com/slurmdocs/quickstart.html<br /> <br /> https://rc.fas.harvard.edu/resources/running-jobs/<br /> <br /> http://www.ibm.com/developerworks/library/l-slurm-utility/</div>

Jj https://kuutorvaja.eenet.ee/w/index.php?title=Slurm_resursihaldur&diff=30959 2020-08-03T09:01:03Z

<p>Jj: /* Slurmi klustri paigaldus */</p> <hr /> <div>===Sissejuhatus===<br /> <br /> Slurm (Simple Linux Utility for Resource Management) on arvutiklastri jaoks mõeldud rakendus mille ülesandeks on jagada etteantud töid mööda arvutiresursse laiali, monitoorida töötavaid protsesse ja pidada tööde üle järjekorda.<br /> <br /> Üldiselt näeb slurmi arhidektuur välja sarnane allolevale pildile. On keskne haldusserver, kuhu kasutajad logivad ja käske käivitavad ning terve hulk<br /> arvutusnodesid-servereid, milledele slurm töid edastab.<br /> <br /> [[Pilt:SlurmArchitecture.gif]]<br /> <br /> ===Slurmi klustri paigaldus===<br /> <br /> Slurmi server koosneb kolmest suuremast komponendist<br /> <br /> # munge - autentimiseks<br /> # slurmctl - mis juhib selle küljes olevaid kliente<br /> # slurmdb - mis tegeleb kasutusstatistika kogumisega ning vajab omakorda mingit andmebaasi, näiteks Mariadb'd<br /> <br /> Munge paigaldamiseks Debianis<br /> <br /> # apt-get install libmunge-dev libmunge2 munge<br /> <br /> Munge võtme loomine<br /> <br /> # sudo dd if=/dev/urandom bs=1 count=1024 &gt; /etc/munge/munge.key<br /> # chown munge:munge /etc/munge/munge.key<br /> # chmod 400 /etc/munge/munge.key<br /> <br /> See tekkinud fail tuleb kopeerida ka kõigisse klientidesse<br /> <br /> # scp /etc/munge/munge.key &lt;node-user&gt;@&lt;node-ip&gt;:/etc/munge/munge.key<br /> <br /> Munge käivitamine<br /> <br /> # sudo systemctl enable munge<br /> # sudo systemctl start munge<br /> <br /> Paigaldame Mariadb sulrmdb jaoks<br /> <br /> # apt-get install mariadb-server<br /> <br /> Slurm on andmebaasi parameetrite osas üsna nõudlik ning vajab innodb seadistamist<br /> <br /> Debianis tuleb avada /etc/mysql/mariadb.conf.d/50-server.cnf ning lisada<br /> <br /> innodb_buffer_pool_size=1024M<br /> innodb_log_file_size=64M<br /> innodb_lock_wait_timeout=900<br /> <br /> Stardime mariadb<br /> <br /> # systemctl start mariadb<br /> # systemctl enable mariadb<br /> <br /> Logime sinna sisse ning tekitame Slurmi kasutaja<br /> <br /> # CREATE USER 'slurm2'@'localhost' IDENTIFIED BY 'parool';<br /> # GRANT ALL ON slurm_acct_db.* TO 'slurm'@'localhost';<br /> <br /> Seejärel võime paigaldada slurmdb, nii andmebaasi enda kui kõik vajalikud andmetabelid tektiab ta seejuures ise<br /> <br /> # apt-get install slurmdb<br /> <br /> Tekitame slurmdbd seadistusfaili /etc/slurm-llnl/slurmdbd.conf<br /> <br /> AuthType=auth/munge<br /> AuthInfo=/var/run/munge/munge.socket.2<br /> StorageHost=localhost<br /> DbdHost=server-hostname<br /> StoragePort=3306<br /> StorageUser=slurm<br /> StoragePass=parool<br /> StorageType=accounting_storage/mysql<br /> StorageLoc=slurm_acct_db<br /> LogFile=/var/log/slurm-llnl/slurmdbd.log<br /> PidFile=/run/slurmdbd.pid<br /> SlurmUser=slurm<br /> DebugLevel=1<br /> <br /> Paneme slurmdbd käima<br /> <br /> # systemctl enable slurmdbd<br /> # systemctl start slurmdbd<br /> <br /> Paigaldame slurmctrli. See seadistuse osa on ühine nii peaserveril kui ka kliendil<br /> <br /> # apt-get install slurm-wlm<br /> <br /> Tekitame talle seadistusfaili, kus defineerime ära ühtlasi ka slurmdb ning esimese kliendi. Selleks lisame faili /etc/slurm-llnl/slurm.conf<br /> <br /> ClusterName=slurm <br /> ControlMachine=server-hostname<br /> ControlAddr=localhost<br /> #<br /> SlurmUser=slurm<br /> SlurmctldPort=6817<br /> SlurmdPort=6818<br /> AuthType=auth/munge<br /> StateSaveLocation=/var/spool/slurm/ctld<br /> SlurmdSpoolDir=/var/spool/slurm/d<br /> SwitchType=switch/none<br /> MpiDefault=none<br /> SlurmctldPidFile=/run/slurmctld.pid<br /> SlurmdPidFile=/run/slurmd.pid<br /> ProctrackType=proctrack/pgid<br /> ReturnToService=0<br /> # <br /> # Timers<br /> SlurmctldTimeout=300<br /> SlurmdTimeout=300<br /> InactiveLimit=0<br /> MinJobAge=300<br /> KillWait=30<br /> Waittime=0<br /> # <br /> # Accounting<br /> AccountingStorageType=accounting_storage/slurmdbd<br /> AccountingStoreJobComment=YES<br /> JobAcctGatherFrequency=30<br /> JobAcctGatherType=jobacct_gather/linux<br /> # <br /> # Logging<br /> DebugFlags=NO_CONF_HASH<br /> SlurmctldDebug=3<br /> SlurmctldLogFile=/var/log/slurm-llnl/slurmctld.log<br /> SlurmdDebug=3<br /> SlurmdLogFile=/var/log/slurm-llnl/slurmd.log<br /> SlurmSchedLogFile= /var/log/slurm-llnl/slurmschd.log<br /> SlurmSchedLogLevel=3<br /> JobCompType=jobcomp/none<br /> #<br /> # Compute nodes<br /> NodeName=slurm-test NodeAddr=10.40.0.10 Port=17000 Procs=1 State=UNKNOWN <br /> PartitionName=test Nodes=ALL Default=YES MaxTime=INFINITE State=UP<br /> <br /> Slurmctrld käivitamiseks<br /> <br /> # systemctl enable slurmctld<br /> # systemctl start slurmctld<br /> <br /> Tekitame test clustri ning esimese kasutaja<br /> <br /> # sacctmgr -i add cluster cluster<br /> # sacctmgr -i add account test Cluster=cluster<br /> # sacctmgr -i add user test Account=test<br /> <br /> Kliendi käivitamine<br /> <br /> # systemctl enable slurmd<br /> # systemctl start slurmd<br /> <br /> Testimiseks võib kasutada käsku<br /> <br /> $ srun uname -a<br /> <br /> ===Lingid===<br /> <br /> https://southgreenplatform.github.io/trainings/hpc/slurminstallation/<br /> <br /> https://gist.github.com/asmateus/301b0cb86700cbe74c269b27f2ecfbef<br /> <br /> https://implement.pt/2018/09/slurm-in-ubuntu-clusters-pt1/<br /> <br /> ===Tööde käivitamine===<br /> <br /> Saadame slurmi töö mis käivitatakse neli korda ja mis väljastab masina kerneli versiooni.<br /> <br /> # '''srun --ntasks=4 uname -a'''<br /> srun: job 561700 queued and waiting for resources<br /> srun: job 561700 has been allocated resources<br /> idu08<br /> idu08<br /> idu08<br /> idu08<br /> <br /> Või soovides käivitada lihtsalt kokku 24 tööd kõigil nodedel ja ja lasta slurmil ise nad jagada laiali<br /> <br /> # srun --ntasks=24 --partition=gpu hostname<br /> <br /> Tasub muidugi tähele panna, et srun sobib peamiselt testimiseks või väga lihtsateks töödeks ning keerukamatel kasutusjuhtudel tuleks kasutada käske salloc või sbatch<br /> Põhimõtteliselt sama esimene näide skriptiga tehtuna, tekitame parallel_uname.sh<br /> <br /> &lt;source lang=bash&gt;<br /> #!/bin/bash<br /> #SBATCH –J test # Seadistab töö nime mida näeb squeue käsuga <br /> #SBATCH –N=4 # Määrab mitut füüsilist serverit kasutatakse<br /> #SBATCH --ntasks-per-node=4 # Määrab, mitu ülesannet ühel serveril käivitatakse<br /> #SBATCH --output=kontroll.out # Väljundfaili nimi – programm ei edastada väljundit kohe ekraanile vaid faili.<br /> uname -a # käsk, mida käivitatakse. Antud juhul uname -a<br /> &lt;/source&gt;<br /> <br /> Lisaks võib seadistada e-maili saatmise töö lõpu korral<br /> <br /> #SBATCH --mail-type=END # Type of email notification- BEGIN,END,FAIL,ALL <br /> #SBATCH --mail-user=ajk@123.com # Email to which notifications will be sent<br /> <br /> Paneme käima<br /> <br /> # '''sbatch parallel_uname.sh'''<br /> Submitted batch job 65918<br /> <br /> Ja väljund<br /> <br /> # cat slurm-65918.out <br /> Linux stage59 2.6.32-431.17.1.el6.x86_64 #1 SMP Wed May 7 14:14:17 CDT 2014 x86_64 x86_64 x86_64 GNU/Linux<br /> <br /> ====MPI tööde käivitamine====<br /> <br /> Message Passing Interface ehk MPI on paraleelsete programmide loomiseks<br /> <br /> Kasutamiseks on vaja laadida moodulid<br /> <br /> module load intel<br /> module load openmpi<br /> <br /> Slurm skript võiks näha välja järgnev<br /> <br /> &lt;source lang=bash&gt;<br /> #!/bin/bash<br /> #SLURM -J myjob<br /> #SLURM -p mpi-core8<br /> #SLURM -t 01:00:00<br /> #SLURM -o myjob-%J.out<br /> #SLURM -N 4<br /> #SLURM --ntasks-per-node=8<br /> module load gcc<br /> module load openmpi<br /> cd subdir<br /> mpirun -np 32 ./myapp<br /> exit 0<br /> &lt;/source&gt;<br /> <br /> https://computing.llnl.gov/tutorials/mpi/<br /> <br /> http://brazos.tamu.edu/software/openmpi.html<br /> <br /> ===Tööde haldus===<br /> <br /> Tööde nimekirja näeb<br /> <br /> # squeue <br /> JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br /> 561555 gpu python hpc_tane R 4-22:47:46 1 idu41<br /> 561544 gpu punct2 ottokar R 5-02:52:19 1 idu40<br /> 561538 gpu punct2 ottokar R 5-03:06:09 1 idu39<br /> 561528 gpu train_HO hpc_tane R 6-07:54:01 1 idu40<br /> 561490 gpu train_HO hpc_tane R 7-06:15:40 1 idu39<br /> 561795 long EUWEST_6 elmer R 10:09:00 1 idu30<br /> 561802 long EESTI1_7 elmer R 4:01:17 1 idu02<br /> 561801 long EESTI1_4 elmer R 4:01:18 1 idu01<br /> 561800 long EUWEST_7 elmer R 4:01:19 1 idu12<br /> 561794 long SLOVAK_6 elmer R 10:13:23 1 idu06<br /> 561793 long EESTI1_2 elmer R 16:04:42 1 idu05<br /> 561792 long EESTI1_6 elmer R 16:09:14 1 idu03<br /> 561647 long bash hpc_kuz R 3-19:32:13 1 idu04<br /> 561810 long run_R-1- hpc_eero R 1:58:03 1 idu34<br /> 561811 long run_R-1- hpc_eero R 1:58:03 1 idu31<br /> 561813 long run_R-1- hpc_eero R 1:58:03 1 idu32<br /> 561809 long run_R-1- hpc_eero R 2:08:03 1 idu29<br /> 561806 long run_R-1- hpc_eero R 2:18:03 1 idu33<br /> 561808 long run_R-1- hpc_eero R 2:18:03 1 idu35<br /> <br /> Töö staatuse nägemiseks tuleb scontrolile anda ette JOBID<br /> <br /> # '''scontrol show job 561581'''<br /> JobId=561581 Name=SLOVAK_6<br /> UserId=elmer(10010) GroupId=elmer(10010)<br /> Priority=1503 Account=(null) QOS=(null)<br /> JobState=RUNNING Reason=None Dependency=(null)<br /> Requeue=1 Restarts=0 BatchFlag=0 ExitCode=0:0<br /> RunTime=09:06:37 TimeLimit=12:00:00 TimeMin=N/A<br /> SubmitTime=2016-02-25T06:26:02 EligibleTime=2016-02-25T06:26:02<br /> StartTime=2016-02-25T06:26:02 EndTime=2016-02-25T18:26:02<br /> PreemptTime=None SuspendTime=None SecsPreSuspend=0<br /> Partition=long AllocNode:Sid=juur:22238<br /> ReqNodeList=(null) ExcNodeList=(null)<br /> NodeList=idu38<br /> BatchHost=idu38<br /> NumNodes=1 NumCPUs=8 CPUs/Task=8 ReqS:C:T=2:4:1<br /> MinCPUsNode=8 MinMemoryNode=18G MinTmpDiskNode=0<br /> Features=(null) Gres=(null) Reservation=(null)<br /> Shared=OK Contiguous=0 Licenses=(null) Network=(null)<br /> Command=/storage/jobs/g-9.sh<br /> WorkDir=/cluster/elmer<br /> <br /> Töö lõppu on muidugi võimatu ette teada/ennustada. Võib-olla umbes töö alustaja ise teab, kaua see VÕIKS aega võtta.<br /> <br /> idu seisu vaatamiseks juurest või suvalisest idust anda käsk<br /> <br /> # '''scontrol show node idu38'''<br /> NodeName=idu38 Arch=x86_64 CoresPerSocket=6<br /> CPUAlloc=8 CPUErr=0 CPUTot=12 CPULoad=5.82 Features=K20<br /> Gres=gpu:2<br /> NodeAddr=idu38 NodeHostName=idu38<br /> OS=Linux RealMemory=48000 AllocMem=18432 Sockets=2 Boards=1<br /> State=MIXED ThreadsPerCore=1 TmpDisk=200000 Weight=100<br /> BootTime=2015-01-21T00:23:33 SlurmdStartTime=2015-01-21T00:24:09<br /> CurrentWatts=0 LowestJoules=0 ConsumedJoules=0<br /> ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/ s<br /> <br /> ===Slurmi partitsioonid===<br /> <br /> Tööde paremaks halduseks on mõistlik erinevad masinad jagada erinevatesse partitsioonide gruppidesse. <br /> <br /> Partitsioonide konfiguratsiooni nägemiseks<br /> <br /> # sinfo<br /> PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br /> short* up 30:00 4 idle~ idu[08-11]<br /> short* up 30:00 16 mix idu[01-06,12,29-37]<br /> short* up 30:00 1 down idu07<br /> long up infinite 4 idle~ idu[08-11]<br /> long up infinite 16 mix idu[01-06,12,29-37]<br /> long up infinite 1 down idu07<br /> gpu up infinite 5 idle~ idu[08-11,38]<br /> gpu up infinite 10 mix idu[01-06,12,39-41]<br /> gpu up infinite 1 down idu07<br /> <br /> Partitsioonide täpsem info<br /> <br /> # '''scontrol show partition'''<br /> PartitionName=short<br /> AllocNodes=ALL AllowGroups=ALL Default=YES<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=00:30:00 MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[29-37]<br /> Priority=100 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=204 TotalNodes=21 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> PartitionName=long<br /> AllocNodes=ALL AllowGroups=ALL Default=NO<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[29-37]<br /> Priority=150 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=204 TotalNodes=21 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> PartitionName=gpu<br /> AllocNodes=ALL AllowGroups=ALL Default=NO<br /> DefaultTime=NONE DisableRootJobs=NO GraceTime=0 Hidden=NO<br /> MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=1 MaxCPUsPerNode=UNLIMITED<br /> Nodes=idu[01-12],idu[38-41]<br /> Priority=1000 RootOnly=NO ReqResv=NO Shared=YES:4 PreemptMode=OFF<br /> State=UP TotalCPUs=144 TotalNodes=16 SelectTypeParameters=N/A<br /> DefMemPerCPU=2048 MaxMemPerCPU=12288<br /> <br /> Näiteks antud juhul asuvad GPUsid sisalduvad noded &quot;long&quot; partitsioonist väljaspool, et neile muid arvutusi ei antaks. <br /> <br /> Nodede liigutamiseks partitsoonide vahel. /etc/slurm/slurm.conf lõpus on see partitsioonide konf<br /> Muuda vastavalt partitsioone, mida tahad ja siis slurmi servisele restart (käivad tööd sellest katki ei lähe).<br /> <br /> /etc/init.d/slurm restart<br /> <br /> ===Veateated ja probleemid===<br /> <br /> Mälulimiit on programmi poolt ületatud<br /> <br /> slurmd[n1]: error: Job 60204 exceeded 10240 KB memory limit, being killed<br /> slurmd[n1]: error: *** JOB 60204 CANCELLED AT 2011-05-27T19:34:34 ***<br /> <br /> Mälulimiit on seadistatud liiga kõrge olemasoleva mälu jaoks<br /> <br /> $ sbatch run.slurm <br /> sbatch: error: Batch job submission failed: Requested node configuration is not available<br /> <br /> http://www.umbc.edu/hpcf/resources-tara-2013/scheduling-policy.php<br /> <br /> Node staatus on &quot;down&quot;<br /> <br /> Esmalt võiks proovida seda manuaalselt muuta, näiteks:<br /> scontrol update state=MIXED nodename=node84<br /> <br /> ===Lingid===<br /> <br /> http://www.schedmd.com/slurmdocs/quickstart.html<br /> <br /> https://rc.fas.harvard.edu/resources/running-jobs/<br /> <br /> http://www.ibm.com/developerworks/library/l-slurm-utility/</div>

Jj