Rsync

Sissejuhatus

Rsync on vaba tarkvara unixi laadsetele süsteemidele, mis sünkroniseerib faile ja kaustu ühest arvutite vahel. Rsync kasutab kodeerimist ja ei tekita varundamisel duplikaate, vaid tekitab viiteid failide vahel, vähendades sedaviisi infomahte ja kettakasutust.

Veebisait http://rsync.samba.org/ ja dokumentatsioon http://www.samba.org/rsync/documentation.html

Lihtne näide rsync kasutamisest:

1. sünkroniseerime faili lokaalsest masinast teise nimega host.ee

rsync fail kasutaja@host.ee:

2. sünkroniseerime kausta lokaalsest masinast ümber

rsync -a kaust kasutaja@host.ee:

Sellise näite järgi on kõige lihtsam failide sünkroniseerimine. Toimib see samuti üle ssh ning on koormust tekitav viis.

Olulisemad võtmed

• --archive -a arhiivi võti mida kasutades kindlustatakse kuupäevade õiguste omanike ja linkide säilumine, soovituslik lisada igasuguste sünkroniseerimiste puhul.
• --verbose -v protsessi kohta põhjalikuma info näitamine nt failinimekiri
• --progress ülekande progressi kohta info
• --stats ülevaatlikum statistika kulunud ajast ja failide hulgast
• --compress -z toimub pakkimine enne ülekandmist
• --delete -d sihtkohast kustutatakse algallikas enam mitte eksisteerivad failid
• --exclude "*bak" mingite faililaiendite, failinimede ignoreerimine näiteks avi, mp3 võib määrata ka võtmega --exclude-from faili milles failides või kaustades asjadest mida ei varundata
• --numeric-ids ei üritata failide UID/GID muuta sünkroniseeritava süsteemi kasutajate järgi ja jäetakse need puutumatuna

Veel mõned erandjuhtudel vajaminevad parameetrid

• -n Mille korral rsync lihtsalt ütleb mida ta teeks ilma reaalselt faile üle kandmata
• -W Teatab rsyncile kanda üle terve fail selle asemel, et kasutada oma block leveli võrdlemise vahendeid. Kui kasutada on väga kiire võrguühendus võib see võti muuta tööd kiiremaks kuna rsync ei pea faile kontrollima, kasutades rsynci üle interneti on tõenäoliselt seda võtit kasutada ebapraktiline
• -c Käseb genereerida kõigi failide kontrollsummad. Kasutades seda võtit võib rsync muutuda üsnagi aeglaselt seega kasutada vaid tõsise vajaduse korral, näiteks kui kahtlus, et failide info on kuidagi rikutud.
• -z suunab rsynci kasutama zlib pakkimist
• -H, --hard-links Säilita hard lingid, vajalik nt kui ülekantavad andmed varundatud link-dest võtmega

Lisaks kui rsync teatab file has vanished tähendab seda, et failisüsteemis on sünkroniseerimise ajal tekkinud muudatusi

Exclude kohta veel,

--exclude "/foo" eraldab faili nimega foo kaustas kus hetkel asutakse mida näeb pwd käsuga

--exclude "foo/" eraldab kõik kaustad nimega foo

rsync server

Varundusserverit luues on mõistlik startida seal rsynci deemon mis võimaldab parooliga ligipääsu lugemiseks/kirjutamiseks teatud kaustadele

Seadistusfailiks rsyncd.conf mis Linuxis /etc/rsyncd.conf ja FreeBSDs /usr/local/etc/rsyncd.conf

Näidis rsyncd.conf

uid = root
gid = root
use chroot = no
max connections = 25
log file=/var/log/rsyncd.log

[failid]
       path = /kus/failid/on
       comment = failid

[pildid]
       path = /kus/pildid/on
       comment = failid
       dont  compress = *

FreeBSD's tuleb rida gid = root asendada reaga gid = wheel

selle seadistusfailiga tekitame olukorra kus on kaks jaotist: failid ja pildid. Piltidele keelame direktiiviga "dont compress = *" andmevoo pakkimise kuna piltide pakkimine annab vähe eelist sama võib teha ka videosid sisaldavate kaustadega.

vaikimisi juba ei teha seda failidele laiendiga *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

Logimist võib korraldada ka läbi syslogi'i kasutades rida

syslog facility = local5

Või siis lihtsalt lisade syslog.confi rea

daemon.info                                     /var/log/daemon.log

täpsemalt on seletatud asja logimise palas lahti http://kuutorvaja.eenet.ee/wiki/Logi. Võimalik seada local0 kuni locan7ni

Soovides lubada varundamisele kliente ligi vaid kindla parooliga tuleks share teha selliselt

[failid]
  path = /kus/failid/on
  comment = failid
  auth users = kasutaja
  secrets file = /etc/rsyncd.pass

tekitame faili /etc/rsyncd.pass paroolid hoitakse selles plaintextina. Tuleks jälgida ,et fail poleks world readable milleüle hakkaks rsync kurtma faili võime kirjutada näiteks

kasutaja:kasutaja

käsk paroolifailiga sünkroniseerimiseks ,et saada kaust /etc varundatud võiks olla siis näiteks

rsync --password-file /etc/rsyncd.pass -a /etc kasutaja@192.168.1.10::backup

Tulemüüri seadistamine

rsync töötades deemonina kasutab porti tcp 873

linux iptablesis saame müüri teha pordi lahti käsuga

iptables -I INPUT -p tcp -s 192.168.1.10 --dport 873 -j ACCEPT 

FreeBSD packet filteris

pass in on $ext_if proto tcp from { 192.168.1.10 } to port 873 

Muidugi võib seadistusfaili kirjutada kohe

hosts allow = *.host.ee
hosts deny = * 

nüüd võime anda käsu

rsync -a kaust root@host::failid

üleslaetud failide nimistut saab

rsync -v --list-only -a root@host.ee::pildid

kui pole öeldud muidugi list = false

Soovides limiteerida aeglasema kiirusega kohtades rsync kiirust tuleks kasutada rsync omadust --bwlimit=KBPS

Paroolita rsync kasutades ssh kopeerimist

Paroolifaili etteandmine ilma rsync serverit kasutamata ei toimi, sellisel juhul tuleks toimida järgnevalt

Genereerime privaatse ja avaliku võtme, kui parooli ei soovi vajutame lihtsalt enteri

# ssh-keygen -t rsa -b 4096 -f rsync-key
Generating public/private rsa key pair.
rsync-key already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in rsync-key.
Your public key has been saved in rsync-key.pub.
The key fingerprint is:
e8:c7:f2:f1:da:2a:0f:a4:4f:63:89:9f:3e:9d:b9:87 root@loomaaed.zoo.ee

Kopeerime rsync.key.pub sisu sihtkoht masina faili authorized_keys

/root/.ssh/authorized_keys

Testime

ssh -i rsync-key root@192.168.1.10

ja rsync käsk näeb välja järgnev, ette tuleb anda rsync privaatne võti

rsync -av --delete  -e "ssh -i /home/kasutaja/rsync-key"  /srv/kauyst root@192.168.1.10:/srv/

Soovituslik oleks üldiselt kasutada sellistel juhtudel juba rsync serverit.

Snapshot stiilis backup

Rsync omab võtit --link-dest mis võimaldab full backupide tegemisel hoida kokku ruumi. Nimelt võtab rsync siis näiteks eelmise päeva backupi aluseks ja loob jooksva päeva backup kausta hardlingid failidest mis on juba olemas ning syncib ainult muutunud failid. Nii on kaustas full backup kuid selle suuruseks on vaid muutunud failide summa. Nii on võimalik teha paarkümmend full backupi kuid nende mahuks jääb kokkuvõtteks 1-2 maht.

Illustreeriv skeem, võetud lehelt http://web.cs.mun.ca/infrastructure/labnet/summary_educ4.html

Hardlink on symlingi sarnane. Nad on tavaliselt loodud ln käsuga kuid ilma -s võtmeta. Hard link kujutab endast seda kui 2 faili viitavad samale inodele ja kettablokile. Erinevalt symlingist pole tegemist eraldi failiga vaid lihtsalt kahe lingiga samale faili.e Kui kustutada ükskõik kumb viide jääb teine alles ning sisaldab infot.

Käsu süntaksiks on:

rsync -avH --link-dest=/backup/eile /root/kaust_mida_varundame /backup/tänane_backup

Anname rsyncile ette eilse backupi kausta, siis kausta mida soovime varundada ja kausta kuhu varundada.

Töö lihtsustamiseks võib luua skripti

#!/bin/sh
t2na=`date "+%Y%m%d"`
eile=`date -v-1d "+%Y%m%d"`
mkdir /backup/$t2na
rsync -avH --link-dest=/backup/$eile /root/kaust_mida_varundame /backup/$t2na

Loomulikult ei või aga kustutada ühtegi backup kausta kuna sellisel juhul lähevad hardlingid failide vahel katki.

Siin on näide skriptist mis salvestab 7 incremental varukoopiat http://www.syrlug.org/contrib/rsync.html

Veel juttu rsynciga snapshotide tegemisest aadressidel

• http://blog.interlinked.org/tutorials/rsync_time_machine.html

• http://www.mikerubel.org/computers/rsync_snapshots/

Kiiruse limiteerimine

Kasutuse all olevates süsteemides võib sünkroniseerides juhtuda ,et rsync hakkab liiga ohtralt io/protsessoriaega kulutama ja server muutub selle käigus aeglaseks, selpuhul on kasulik limiteerida kiirust näiteks järgnevalt

rsync --bwlimit=1000 fail1 fail2

kiirus tuleb märkida kilobaitides, number näitab täpsemalt mitu kilobaiti sekundus lubatakse saata. Teine hea võimalus on kasutada nice käsku

Lingid

• http://wiki.itcollege.ee/index.php/Rsync
• http://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp rsynci versioon windowsile