Lehekülje Xen kasutamine Debian Lenniga lähteteksti vaatamine

===Xen tarkvara paigaldamine===

Kaasaegsete Linuxi distributsioonide paketihaldusest on reeglina võimalik Xen tarkvara paigaldada. Nt Debian GNU/Linux v 5.0 puhul AMD64 arhitektuuri jaoks tuleb paigaldada paketid

* Xen hüperviisor - xen-hypervisor-3.2-1-amd64
* Xen tuum - linux-image-2.6.26-2-xen-amd64 (millegipärast nimetatakse seda paketti 'oldstyle Xen support')
* Xen teegid, programmid, skriptid ja dokumentatsioon - xen-docs-3.2, xen-tools, xen-utils-3.2-1, xen-utils-common 
* üldkasutatavad abivahendid - bridge-utils

Praktiliselt sobib Xen tarkvara paigaldamiseks öelda

  # apt-get install xen-linux-system-2.6.26-2-xen-amd64 xen-tools

Paigaldamise käigus tekivad süsteemi juurde sellised komponendid

* /etc/alternatives/xen-default -> /usr/lib/xen-3.2-1

Peale tarkvara paigaldamist tuleb arvuti bootida kasutades hüperviisorit ning Xeni tuuma, selleks sobib kasutada nt sellise sisuga GRUB menüü faili menu.lst

  default     0
  timeout     15
  color cyan/blue white/blue
  
  title Xen
  root (hd0,0)
  kernel /boot/xen-3.2-1-amd64.gz dom0_mem=393216
  module /boot/vmlinuz-2.6.26-2-xen-amd64 root=/dev/sda1 ro max_loop=255
  module /boot/initrd.img-2.6.26-2-xen-amd64

Pange tähele, et privilegeerimata domeeni tuum paikneb väljaspoole privilegeerimata domeeni failisüsteemi ning see asjaolu on iseloomulik paravirtualiseerimisele. Lisaks on piiratud dom0 mälu mahuga 384 MB. Tõsi, on olemas py-grub initsiatiiv, mis võimaldab kasutada domU'ga domU sees paiknevat tuuma.

Peale bootimist saab küsida hüpervisori dmesg'i käsuga

  bash# xm dmesg

===Xen tarkvara seadistamine===

Xen'i tarkvara koosneb kahest osast

* dom0 sees töötab serveri pool, mida kontrollib seadistusfail /etc/xen/xend-config.sxp
* Iga domU omadused on kirjas vastava domU seadistusfailis, /etc/xen/domU-nimi.cfg

Kuigi tundub, et xend-config.sxp failis tehtud muudatuste kehtestamiseks tihti piisab xend doeemoni peatamisest ja startimisest

  bash# /etc/init.d/xend stop|start

osutub, et vahel on kõige otsekohesem segaduste vältimiseks peale selle faili muutmist arvuti alglaadida. Pealegi, xend-config.sxp failis tehakse vajalikud muudatused Xeni juurutamise ajal ära ning edaspidi muudetakse seda Xeni kasutamise ajal harva. xend-config.sxp faili muutmise teel saab teha järgmisi otsustusi

* millises režiimis töötab domU'de võrk (bridge, routing, nat)
* kui palju on dom0 sees kasutusel protsessoreid, soovitav on valida kõik, muidu mõnel platvormil süsteem ei tööta stabiilselt (dom0-cpus 0)
* kui palju mälu on tagatud dom0 jaoks, soovitav 196 MB (dom0-min-mem 196)

Xen võimaldab kasutada domU'sid võrgu mõttes kolmel erineval moel, tavaliselt kasutatakse kõiki domU'sid samaagselt ühes ja samas režiimis

* routing - dom0 on võrgu sõlmpunktiks iga domU ja dom0'ga samas subnetis olevate teiste arvutite vahel
* nat - dom0 on võrgu sõlmpunktiks iga domU ja dom0'ga samas subnetis olevate teiste arvutite vahel kusjuures, dom0 teeb NAT teisendusi domU'de jaoks
* bridge - dom0 ja kõik domU'de võrguseadmed asuvad ühes ja samas võrgus etherneti mõttes, kasutatakse sama ip subneti aadresse

Järgnevates punktides käsitletakse eraldi domU'le vastava seadistusfaili kõiki muid omadusi ning kuidas seadistada käima erinevaid võrgus töötamise režiime, alustuseks võiks Debian GNU/Linux 5.0 puhul vaadata üle mainitud dom0-cpus ja dom0-min-mem parameetrite väärtused ning dom0 operatsioonisüsteem alglaadida.

===Xen domU moodustamine===

domU operatsioonisüsteemi eksemplarile vastava plokkseadmena saab kasutada

* tõmmisfaili dom0 arvuti failisüsteemis
* fdisk partitsiooni
* LVM volume'i
* üle iSCSI (või muul analoogsel moel, nt AOE) dom0 arvutisse ühendatud plokkseadet
* üle FC dom0 arvutisse ühendatud plokkseadet
* üle NFS'i kättesaadavat failisüsteemi

Debian Lenny sisaldab paketti xen-tools, mis hõlbustab Guest domeeni operatsioonisüsteemile vastava failisüsteemi tekitamist, nt võiks sobida kasutada selline seadistusfail /etc/xen-tools/xen-tools.conf

 dir = /data
 debootstrap = 1
 size   = 4Gb      # Disk image size.
 memory = 512Mb    # Memory size
 swap   = 1024Mb    # Swap size
 fs     = ext3     # use the EXT3 filesystem for the disk image.
 dist   = lenny    # Default distribution to install.
 image  = full   # Specify sparse vs. full disk images.
 passwd = 1
 kernel = /boot/vmlinuz-2.6.26-2-xen-amd64
 mirror = http://ftp.aso.ee/debian/

ning öelda

 # xen-create-image --hostname=xen.loomaaed.tartu.ee --ip=172.16.92.2 \
 --gateway=172.16.92.128 --netmask=255.255.255.0

Tulemusena moodustatakse domU seadistusfail

 /etc/xen/xen.loomaaed.tartu.ee.cfg

ning juurfailisüseemi ja saaleala tõmmised kataloogi /data/domains/xen.loomaaed.tartu.ee

 /data/domains/xen.loomaaed.tartu.ee/disk.img
 /data/domains/xen.loomaaed.tartu.ee/swap.img

Parameetri dir asemel saab kasutada parameetrit lvm, nt 'lvm=data_xen' puhul oleks moodustatud vastavad LVM voluumid gruppi data_xen

  /dev/data_xen/xen.loomaaed.tartu.ee-swap
  /dev/data_xen/xen.loomaaed.tartu.ee-disk

Seadistusfaili võiks kohendada ülevaatlikuse mõttes nt selliseks

  name    = 'xen.loomaaed.tartu.ee'
  kernel  = '/boot/vmlinuz-2.6.26-2-xen-amd64'
  ramdisk = '/boot/initrd.img-2.6.26-2-xen-amd64'
  root    = '/dev/xvda1 ro'
  memory  = '1024'
  disk    = [ 'file:/data/domains/xen.loomaaed.tartu.ee/disk.img,sda1,w',
              'file:/data/domains/xen.loomaaed.tartu.ee/swap.img,sda2,w' ]
  vif  = [ 'mac=70:01:68:00:20:13' ]
  vcpus="2"
  extra='xencons=tty'

Toodud domU seadistamiseks kasutatud parameetrid on isenesest mõistetava tähendusega, kõikvõimalike parameetrite loetelu saab küsida käsuga

  # xm create --help_config

domU'de arvu suurenemisel lihtsustab süsteemi haldamist kui mac aadressid on tekitatud mingi süsteemi alusel, näiteks võiks kasutada sarnast skeemi kümend süsteemist kuueteistkümned süsteemi teisendamisel

* ip aadress 192.168.2.13 - 70:01:68:00:20:13 ehk kasutades sulge 70:0(1:68):(00:2)(0:13)

Märkused:

* Vastsesse süsteemi sisselogimisel on juurkasutaja parool seadistamata, sisselogimisel konsoolilt sobib parooli küsimise kohas vajutada Enter.
* Tõenäoliselt tuleb paigaldada vastsesse süsteemi udev pakett ning teha operatsioonisüsteemile alglaadimine, muidu saab ssh abil sisse logides teate

  PTY allocation request failed on channel 0
  /usr/bin/X11/xauth:  creating new authority file /root/.Xauthority
  stdin: is not a tty

* Kui domU sees 'su - kasutajanimi' puhul kõigi klaviatuurilt tehtud klahvivajutuste puhul peale Enteri logitakse kasutaja välja, st tagasi juurkasutaja shelli, siis selle vastu aitab anda domU'le 2 vcpus, http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=476519

===domU käivitamine ja seiskamine===

Jättes esialgu pööramata tähelepanu võrguseadistustele ja kommenteerides vif parameetri domU seadistusfailist välja veendume, et domU on kasutatav st teda saab käivitada, konsoolilt sisse logida ning seisata.

domU käivitamine koos konsooli kasutamisega toimub selliselt, -c võti tähendab, et samale terminalile kus käsk anti esitatakse domU konsool

  # xm create -c /etc/xen/xen.loomaaed.tartu.ee.cfg

Peale domU käivitamist võib sisse logida kas konsooli kaudu või üle võrgu kui võrk oleks seadistatud. Konsoolilt pääseb välja Ctrl + ] kombinatsiooni abil ning konsooli tagasi käsuga

  # xm console xen.loomaaed.tartu.ee

domU seiskamiseks on käsk

  # xm shutdown xen.loomaaed.tartu.ee

Töötavate domeenide nimekirja näeb käsuga

  # xm list

Xen domU'le vastavaid failisüsteeme saab dom0 all hõlpsasti külge ühendada ja kasutada, kusjuures vastav domU ei tohi samal ajal töötada

  bash# mount -o loop /data/domains/xen.loomaaed.tartu.ee/disk.img /mnt

===Võrgu kasutamine domU seest===

TODO

====Ruuting režiim====

TODO

====Aadressteisendav režiim====

TODO

====Sillatud režiim====

TODO

====Sillatud režiim VLAN seadmetega====

DomU ühendamiseks võrku mitme dom0 peal seadistatud VLAN võrguseadme abil tuleb teha ettevalmistusi operatsioonisüsteemi võrguseadistustes ning lisada paketihaldusest paigaldatud Xeni skriptidele juurde kaks skripti, mis peavad olema käivitatavad. Järgnev põhineb, õigemini kordab juhendit aadressilt http://wiki.xensource.com/xenwiki/XenNetworking#head-cc1acf427fd2514aa441f1dbce2ba0a512eb8697 ehk VLAN -> 2nd method.

Olgu selline eesmärk

* eth0 - nö tavaline võrguseade, mida kasutatakse Xen dom0 halduseks, aadress 10.0.5.250
* eth1 - nn tagged võrguseade, millele kasutatakse VLAN'isid vlan506, vlan507 ja vlan508, dom0 sees neil seadmetel ip aadresse ei ole
* domU sees moodustuvad seadmed eth0 ja eth1, mis kuuluvad vastavalt vlan506 ja vlan507 peale, domU sees on neil ip aadressid seadistatud

Tulemuse saavutamiseks tuleb operatsioonisüsteemis moodustada sellise sisuga /etc/network/interfaces fail

  auto lo
  iface lo inet loopback
  
  auto eth0
  iface eth0 inet static
   address 10.0.5.250
   gateway 10.0.5.1
   netmask 255.255.255.0
  
  auto eth1
  iface eth1 inet manual
   pre-up ifconfig $IFACE up
   post-down ifconfig $IFACE down
  
  auto vlan506
  iface vlan506 inet manual
    vlan_raw_device eth1
  
  auto vlan507
  iface vlan507 inet manual
   vlan_raw_device eth1
  
  auto vlan508
  iface vlan508 inet manual
   vlan_raw_device eth1

Seejärel tuleb teha koopia failist /etc/xen/scripts/network-bridge

  # cp /etc/xen/scripts/network-bridge /etc/xen/scripts/network-bridge-withvlan

ning koopias kommenteerida osa ridu välja, selliselt

  # diff /etc/xen/scripts/network-bridge*
  100c100
  <     if ! ifup $1 ; then
  ---
  > #    if ! ifup $1 ; then
  108c108
  <     fi
  ---
  > #    fi
  217c217
  <     if ! ifdown ${netdev}; then
  ---
  > #    if ! ifdown ${netdev}; then
  222c222
  <     fi
  ---
  > #    fi
  245c245
  <     if ! ifdown ${bridge}; then
  ---
  > #    if ! ifdown ${bridge}; then
  247c247
  <     fi
  ---
  > #    fi

Seejärel tuleb moodustada skript /etc/xen/scripts/sillad.sh

  #!/bin/sh
  dir=$(dirname "$0")
  
  "$dir/network-bridge-withvlan" "$@" vifnum=0 netdev=vlan506 bridge=xenbr506
  "$dir/network-bridge-withvlan" "$@" vifnum=1 netdev=vlan507 bridge=xenbr507
  "$dir/network-bridge-withvlan" "$@" vifnum=2 netdev=vlan508 bridge=xenbr508
  
  for i in 506 507 508; do
          ifconfig xenbr$i up
  done

Ning lõpuks näidata seadistusfailis /etc/xen/xend-config.sxp, et seda sillad.sh faili kasutatakse

  # (network-script network-dummy)
  (network-script sillad.sh)

Nii ettevalmistatud sildade kasutamiseks sobib domU seadistusfailis kasutada nt ridu

  vif = [ 'mac=70:10:00:00:61:30,bridge=xenbr506', \
          'mac=70:10:00:00:71:30,bridge=xenbr507' ]

Kui kasutajat härib, et episoodiliselt on näha tcpdump abil domU sees salvestatud liikluses tcp või udp kontrollsummade vigu

  # tcpdump -s 1600 -w /tmp/tx-on-on.log -i eth0
  # zcat /tmp/tx-on-on.log | tcpdump -nvver - | grep incorrect
  ...
  20:14:45.155727 70:10:00:00:61:30 > 00:00:5e:00:01:6a, ethertype IPv4 (0x0800), \
    length 114: (tos 0x10, ttl 64, id 21672, offset 0, flags [DF], proto TCP (6), \
    length 100) 10.0.6.130.22 > 172.17.4.97.44186: P, cksum 0xc14a (incorrect \
    (-> 0x63df), 3761:3809(48) ack 1440 win 273 <nop,nop,timestamp 4294921785 9256126>

siis võib domU sees öelda ja selliseid vigu enam tcpdump ei esitata

  # ethtool -K eth0 tx off

Tulemusena on offloadi puudutavad parameetrid sellised

  # ethtool -k eth0
  Offload parameters for eth0:
  Cannot get device rx csum settings: Operation not supported
  Cannot get device flags: Operation not supported
  rx-checksumming: off
  tx-checksumming: off
  scatter-gather: off
  tcp segmentation offload: off
  udp fragmentation offload: off
  generic segmentation offload: off
  large receive offload: off

Samaväärne on kirjutada vastava seadme juurde /etc/network/interfaces faili

  post-up  ethtool -K eth0 tx off

===Serial konsooli kasutamine===

Selleks, et konsoolil oleks

* GRUB menüü
* Linuxi tuuma logi
* login prompt

tuleb kasutada GRUB alglaadijas kasutada sektsioone

  serial --unit=0 --speed=9600
  terminal --timeout=15 serial console
  ..
  title           Xen 3.2-1-amd64 / Debian GNU/Linux, kernel 2.6.26-2-xen-amd64
  root            (hd0,0)
  kernel          /xen-3.2-1-amd64.gz dom0_mem=393216 console=com1,vga com1=9600,8n1
  module          /vmlinuz-2.6.26-2-xen-amd64 root=/dev/mapper/system-root ro console=tty0 console=hvc0                      
  module          /initrd.img-2.6.26-2-xen-amd64

ning /etc/inittab sees

  1:2345:respawn:/sbin/getty 38400 hvc0
  2:23:respawn:/sbin/getty 38400 tty1
  ..
  T0:23:respawn:/sbin/getty -L hvc0 9600 vt100

===domU konsooli väljundi logimine===

domU konsooli väljundi logimiseks faili sobib teha faili /usr/lib64/xen-default/bin/xend selline muudatus

  # diff /usr/lib64/xen-default/bin/xend /usr/lib64/xen-default/bin/xend-orig
  103,104c103
  <         args = ["--log", "guest", "--log-dir", "/var/log/xen/guest/"]
  <         execute('xenconsoled', args)
  ---
  >         execute('xenconsoled')

Tulemusena peale järgmist Xen käivitamist käivitatud domU arvutite logi salvestatakse /var/log/xen/guest kataloogi domU nimelistesse failidesse.

Kontrolliks peab olema xenconsoled protsessil näha vastavaid võtmeid

  # ps aux | grep xenconsoled
  root 3636 0.0 0.1 20576 684 ? Sl 22:19 0:00 /usr/lib/xen-3.2-1/bin/xenconsoled --log guest --log-dir /var/log/xen/guest

Allikana on kasutatud sissekannet aadressilt http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=517863

===domU liigutamine erinevate dom0 arvutite vahel===

Xen võimaldab seadistada käima kaks või enam füüsilist dom0 funktsioonis töötavat arvutit nii, et domU domeeni saab nende vahel ümber paigutada

* ümberpaigutamine domU peatamisege (ingl. k. migration) - domU töö peatatakse esmalt (samaväärne 'xm pause domeenimi' tegevusega), domeeni olek kopeeritakse teisse arvutisse ja domU töö jätkub (unpause); nb! peatamisega antud juhul ei kaasne operatsioonisüteemi alglaadimist
* ümberpaigutamine domU peatamiseta (ingl. k. live migration) - domU's töötavates teenustes katkestust praktiliselt ei ole kasutajate jaoks tunda

Seejuures kehtib dom0 arvutite jaoks piirang, et neis kasutatavad protsessorid peavad olema sarnaseid, kõige parem kui identsed, aga kindlasti ei tööta koostöös AMD ja Inteli protsessorid.

Sellist teenust pakkuva operatsioonisüsteemi eksempalari liigutamist erinevate füüsiliste arvutite vahel võib lugeda üheks kõrgkäideldava lahenduse komponendiks näiteks selles mõttes, et kui koormus suureneb või on vajadus sooritada füüsilise arvuti hooldustööd, saab ilma teenust katkestamata liigutada teenust pakkuva keskkonna sobivamale platvormile.

Asjakorraldust kirjeldab selline skeem

            ___                   ___             ___
           |   | -----domU-----> |   |           |   | 
           |___|                 |___|           |___|
             |  dom0 A             |  dom0 B       |  storage
             |                     |               |
        -----|---------------------|---------------|------

* storage - block device teenust pakkuv server, domU failisüsteemid asuvad seal (nt aoe (ata over ethernet), iscsi või fc)
* dom0 A - Xeni host, kus domU töötab sündmuste alguses
* dom0 B - Xeni host, kus domU töötab sündmuste lõpus

domU migratsiooni käigus kopeeritakse arvuti olek (mälu, võrguühendused jm) ühelt teisele dom0'le ja teenusepakkumine jätkub. Oluline on seejuures, et mõlemale dom0 arvutile on ühendatud külge sama plokkseade, mida domU seest kasutatakse. Xen tarkvara hoolitseb ise selle eest, et seda plokkseadet sobivalt kasutatakse, sh et mitte enam kui üks selle domU eksemplar poleks samaagselt aktiivne.

Xeni seadistusfailis /etc/xen/xend-config.sxp peavad olema sarnased read, nö päris elus kasutamiseks maksab ilmselt rakendada rangemaid piiranguid (kahe viimase rea lõpus sulgude sees pole argumendiks olevate ' ' märkide vahel tühikut)

  (xend-relocation-server yes)
  (xend-relocation-port 8002)
  (xend-relocation-address ' ' )
  (xend-relocation-hosts-allow ' ' )

ning domU seadistusfailid peavad olema mõlemas dom0'is sarnased, sama nimi, samad mac aadressid, mälu suurus jms, praktiliselt on oluline kasutada rida, http://wiki.debian.org/Xen#A.27clocksource.2BAC8-0.3ATimewentbackwards.27

  extra="xencons=tty clocksource=jiffies"

Migratsiooni kasutamise järgnevus võiks olla selline

* domU on käivitatud tavapärasel viisil dom0 A arvutis ja dom0 B arvutis ei ole käivitatud
* Nt live migratsiooni alustamiseks tuleb öelda seal arvutis, kus parasjagu domU asub (pausiga migratsiooni tegemiseks tuleb --live võti ära jätta)

  # xm migrate --live domU-nimi teise-dom0-nimi

* Tulemusena töötab domU dom0 B arvutis ja ei tööta dom0 A arvutis.

Kuna domU säilitab oma MAC aadressi ja ip aadressi, siis tcp ühenduste jaoks on migration samaväärne pikemaajalise võrgukatkestusega ning live migration väga lühiajalise võrgukatkestusega.

Selleks, et saada aimu migratsiooni käigust sobib vaadata, kas üle porti 8002 liiklust käib või kontrollida xm list käsuga mis olekus on domU kummaski dom0 arvutis.

===Etch ja Lenny kasutamise ühilduvus dom0 ja domU kasutamisel===

Aadressil http://wiki.debian.org/Xen#Compatibility on esitatud selline tabel

* dom0 works on kernels 2.6.18 from Etch and 2.6.26 from Lenny, but not with kernel 2.6.24 from Etch-n-half;
* domU should work with all kernels (2.6.18 and 2.6.24 from Etch and 2.6.26 from Lenny);
* a Lenny dom0 on amd64 can run any domU (Etch or Lenny, i386 or amd64);
* a Lenny dom0 on i386 can, or should be able to, run any 32-bit domU (Etch or Lenny).
* an Etch dom0 (2.6.18-*-xen) can only run 32-bit domU when it's i386 itself, a 64-bit Etch dom0 (using the amd64 kernel) can run a 64-bits domU and also a 32-bit domU, but only when using the amd64-kernel and a 32-bit userland!

===Märkused===

* Debian Lenny Xen sisaldab 2009 suve lõpul üsna ebamugavat viga, mis avaldub mõnel juhul suure koormuse puhul dom0 praktiliselt kasutamiskõlbmatuks muutumises; samal ajal domU'd paistavad töötavat. Viga on kirjeldatud aadressil http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=542614
* Kui süsteem on uuendatud nt dist-upgrade käigus Debian Etch -> Debian Lenny, siis on võimalik, et süsteemis on alles Etch koosseisu kuulunud 3.0 versiooni Xen tarkvara, eksituste vältimiseks võiks selle eemaldada öeldes

  # apt-get remove xen-utils-3.0.3-1
  The following packages will be REMOVED:
    xen-hypervisor-3.0.3-1-amd64 xen-linux-system-2.6.18-6-xen-amd64 xen-utils-3.0.3-1

Muu hulgas peab jälgimda, et /etc/alternatives/xen-default link viitab õigele versioonile

  /etc/alternatives/xen-default -> /usr/lib/xen-3.2-1

kusjuures

  # ls -ld /usr/lib/xen-3*
  drwxr-xr-x 4 root root 4096 2008-11-25 01:20 /usr/lib/xen-3.0.3-1
  drwxr-xr-x 5 root root 4096 2009-06-01 18:11 /usr/lib/xen-3.2-1

* Üle serial konsooli debugimiseks sobib kasutada http://wiki.xensource.com/xenwiki/XenParavirtOps

 title        pv_ops dom0-test (2.6.31) with serial console
 root         (hd0,0)
 kernel       /xen-4.0.gz dom0_mem=1024M loglvl=all guest_loglvl=all sync_console console_to_ring com1=19200,8n1 console=com1
 module       /vmlinuz-2.6.31 ro root=/dev/vg00/lv01 console=hvc0 earlyprintk=xen nomodeset
 module       /initrd-2.6.31.img

===Kasulikud lisamaterjalid===

* http://kuutorvaja.eenet.ee/wiki/DRBD_kasutamine_Debianiga#Xen