Xen kasutamine Debian Lenniga

Allikas: Kuutõrvaja

Xen tarkvara paigaldamine

Kaasaegsete Linuxi distributsioonide paketihaldusest on reeglina võimalik Xen tarkvara paigaldada. Nt Debian GNU/Linux v 5.0 puhul AMD64 arhitektuuri jaoks tuleb paigaldada paketid

  • Xen hüperviisor - xen-hypervisor-3.2-1-amd64
  • Xen tuum - linux-image-2.6.26-2-xen-amd64 (millegipärast nimetatakse seda paketti 'oldstyle Xen support')
  • Xen teegid, programmid, skriptid ja dokumentatsioon - xen-docs-3.2, xen-tools, xen-utils-3.2-1, xen-utils-common
  • üldkasutatavad abivahendid - bridge-utils

Praktiliselt sobib Xen tarkvara paigaldamiseks öelda

 # apt-get install xen-linux-system-2.6.26-2-xen-amd64 xen-tools

Paigaldamise käigus tekivad süsteemi juurde sellised komponendid

  • /etc/alternatives/xen-default -> /usr/lib/xen-3.2-1

Peale tarkvara paigaldamist tuleb arvuti bootida kasutades hüperviisorit ning Xeni tuuma, selleks sobib kasutada nt sellise sisuga GRUB menüü faili menu.lst

 default     0
 timeout     15
 color cyan/blue white/blue
 
 title Xen
 root (hd0,0)
 kernel /boot/xen-3.2-1-amd64.gz dom0_mem=393216
 module /boot/vmlinuz-2.6.26-2-xen-amd64 root=/dev/sda1 ro max_loop=255
 module /boot/initrd.img-2.6.26-2-xen-amd64

Pange tähele, et privilegeerimata domeeni tuum paikneb väljaspoole privilegeerimata domeeni failisüsteemi ning see asjaolu on iseloomulik paravirtualiseerimisele. Lisaks on piiratud dom0 mälu mahuga 384 MB. Tõsi, on olemas py-grub initsiatiiv, mis võimaldab kasutada domU'ga domU sees paiknevat tuuma.

Peale bootimist saab küsida hüpervisori dmesg'i käsuga

 bash# xm dmesg

Xen tarkvara seadistamine

Xen'i tarkvara koosneb kahest osast

  • dom0 sees töötab serveri pool, mida kontrollib seadistusfail /etc/xen/xend-config.sxp
  • Iga domU omadused on kirjas vastava domU seadistusfailis, /etc/xen/domU-nimi.cfg

Kuigi tundub, et xend-config.sxp failis tehtud muudatuste kehtestamiseks tihti piisab xend doeemoni peatamisest ja startimisest

 bash# /etc/init.d/xend stop|start

osutub, et vahel on kõige otsekohesem segaduste vältimiseks peale selle faili muutmist arvuti alglaadida. Pealegi, xend-config.sxp failis tehakse vajalikud muudatused Xeni juurutamise ajal ära ning edaspidi muudetakse seda Xeni kasutamise ajal harva. xend-config.sxp faili muutmise teel saab teha järgmisi otsustusi

  • millises režiimis töötab domU'de võrk (bridge, routing, nat)
  • kui palju on dom0 sees kasutusel protsessoreid, soovitav on valida kõik, muidu mõnel platvormil süsteem ei tööta stabiilselt (dom0-cpus 0)
  • kui palju mälu on tagatud dom0 jaoks, soovitav 196 MB (dom0-min-mem 196)

Xen võimaldab kasutada domU'sid võrgu mõttes kolmel erineval moel, tavaliselt kasutatakse kõiki domU'sid samaagselt ühes ja samas režiimis

  • routing - dom0 on võrgu sõlmpunktiks iga domU ja dom0'ga samas subnetis olevate teiste arvutite vahel
  • nat - dom0 on võrgu sõlmpunktiks iga domU ja dom0'ga samas subnetis olevate teiste arvutite vahel kusjuures, dom0 teeb NAT teisendusi domU'de jaoks
  • bridge - dom0 ja kõik domU'de võrguseadmed asuvad ühes ja samas võrgus etherneti mõttes, kasutatakse sama ip subneti aadresse

Järgnevates punktides käsitletakse eraldi domU'le vastava seadistusfaili kõiki muid omadusi ning kuidas seadistada käima erinevaid võrgus töötamise režiime, alustuseks võiks Debian GNU/Linux 5.0 puhul vaadata üle mainitud dom0-cpus ja dom0-min-mem parameetrite väärtused ning dom0 operatsioonisüsteem alglaadida.

Xen domU moodustamine

domU operatsioonisüsteemi eksemplarile vastava plokkseadmena saab kasutada

  • tõmmisfaili dom0 arvuti failisüsteemis
  • fdisk partitsiooni
  • LVM volume'i
  • üle iSCSI (või muul analoogsel moel, nt AOE) dom0 arvutisse ühendatud plokkseadet
  • üle FC dom0 arvutisse ühendatud plokkseadet
  • üle NFS'i kättesaadavat failisüsteemi

Debian Lenny sisaldab paketti xen-tools, mis hõlbustab Guest domeeni operatsioonisüsteemile vastava failisüsteemi tekitamist, nt võiks sobida kasutada selline seadistusfail /etc/xen-tools/xen-tools.conf

dir = /data
debootstrap = 1
size   = 4Gb      # Disk image size.
memory = 512Mb    # Memory size
swap   = 1024Mb    # Swap size
fs     = ext3     # use the EXT3 filesystem for the disk image.
dist   = lenny    # Default distribution to install.
image  = full   # Specify sparse vs. full disk images.
passwd = 1
kernel = /boot/vmlinuz-2.6.26-2-xen-amd64
mirror = http://ftp.aso.ee/debian/

ning öelda

# xen-create-image --hostname=xen.loomaaed.tartu.ee --ip=172.16.92.2 \
--gateway=172.16.92.128 --netmask=255.255.255.0

Tulemusena moodustatakse domU seadistusfail

/etc/xen/xen.loomaaed.tartu.ee.cfg

ning juurfailisüseemi ja saaleala tõmmised kataloogi /data/domains/xen.loomaaed.tartu.ee

/data/domains/xen.loomaaed.tartu.ee/disk.img
/data/domains/xen.loomaaed.tartu.ee/swap.img

Parameetri dir asemel saab kasutada parameetrit lvm, nt 'lvm=data_xen' puhul oleks moodustatud vastavad LVM voluumid gruppi data_xen

 /dev/data_xen/xen.loomaaed.tartu.ee-swap
 /dev/data_xen/xen.loomaaed.tartu.ee-disk

Seadistusfaili võiks kohendada ülevaatlikuse mõttes nt selliseks

 name    = 'xen.loomaaed.tartu.ee'
 kernel  = '/boot/vmlinuz-2.6.26-2-xen-amd64'
 ramdisk = '/boot/initrd.img-2.6.26-2-xen-amd64'
 root    = '/dev/xvda1 ro'
 memory  = '1024'
 disk    = [ 'file:/data/domains/xen.loomaaed.tartu.ee/disk.img,sda1,w',
             'file:/data/domains/xen.loomaaed.tartu.ee/swap.img,sda2,w' ]
 vif  = [ 'mac=70:01:68:00:20:13' ]
 vcpus="2"
 extra='xencons=tty'

Toodud domU seadistamiseks kasutatud parameetrid on isenesest mõistetava tähendusega, kõikvõimalike parameetrite loetelu saab küsida käsuga

 # xm create --help_config

domU'de arvu suurenemisel lihtsustab süsteemi haldamist kui mac aadressid on tekitatud mingi süsteemi alusel, näiteks võiks kasutada sarnast skeemi kümend süsteemist kuueteistkümned süsteemi teisendamisel

  • ip aadress 192.168.2.13 - 70:01:68:00:20:13 ehk kasutades sulge 70:0(1:68):(00:2)(0:13)

Märkused:

  • Vastsesse süsteemi sisselogimisel on juurkasutaja parool seadistamata, sisselogimisel konsoolilt sobib parooli küsimise kohas vajutada Enter.
  • Tõenäoliselt tuleb paigaldada vastsesse süsteemi udev pakett ning teha operatsioonisüsteemile alglaadimine, muidu saab ssh abil sisse logides teate
 PTY allocation request failed on channel 0
 /usr/bin/X11/xauth:  creating new authority file /root/.Xauthority
 stdin: is not a tty

domU käivitamine ja seiskamine

Jättes esialgu pööramata tähelepanu võrguseadistustele ja kommenteerides vif parameetri domU seadistusfailist välja veendume, et domU on kasutatav st teda saab käivitada, konsoolilt sisse logida ning seisata.

domU käivitamine koos konsooli kasutamisega toimub selliselt, -c võti tähendab, et samale terminalile kus käsk anti esitatakse domU konsool

 # xm create -c /etc/xen/xen.loomaaed.tartu.ee.cfg

Peale domU käivitamist võib sisse logida kas konsooli kaudu või üle võrgu kui võrk oleks seadistatud. Konsoolilt pääseb välja Ctrl + ] kombinatsiooni abil ning konsooli tagasi käsuga

 # xm console xen.loomaaed.tartu.ee

domU seiskamiseks on käsk

 # xm shutdown xen.loomaaed.tartu.ee

Töötavate domeenide nimekirja näeb käsuga

 # xm list

Xen domU'le vastavaid failisüsteeme saab dom0 all hõlpsasti külge ühendada ja kasutada, kusjuures vastav domU ei tohi samal ajal töötada

 bash# mount -o loop /data/domains/xen.loomaaed.tartu.ee/disk.img /mnt

Võrgu kasutamine domU seest

TODO

Ruuting režiim

TODO

Aadressteisendav režiim

TODO

Sillatud režiim

TODO

Sillatud režiim VLAN seadmetega

DomU ühendamiseks võrku mitme dom0 peal seadistatud VLAN võrguseadme abil tuleb teha ettevalmistusi operatsioonisüsteemi võrguseadistustes ning lisada paketihaldusest paigaldatud Xeni skriptidele juurde kaks skripti, mis peavad olema käivitatavad. Järgnev põhineb, õigemini kordab juhendit aadressilt http://wiki.xensource.com/xenwiki/XenNetworking#head-cc1acf427fd2514aa441f1dbce2ba0a512eb8697 ehk VLAN -> 2nd method.

Olgu selline eesmärk

  • eth0 - nö tavaline võrguseade, mida kasutatakse Xen dom0 halduseks, aadress 10.0.5.250
  • eth1 - nn tagged võrguseade, millele kasutatakse VLAN'isid vlan506, vlan507 ja vlan508, dom0 sees neil seadmetel ip aadresse ei ole
  • domU sees moodustuvad seadmed eth0 ja eth1, mis kuuluvad vastavalt vlan506 ja vlan507 peale, domU sees on neil ip aadressid seadistatud

Tulemuse saavutamiseks tuleb operatsioonisüsteemis moodustada sellise sisuga /etc/network/interfaces fail

 auto lo
 iface lo inet loopback
 
 auto eth0
 iface eth0 inet static
  address 10.0.5.250
  gateway 10.0.5.1
  netmask 255.255.255.0
 
 auto eth1
 iface eth1 inet manual
  pre-up ifconfig $IFACE up
  post-down ifconfig $IFACE down
 
 auto vlan506
 iface vlan506 inet manual
   vlan_raw_device eth1
 
 auto vlan507
 iface vlan507 inet manual
  vlan_raw_device eth1
 
 auto vlan508
 iface vlan508 inet manual
  vlan_raw_device eth1

Seejärel tuleb teha koopia failist /etc/xen/scripts/network-bridge

 # cp /etc/xen/scripts/network-bridge /etc/xen/scripts/network-bridge-withvlan

ning koopias kommenteerida osa ridu välja, selliselt

 # diff /etc/xen/scripts/network-bridge*
 100c100
 <     if ! ifup $1 ; then
 ---
 > #    if ! ifup $1 ; then
 108c108
 <     fi
 ---
 > #    fi
 217c217
 <     if ! ifdown ${netdev}; then
 ---
 > #    if ! ifdown ${netdev}; then
 222c222
 <     fi
 ---
 > #    fi
 245c245
 <     if ! ifdown ${bridge}; then
 ---
 > #    if ! ifdown ${bridge}; then
 247c247
 <     fi
 ---
 > #    fi

Seejärel tuleb moodustada skript /etc/xen/scripts/sillad.sh

 #!/bin/sh
 dir=$(dirname "$0")
 
 "$dir/network-bridge-withvlan" "$@" vifnum=0 netdev=vlan506 bridge=xenbr506
 "$dir/network-bridge-withvlan" "$@" vifnum=1 netdev=vlan507 bridge=xenbr507
 "$dir/network-bridge-withvlan" "$@" vifnum=2 netdev=vlan508 bridge=xenbr508
 
 for i in 506 507 508; do
         ifconfig xenbr$i up
 done

Ning lõpuks näidata seadistusfailis /etc/xen/xend-config.sxp, et seda sillad.sh faili kasutatakse

 # (network-script network-dummy)
 (network-script sillad.sh)

Nii ettevalmistatud sildade kasutamiseks sobib domU seadistusfailis kasutada nt ridu

 vif = [ 'mac=70:10:00:00:61:30,bridge=xenbr506', \
         'mac=70:10:00:00:71:30,bridge=xenbr507' ]

Kui kasutajat härib, et episoodiliselt on näha tcpdump abil domU sees salvestatud liikluses tcp või udp kontrollsummade vigu

 # tcpdump -s 1600 -w /tmp/tx-on-on.log -i eth0
 # zcat /tmp/tx-on-on.log | tcpdump -nvver - | grep incorrect
 ...
 20:14:45.155727 70:10:00:00:61:30 > 00:00:5e:00:01:6a, ethertype IPv4 (0x0800), \
   length 114: (tos 0x10, ttl 64, id 21672, offset 0, flags [DF], proto TCP (6), \
   length 100) 10.0.6.130.22 > 172.17.4.97.44186: P, cksum 0xc14a (incorrect \
   (-> 0x63df), 3761:3809(48) ack 1440 win 273 <nop,nop,timestamp 4294921785 9256126>

siis võib domU sees öelda ja selliseid vigu enam tcpdump ei esitata

 # ethtool -K eth0 tx off

Tulemusena on offloadi puudutavad parameetrid sellised

 # ethtool -k eth0
 Offload parameters for eth0:
 Cannot get device rx csum settings: Operation not supported
 Cannot get device flags: Operation not supported
 rx-checksumming: off
 tx-checksumming: off
 scatter-gather: off
 tcp segmentation offload: off
 udp fragmentation offload: off
 generic segmentation offload: off
 large receive offload: off

Samaväärne on kirjutada vastava seadme juurde /etc/network/interfaces faili

 post-up  ethtool -K eth0 tx off

Serial konsooli kasutamine

Selleks, et konsoolil oleks

  • GRUB menüü
  • Linuxi tuuma logi
  • login prompt

tuleb kasutada GRUB alglaadijas kasutada sektsioone

 serial --unit=0 --speed=9600
 terminal --timeout=15 serial console
 ..
 title           Xen 3.2-1-amd64 / Debian GNU/Linux, kernel 2.6.26-2-xen-amd64
 root            (hd0,0)
 kernel          /xen-3.2-1-amd64.gz dom0_mem=393216 console=com1,vga com1=9600,8n1
 module          /vmlinuz-2.6.26-2-xen-amd64 root=/dev/mapper/system-root ro console=tty0 console=hvc0                      
 module          /initrd.img-2.6.26-2-xen-amd64

ning /etc/inittab sees

 1:2345:respawn:/sbin/getty 38400 hvc0
 2:23:respawn:/sbin/getty 38400 tty1
 ..
 T0:23:respawn:/sbin/getty -L hvc0 9600 vt100

domU konsooli väljundi logimine

domU konsooli väljundi logimiseks faili sobib teha faili /usr/lib64/xen-default/bin/xend selline muudatus

 # diff /usr/lib64/xen-default/bin/xend /usr/lib64/xen-default/bin/xend-orig
 103,104c103
 <         args = ["--log", "guest", "--log-dir", "/var/log/xen/guest/"]
 <         execute('xenconsoled', args)
 ---
 >         execute('xenconsoled')

Tulemusena peale järgmist Xen käivitamist käivitatud domU arvutite logi salvestatakse /var/log/xen/guest kataloogi domU nimelistesse failidesse.

Kontrolliks peab olema xenconsoled protsessil näha vastavaid võtmeid

 # ps aux | grep xenconsoled
 root 3636 0.0 0.1 20576 684 ? Sl 22:19 0:00 /usr/lib/xen-3.2-1/bin/xenconsoled --log guest --log-dir /var/log/xen/guest

Allikana on kasutatud sissekannet aadressilt http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=517863

domU liigutamine erinevate dom0 arvutite vahel

Xen võimaldab seadistada käima kaks või enam füüsilist dom0 funktsioonis töötavat arvutit nii, et domU domeeni saab nende vahel ümber paigutada

  • ümberpaigutamine domU peatamisege (ingl. k. migration) - domU töö peatatakse esmalt (samaväärne 'xm pause domeenimi' tegevusega), domeeni olek kopeeritakse teisse arvutisse ja domU töö jätkub (unpause); nb! peatamisega antud juhul ei kaasne operatsioonisüteemi alglaadimist
  • ümberpaigutamine domU peatamiseta (ingl. k. live migration) - domU's töötavates teenustes katkestust praktiliselt ei ole kasutajate jaoks tunda

Seejuures kehtib dom0 arvutite jaoks piirang, et neis kasutatavad protsessorid peavad olema sarnaseid, kõige parem kui identsed, aga kindlasti ei tööta koostöös AMD ja Inteli protsessorid.

Sellist teenust pakkuva operatsioonisüsteemi eksempalari liigutamist erinevate füüsiliste arvutite vahel võib lugeda üheks kõrgkäideldava lahenduse komponendiks näiteks selles mõttes, et kui koormus suureneb või on vajadus sooritada füüsilise arvuti hooldustööd, saab ilma teenust katkestamata liigutada teenust pakkuva keskkonna sobivamale platvormile.

Asjakorraldust kirjeldab selline skeem

           ___                   ___             ___
          |   | -----domU-----> |   |           |   | 
          |___|                 |___|           |___|
            |  dom0 A             |  dom0 B       |  storage
            |                     |               |
       -----|---------------------|---------------|------
  • storage - block device teenust pakkuv server, domU failisüsteemid asuvad seal (nt aoe (ata over ethernet), iscsi või fc)
  • dom0 A - Xeni host, kus domU töötab sündmuste alguses
  • dom0 B - Xeni host, kus domU töötab sündmuste lõpus

domU migratsiooni käigus kopeeritakse arvuti olek (mälu, võrguühendused jm) ühelt teisele dom0'le ja teenusepakkumine jätkub. Oluline on seejuures, et mõlemale dom0 arvutile on ühendatud külge sama plokkseade, mida domU seest kasutatakse. Xen tarkvara hoolitseb ise selle eest, et seda plokkseadet sobivalt kasutatakse, sh et mitte enam kui üks selle domU eksemplar poleks samaagselt aktiivne.

Xeni seadistusfailis /etc/xen/xend-config.sxp peavad olema sarnased read, nö päris elus kasutamiseks maksab ilmselt rakendada rangemaid piiranguid (kahe viimase rea lõpus sulgude sees pole argumendiks olevate ' ' märkide vahel tühikut)

 (xend-relocation-server yes)
 (xend-relocation-port 8002)
 (xend-relocation-address ' ' )
 (xend-relocation-hosts-allow ' ' )

ning domU seadistusfailid peavad olema mõlemas dom0'is sarnased, sama nimi, samad mac aadressid, mälu suurus jms, praktiliselt on oluline kasutada rida, http://wiki.debian.org/Xen#A.27clocksource.2BAC8-0.3ATimewentbackwards.27

 extra="xencons=tty clocksource=jiffies"

Migratsiooni kasutamise järgnevus võiks olla selline

  • domU on käivitatud tavapärasel viisil dom0 A arvutis ja dom0 B arvutis ei ole käivitatud
  • Nt live migratsiooni alustamiseks tuleb öelda seal arvutis, kus parasjagu domU asub (pausiga migratsiooni tegemiseks tuleb --live võti ära jätta)
 # xm migrate --live domU-nimi teise-dom0-nimi
  • Tulemusena töötab domU dom0 B arvutis ja ei tööta dom0 A arvutis.

Kuna domU säilitab oma MAC aadressi ja ip aadressi, siis tcp ühenduste jaoks on migration samaväärne pikemaajalise võrgukatkestusega ning live migration väga lühiajalise võrgukatkestusega.

Selleks, et saada aimu migratsiooni käigust sobib vaadata, kas üle porti 8002 liiklust käib või kontrollida xm list käsuga mis olekus on domU kummaski dom0 arvutis.

Etch ja Lenny kasutamise ühilduvus dom0 ja domU kasutamisel

Aadressil http://wiki.debian.org/Xen#Compatibility on esitatud selline tabel

  • dom0 works on kernels 2.6.18 from Etch and 2.6.26 from Lenny, but not with kernel 2.6.24 from Etch-n-half;
  • domU should work with all kernels (2.6.18 and 2.6.24 from Etch and 2.6.26 from Lenny);
  • a Lenny dom0 on amd64 can run any domU (Etch or Lenny, i386 or amd64);
  • a Lenny dom0 on i386 can, or should be able to, run any 32-bit domU (Etch or Lenny).
  • an Etch dom0 (2.6.18-*-xen) can only run 32-bit domU when it's i386 itself, a 64-bit Etch dom0 (using the amd64 kernel) can run a 64-bits domU and also a 32-bit domU, but only when using the amd64-kernel and a 32-bit userland!

Märkused

  • Debian Lenny Xen sisaldab 2009 suve lõpul üsna ebamugavat viga, mis avaldub mõnel juhul suure koormuse puhul dom0 praktiliselt kasutamiskõlbmatuks muutumises; samal ajal domU'd paistavad töötavat. Viga on kirjeldatud aadressil http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=542614
  • Kui süsteem on uuendatud nt dist-upgrade käigus Debian Etch -> Debian Lenny, siis on võimalik, et süsteemis on alles Etch koosseisu kuulunud 3.0 versiooni Xen tarkvara, eksituste vältimiseks võiks selle eemaldada öeldes
 # apt-get remove xen-utils-3.0.3-1
 The following packages will be REMOVED:
   xen-hypervisor-3.0.3-1-amd64 xen-linux-system-2.6.18-6-xen-amd64 xen-utils-3.0.3-1

Muu hulgas peab jälgimda, et /etc/alternatives/xen-default link viitab õigele versioonile

 /etc/alternatives/xen-default -> /usr/lib/xen-3.2-1

kusjuures

 # ls -ld /usr/lib/xen-3*
 drwxr-xr-x 4 root root 4096 2008-11-25 01:20 /usr/lib/xen-3.0.3-1
 drwxr-xr-x 5 root root 4096 2009-06-01 18:11 /usr/lib/xen-3.2-1
title        pv_ops dom0-test (2.6.31) with serial console
root         (hd0,0)
kernel       /xen-4.0.gz dom0_mem=1024M loglvl=all guest_loglvl=all sync_console console_to_ring com1=19200,8n1 console=com1
module       /vmlinuz-2.6.31 ro root=/dev/vg00/lv01 console=hvc0 earlyprintk=xen nomodeset
module       /initrd-2.6.31.img

Kasulikud lisamaterjalid