Proxmox VE 4.x

Sissejuhatus

Proxmox on ideaalne vabavarale ehitatud serverite virtualiseerimistarkvara, millega on mugav luua virtualiseerimis clustreid ja mis sisaldab lihtsat aga võimekat haldusliidest. Hetkel on versioonis 4 võimalik kasutada KVM põhiseid virtuaalmasinaid ja LXC konteinereid.

Miinustena pole võimalik proxmoxis siduda omavahel mitut erinevast geograafilises lokatsioonis asuvad virtuaalmasinate clustrit ning ka võrkude haldus tuleb teha käsitsi mistõttu paljude vlanide ja eri võrkude puhul on see üsna tülikas. Ka puudub proxmoxis automaatne resursihaldus (ehk liiga suure ühe node koormuse korral ei mängita virtuaalmasinaid ümber). Sellegipoolest on tegemist hea alternatiiviga vmwarele väiksemasse ja keskmise suurusega asutusse. Mis puutub täpsematesse mahtudesse siis 15-20 masinaline cluster koos ligikaudu 200~ virtuaalmasinaga on täiesti tehtav. Suuremate andmekeskuste puhul on ilmselt mõtekas vaadata juba openstacki suunas.

Install

Kõige lihtsam tundub endiselt paigaldada puhas debian ja installida sinna peale vajalikud paketid. Nodede masspaigalduseks võib kasutada preseedi.

Veebiliides

Pöördudes https://192.168.0.10:8006 aadressile peaks avanema veebiaken kus saab virtuaalseid masinaid luua ja hallata. Veebiliidese administraatori kasutajaks on "root" ja parooliks sama mis süsteemsel root kasutajal.

Võrguseadistus

Proxmox kasutab virtuaalmasinate nii omavaheliseks võrku ühendamiseks, kui interneti lülitamiseks linux bridge või openvswitch lahendust. Linuxi bridge on seejuures küll primitiivse aga selle seadistus ja haldamine on lihtsam mistõttu tasuks eelistada väiksemates süsteemides just seda. Linuxi bridge kujutab enda omeluselt virtuaalset switchi kuhu on võimalik ühendada virtuaalservereid enda virtuaalsete liidestega või füüsilisi arvuti küljes olevad ethX porte.

Kõige tüüpilisem on olukord kus meil on serveril üks võrgukaart ning tahame omistada sellele avaliku IP aadressi (192.168.0.10), lisaks aga ka teha üle selle virtuaalsete serveriteni bridge (silla) millekaudu pääsevad võrku ka kõik serveris resideeruvad virtuaalmasinad.

Sellejaoks avame faili /etc/network/interfaces

auto vmbr0
iface vmbr0 inet static
        address  192.168.0.10
        netmask  255.255.255.0
        gateway  192.168.0.254
        bridge_ports eth0 
        bridge_stp off
        bridge_fd 0

Ja ongi valmis. Server on ligipääsetav ip aadressilt 192.168.0.1 ning edaspidi virtuaalmasinaid luues saame määrata neile võrguseadmeks vmbr0 seadme ja omistada masinatele 192.168.0.0/24 võrgus olevaid aadresse. Kui võrgus on olemas DHCP server saavad nad need juba automaatselt.

Juhul kui masinas on veel teinegi võrgukaart nimega eth1, mis asub eraldi switchi taga saame tekitada täiendava bridge ilma IP aadressita. Selleks lisame interfaces faili järgneva (kasutades võtit manual)

auto vmbr1
iface vmbr1 inet manual
        bridge_ports eth1
        bridge_stp off 
        bridge_fd 0

Peale võrguseadistuse muutmist tuleb teha kas restart või käivitada käsk:

# /etc/init.d/network restart

Bridgesid saab seejuures tekitada ka töötavas süsteemis nö lennult käsurea vahenditega. Näiteks tekiame uue bridge nimega vmbr300 ja lisame sinna eth2 seadme

# brctl addbr vmbr300
# brctl addif vmbr10 eth2

Bridgest võrguseadme eemaldamiseks

# brctl delif vmbr10 eth0.1

Vmbr seadme käsureal ümbernimetamine on samuti võimalik, selleks

# ip link set vmbr0 down; ip link set dev vmbr0 name vmbr10;  ip link set vmbr10 up

Proxmox cluster

Proxmoxi täisvõimekus tuleb välja alles mitme masina koos kasutamisel. Proxmoxi cluster võimaldab virutaalmasinaid ilma katkestusteta mööda clustrit migreerida, suudab ühe node katkestuse korral masinad teisele nodele ümber kolida ja lisaks on proxmoxi clustri üheks suureks boonuseks keskse haldusliidese ehk nn "singel point of failure" puudumine.

Kõik proxmoxile virtuaalmasinatele olulised konfiguratsioonid on koondatud /etc/pve kausta mis on replikeeritud kõikidele clustri nodedele.

Virtuaalmasinate tekitamine

Kui virtuaalmasinas (KVM) kasutatav operatsioonisüsteem seda toetab siis tasub kasutada võimalikult palju virtio seamdmeid (võrk, ketas), nendepoolt tekitatud väiksema overheadi tõttu sest siis pole vaja virtuaalserveril emuleerida mingit konkreetset rauda.

Virtuaalmasinate seadistusfailid asuvad kaustas

Seadistusfailid asuvad kaustas /etc/pve/qemu-server/

Näiteks virtuaalmasina 101 konf asub failis /etc/pve/qemu-server/101.conf ja näeb välja järgnev:

name: testikas
bootdisk: ide0
vlan1: rtl8139=42:D5:BD:2C:EC:79
ostype: other
memory: 2024
sockets: 1
ide0: disk1:0.0.0.scsi-14945540000000000ebaf87d4e8aadc8f7c7cbd9b9b75a514

Upgrade 3.x versioonilt 4-le

# Upgrade to latest clean PVE version
apt-get update && apt-get dist-upgrade

# Remove node from cluster
pvecem delnode NODE_NAME

# Remove PVE
apt-get remove proxmox-ve-2.6.32 pve-manager corosync-pve openais-pve redhat-cluster-pve pve-cluster pve-firmware

# Remove backports
sed -i '/backports/d' /etc/apt/sources.list

# Add pve no-sub repo
echo "deb http://download.proxmox.com/debian jessie pve-no-subscription" >> /etc/apt/sources.list 

# Update distribution in sources and update
sed -i 's/wheezy/jessie/g' /etc/apt/sources.list
sed -i 's/wheezy/jessie/g' /etc/apt/sources.list.d/pve-enterprise.list
apt-get update

# Find and install latest kernel version and firmware package
apt-cache search pve-kernel | sort
apt-get install pve-kernel-4.4.18-1-pve pve-firmware 
 
# Find and install latest kernel headers, matching to the installed pve-kernel
apt-cache search pve-headers | sort
apt-get install pve-headers-4.4.18-1-pve

# Upgrade base system and reboot
apt-get upgrade
apt-get dist-upgrade
shutdown -r now

# Install PVE
apt-get install proxmox-ve

Ceph

Esiteks tuleb tunnistada, et hetkeseisuga on proxmoxil pakutav vaikeceph väga vana, ehk versioon 0.80 kui olemas juba 10.2.2 seega on mõistlik panna uuem ja rohkemate võimaluste-parandustega.

echo deb https://download.ceph.com/debian-jewel/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
apt-get update
apt-get install -y ceph 
ceph -v
ceph version 10.2.3 (ecc23778eb545d8dd55e2e4735b53cc93f92e65b)

Probleemid

Virtuaalmasinate taastamine ilma HA olemasoluta

Kui clustris pole HA seadistatud ja üks clustri õlgadest peaks riknema siis kuidas startida töötavas masinas üles virtuaalmasinad, mis asusid katki läinud serveril?

/etc/pve/nodes kaust on sünkroniseeritud pmxcfs abil ning sisaldab igas clustri masinas kõigi nodede virtuaalide konfiguratsioone. Näiteks clustris, kus on kolm node ja kolm virtuaalserverid näeb selle kausta struktuur välja selline

/etc/pve/nodes/node1/qemu-server
100.conf
/etc/pve/nodes/node2/qemu-server
101.conf
/etc/pve/nodes/node3/qemu-server
102.conf

Kui node1 on seiskunud saab startida vm-100 virtuaalmasina suvalisel teisel srveri logides ühte allesjäänud õlga ja liigutades konfiguratsiooni töötava serveri kausta. Näiteks node2 peale

# mv /etc/pve/nodes/node1/qemu-server/100.conf /etc/pve/nodes/node2/qemu-server/100.conf. 

Peale seda on võimalik startida vm-100 juba läbi veebiliidese. Või siis käsurealt

# qm start 100