https://kuutorvaja.eenet.ee/w/index.php?action=history&feed=atom&title=Cephi_paigaldus_k%C3%A4sitsi_ilma_deploy-utiliiditaCephi paigaldus käsitsi ilma deploy-utiliidita - Redigeerimiste ajalugu2026-06-04T02:40:44ZSelle lehekülje redigeerimiste ajaluguMediaWiki 1.43.6https://kuutorvaja.eenet.ee/w/index.php?title=Cephi_paigaldus_k%C3%A4sitsi_ilma_deploy-utiliidita&diff=29972&oldid=prevJj: Uus lehekülg: '===Cephi paigaldus käsitsi ilma deploy utiliidita=== NB! katsed tunduvat näitavat seda, et btrfsi kasutamine OSD'de all võtab jõudlust maha kuna btrfs kipub kirjutama pideva...'2017-01-04T10:32:31Z<p>Uus lehekülg: '===Cephi paigaldus käsitsi ilma deploy utiliidita=== NB! katsed tunduvat näitavat seda, et btrfsi kasutamine OSD'de all võtab jõudlust maha kuna btrfs kipub kirjutama pideva...'</p>
<p><b>Uus lehekülg</b></p><div>===Cephi paigaldus käsitsi ilma deploy utiliidita===<br />
<br />
NB! katsed tunduvat näitavat seda, et btrfsi kasutamine OSD'de all võtab jõudlust maha kuna btrfs kipub kirjutama pidevalt suurte blokkide kaupa. Sobivam oleks kasutada XFS'i<br />
<br />
Mõningail erandjuhtudel võib olla soov mitte kasutada ceph-deploy mehanismi, näiteks on vajadus skriptida kogu cephi clustri ehitamiseks oma töövahend. Selleks siis juhend kuidas hakkama saada kui deployd pole.<br />
<br />
'''Võtmete loomine'''<br />
<br />
meil vaja kahte võtit. Esimene võti mille tekitame monitoridele<br />
<br />
# ceph-authtool --create-keyring /etc/ceph/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'<br />
<br />
Teiseks admin.keyring<br />
<br />
# ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'<br />
<br />
Paneme mon.keyringi ka admini võtme<br />
<br />
# ceph-authtool /etc/ceph/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring<br />
<br />
kopeerime mõlemad võtmed kõigile hostidele<br />
<br />
# scp ceph.mon.keyring ceph.client.admin.keyring mon1:/etc/ceph<br />
...<br />
<br />
'''Monitori loomine'''<br />
<br />
Fsid genereerimine uuidgen abil<br />
<br />
# uuidgen<br />
bcdf56d2-40a8-48b3-ac94-3c377557ee89<br />
<br />
OSD ja MDS serverid kasutavad ceph.conf faili, et saada teada mis on MON serverid. Kuid<br />
mon serverid ise vajavad omavahelise quorumi ja selle reeglite süsteemi praxis suhtluse jaoks binaarfaili monmap.<br />
<br />
# monmaptool --create --add mon.0 192.168.2.1 --add mon.1 192.168.2.2 --add mon.2 192.168.2.3 --fsid 1798897a-f0c9-422d-86b3-d4933a12c7ac initial-monmap<br />
<br />
ja seejärel monmap kõigisse monitoridesse<br />
<br />
# scp initial-monmap mon1:/etc/ceph<br />
# scp initial-monmap mon2:/etc/ceph<br />
# scp initial-monmap mon3:/etc/ceph<br />
<br />
Initsialiseerime esimese monitori<br />
<br />
# ceph-mon --mkfs -i 0 --monmap initial-monmap --keyring ceph.mon.keyring<br />
<br />
ja samamoodi ka kõik ülejäänud monitorid<br />
<br />
'''Osd loomine'''<br />
<br />
Ketta ettevalmistamine (kuna ketas ilmselt suurem kui kaks tera kasutame GPT partitsioonitabelit)<br />
<br />
# parted --script /dev/sda mklabel gpt<br />
# parted --script /dev/sda mkpart primary btrfs 0% 100%<br />
<br />
Kettale GPT patitsioonitabel ja sinna btrfs failisüsteem<br />
<br />
# mkfs.btrfs -L <label> /dev/sda1<br />
<br />
näiteks<br />
<br />
# mkfs.btrfs -f -L OSD3 /dev/sda1<br />
<br />
Kuna btrfsiga on teatud bugid veel on ilmselt kasulikum kasutada xfsi, selleks<br />
<br />
# mkfs.xfs -L OSD3 /dev/sda1<br />
<br />
Kettal olevaid btrfs labeleid saab vaadata käsuga<br />
<br />
# '''btrfs filesystem show'''<br />
Label: 'OSD3' uuid: 02e79f37-14f6-4a69-adee-764d6641dd53<br />
Total devices 1 FS bytes used 141.26GiB<br />
devid 1 size 3.64TiB used 144.04GiB path /dev/sdb1<br />
<br />
Label: 'OSD4' uuid: 0a9caf15-6e16-4542-bb6c-092c21bb1c8c<br />
Total devices 1 FS bytes used 105.88GiB<br />
devid 1 size 3.64TiB used 108.04GiB path /dev/sdc1<br />
<br />
Label: 'OSD5' uuid: 2f065f62-ae16-4343-b9f9-01257d2c67cb<br />
Total devices 1 FS bytes used 118.84GiB<br />
devid 1 size 3.64TiB used 121.04GiB path /dev/sdd1<br />
<br />
Tekitame osdle unikaalse uuidi<br />
<br />
# '''uuidgen'''<br />
fb84a114-e961-4a8d-98a3-0b263c003129<br />
<br />
Registreerime osd koos uuidiga monitorides<br />
<br />
# ceph osd create fb84a114-e961-4a8d-98a3-0b263c003129<br />
0<br />
<br />
Vastuseks öeldud null tähendab, et registreeriti monitoridesse osd.0 nimeline kirje<br />
<br />
Edasi OSD startimine<br />
<br />
# '''ceph-osd -i 0 --mkfs --mkkey --osd-uuid fb84a114-e961-4a8d-98a3-0b263c003129'''<br />
2014-11-20 14:13:24.790861 7feef17a9780 -1 journal FileJournal::_open: disabling aio for non-block journal. Use journal_force_aio to force use of aio anyway<br />
2014-11-20 14:13:25.338929 7feef17a9780 -1 journal FileJournal::_open: disabling aio for non-block journal. Use journal_force_aio to force use of aio anyway<br />
2014-11-20 14:13:25.350759 7feef17a9780 -1 filestore(/var/lib/ceph/osd/ceph-0) could not find 23c2fcde/osd_superblock/0//-1 in index: (2) No such file or directory<br />
2014-11-20 14:13:25.648467 7feef17a9780 -1 created object store /var/lib/ceph/osd/ceph-0 journal /var/lib/ceph/osd/ceph-0/journal for osd.0 fsid e86f3136-90b0-469f-91b5-574e868fb32e<br />
2014-11-20 14:13:25.648527 7feef17a9780 -1 auth: error reading file: /var/lib/ceph/osd/ceph-0/keyring: can't open /var/lib/ceph/osd/ceph-0/keyring: (2) No such file or directory<br />
2014-11-20 14:13:25.648605 7feef17a9780 -1 created new key in keyring /var/lib/ceph/osd/ceph-0/keyring<br />
<br />
Nagu viimaselt näha realt loodi ka cephi masinale unikaalne võti<br />
<br />
# '''cat /var/lib/ceph/osd/ceph-0/keyring'''<br />
[osd.0]<br />
key = AQDsds1U3MSnahAAf4NslrVyGqMGeDFcdOpVRg==<br />
<br />
Sama võtmefaili kasutame selleks, et lisada loodud osd info monitoride praxise andmebaasi<br />
<br />
# ceph auth add osd.0 osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/ceph-0/keyring<br />
added key for osd.0<br />
<br />
Nüüd lisame enda host serveri crush tabelisse<br />
<br />
# ceph osd crush add-bucket serverinimi host<br />
added bucket data1 type host to crush map<br />
<br />
NB! server tuleb lisada crush tabelis root harusse, muidu pg'sid ei tekitata vaid need jäävad staatusesse "creating"<br />
<br />
# ceph osd crush move serverinimi root=default<br />
<br />
Ja seome crush tabelis osd0 tema hostiga<br />
<br />
# ceph osd crush add osd.0 1.0 host=data1<br />
add item id 0 name 'osd.0' weight 1 at location {host=data1} to crush map</div>Jj