ISCSI kasutamine
Sisukord
Sissejuhatus
Siin palas olnud Debian GNU/Linux osa asub oluliselt täiendatud kujul aadressil http://kuutorvaja.eenet.ee/wiki/ISCSI_kasutamine_Debianiga
iSCSI ietd targeti paigaldamine Debian Etch puhul
2007 aastal on see õnnelik aeg, kui ietd versioon 0.4.15 sobib kokku Debian Etchiga kaasneva 2.6 tuumaga. ietd serveri ehk targeti lähtetekstist kompileerimiseks tuleb esmalt paigaldada vajalikud vahendid, toimetame Xen tuuma näitel (kui on kasutusel mõni muu tuum, siis saab tuuma nime kindlaks teha 'uname -a' käsuga, muu tegevus on sarnane)
bash# cd /usr/src bash# apt-get build-dep linux-image-2.6.18-4-xen-686 bash# apt-get install linux-headers-2.6.18-4-xen-686 bash# apt-get install libssl-dev bash# tar zxf iscsitarget-0.4.15.tar.gz bash# cd iscsitarget-0.4.15
Tarkvara kompileerimiseks ning paigaldamiseks tuleb öelda
bash:/usr/src/iscsitarget-0.4.15# make KSRC=/usr/src/linux-headers-2.6.18-4-xen-686 bash:/usr/src/iscsitarget-0.4.15# make KSRC=/usr/src/linux-headers-2.6.18-4-xen-686 install install: creating directory `/lib/modules/2.6.18-4-xen-686/kernel/iscsi' `kernel/iscsi_trgt.ko' -> `/lib/modules/2.6.18-4-xen-686/kernel/iscsi/iscsi_trgt.ko' depmod -aq `usr/ietd' -> `/usr/sbin/ietd' `usr/ietadm' -> `/usr/sbin/ietadm' `etc/initd/initd.debian' -> `/etc/init.d/iscsi-target' `etc/ietd.conf' -> `/etc/ietd.conf' `etc/initiators.allow' -> `/etc/initiators.allow' `etc/initiators.deny' -> `/etc/initiators.deny' `doc/manpages/ietadm.8' -> `/usr/share/man/man8/ietadm.8' `doc/manpages/ietd.8' -> `/usr/share/man/man8/ietd.8' `doc/manpages/ietd.conf.5' -> `/usr/share/man/man5/ietd.conf.5' install: creating directory `/usr/share/doc/iscsitarget' `ChangeLog' -> `/usr/share/doc/iscsitarget/ChangeLog' `COPYING' -> `/usr/share/doc/iscsitarget/COPYING' `README' -> `/usr/share/doc/iscsitarget/README' `README.vmware' -> `/usr/share/doc/iscsitarget/README.vmware'
Kuigi antud juhul on tegu mõne tuuma mooduli, seadistusfaili ning programmifailiga ei ole üldiselt ilma paketihalduseta tarkvara paigaldamine korrektne.
Debian Etch puhul sobib paketihalduse 2.6 tuumaga kasutada operatsioonisüsteemi paketihalduses olevat open-iscsi initiatorit.
Initiatori kasutamine operatsioonisüsteemiga Solaris
Solaris 10 11/06 sisaldab pakette
system SUNWiscsiu Sun iSCSI Management Utilities (usr) system SUNWiscsir Sun iSCSI Device Driver (root)
mille abil on võimalik kasutada võrgus paiknevat iSCSI targetit.
bash# iscsiadm add discovery-address iscsi.tartu.loomaaed.ee:3260 bash# iscsiadm modify discovery --sendtargets enable
Ning kui seejärel seadmetele lingid tekitada, siis ongi lisandunud ressursi ligipääs paista
bash# devfsadm -i iscsi
bash# format
9. c15t2d0 <IET-VIRTUAL-DISK-0 cyl 1905 alt 2 hd 64 sec 256>
/iscsi/disk@0000iqn.2007-08.ee.tartu.loomaaed.iscsi%3Astorage.disk30001,0
Klienti poolt saab targetiga peetava ühenduse andmeid vaadata selliselt
bash# iscsiadm list target -v iqn.2007-08.ee.tartu.loomaaed.iscsi:storage.disk3
Target: iqn.2007-08.ee.tartu.loomaaed.iscsi:storage.disk3
Alias: -
TPGT: 1
ISID: 4000002a0000
Connections: 1
CID: 0
IP address (Local): 10.0.7.6:42003
IP address (Peer): 10.0.6.74:3260
Discovery Method: SendTargets
Login Parameters (Negotiated):
Data Sequence In Order: yes
Data PDU In Order: yes
Default Time To Retain: 20
Default Time To Wait: 2
Error Recovery Level: 0
First Burst Length: 65536
Immediate Data: yes
Initial Ready To Transfer (R2T): yes
Max Burst Length: 262144
Max Outstanding R2T: 1
Max Receive Data Segment Length: 8192
Max Connections: 1
Header Digest: NONE
Data Digest: NONE
Ühenduse lõpetamiseks tuleb ressurss lahti ühendada, tavalise failisüsteemi puhul umount ning ZFS pooli puhul
bash# zpool export poolinimi
ning öelda
bash# iscsiadm modify discovery --sendtargets disable bash# iscsiadm remove discovery-address iscsi.tartu.loomaaed.ee:3260
Samas või mõnes muus arvutis selle ZFS pooli sisaldav ressursi uuesti kasutusevõtmisel tuleb öelda
bash# zpool import poolinimi
iSCSI targeti kasutamine Solarisega
Targeti saab moodustada kahel viisil, mis erinevad selle poolest kuidas nn iSCSI serveri andmeid hoitakse
- kasutades failisüsteemi
- kasutades ZFS voluumi
Target kasutab failisüsteemi
Esmalt tuleb välja vaadata piisavalt vaba ruumi sisaldav failisüsteem, moodustada sinna kataloog
bash# mkdir /data/iscsi-targetid
ning öelda
bash# iscsitadm modify admin -d /data/iscsi-targetid ..
Target kasutab ZFS voluumi
Moodustame targetile vastava zfs volume (alates Solaris 10/08 ehk u6 versioonist)
# zfs create -V 2g tank/v2 # zfs set shareiscsi=on tank/v2 # iscsitadm list target Target: tank/v2 iSCSI Name: iqn.1986-03.com.sun:02:4392122e-42d7-c319-befc-b115cfc605d0 Connections: 0
Tulemuse kohta saab küsida infot sedasi
# zfs get all tank/v2 NAME PROPERTY VALUE SOURCE tank/v2 type volume - tank/v2 creation Fri Nov 21 15:38 2008 - tank/v2 used 744M - tank/v2 available 158G - tank/v2 referenced 744M - tank/v2 compressratio 1.00x - tank/v2 reservation 2G local tank/v2 volsize 2G - tank/v2 volblocksize 8K - tank/v2 checksum on default tank/v2 compression off default tank/v2 readonly off default tank/v2 shareiscsi on local tank/v2 copies 1 default tank/v2 refreservation none default
ning
# iscsitadm list target Target: tank/v2 iSCSI Name: iqn.1986-03.com.sun:02:4392122e-42d7-c319-befc-b115cfc605d0 Connections: 1
iSCSI kliendi arvutis tuleb öelda
# iscsiadm add discovery-address 10.0.6.170:3260 # iscsiadm modify discovery --sendtargets enable
Tulemus peaks olema näha selliselt
# iscsiadm list initiator-node
Initiator node name: iqn.1986-03.com.sun:01:00e000c4e136.454ce2d9
Initiator node alias: -
Login Parameters (Default/Configured):
Header Digest: NONE/-
Data Digest: NONE/-
Authentication Type: NONE
RADIUS Server: NONE
RADIUS access: unknown
Configured Sessions: 1
Moodustame seadmed
# devfsadm -i iscsi
ning nüüd nt käsuga format peaks olema paista iSCSI seade, mida saab kasutada
# format
...
9. c15t4d0 <SUN-SOLARIS-1-2.00GB>
/iscsi/disk@0000iqn.1986-03.com.sun%3A02%3A4392122e-42d7-c319-befc-b115cfc605d00001,0
nt moodustada sinna zfs failisüsteem
# zpool create testiscsi c15t4d0
iSCSI kliendist targeti kasutamise lõpetamiseks tuleb öelda
# iscsiadm modify discovery --sendtargets disable # iscsiadm remove discovery-address 10.0.6.170:3260
Tulemusena format enam ei esita iSCSI kettaressurssi.
iSCSI targeti arvutis targeti eemaldamiseks tuleb öelda
# zfs set shareiscsi=off tank/v2
Tulemusena ei ütle list target midagi
# iscsitadm list target #
Ning eemaldada voluum
# zfs destroy tank/v2
Multipath
Multipath tehnika kasutamine võimaldab korraldada iSCSI kliendi ja serveri vahele mitu paralleelset ühendust, mis suurendab andmevahetuse kiirust ja teenuse redundantsust. Näiteks võiks korraldada seda nii serveri ja kliendi poolel, et kummaski otsas on kasutusel kolm füüsilist võrgukaarti: üle ühe võrgukaartide paari liiguvad tavalised andmed ning kaks ülejäänud paari on kasutusel vaid iSCSI ressursi kliendile kättesaadavaks tegemiseks. Et süsteem töötaks tuleks kõik paarid seadistada erinevatesse ip subnettidesse.
iSCSI serveri poolel ei ole seoses multipath kasutamisega tarvis midagi erinevat teha võrreldes tavalise iSCSI teenuse pakkumisega. iSCSI kliendi poolele tuleb lisaks paigaldada multipath tarkvara, Debian GNU/Linux puhul pakett multipath-tools (udev tarkvara on samuti oluline, aga see peaks olema olemas juba niigi seoses iSCSI tarkvaraga).
Enne multipath seadistamist peab klient nägema ühte ja sama iSCSI serveri ressurssi (targetit) üle kummagi etherneti-ühenduse, nt seadmetena /dev/sda ja /dev/sdb. See olukord saavutatakse tavapärasel moel, midagi erilist ei ole selleks kliendi ega serveri poolel tarvis teha
bash# iscsiadm -m node -T iqn.2008-01.com.example:storage.shared1 -p 192.168.10.251:3260 -l bash# iscsiadm -m node -T iqn.2008-01.com.example:storage.shared1 -p 192.168.11.251:3260 -l
Kuna iSCSI abil toimub blokk-seadmetega toimetamine, siis ei ole probleemiks failide lukustamise küsimused ega muud sellist, sest need probleemib kuuluvat loogilises mõttes kõrgemasse, failisüsteemi kihti.
Multipathi tööleseadmiseks on tarvis moodustada sobiva sisuga /etc/multipath.conf seadistusfail, näiteks selline
defaults {
udev_dir /dev
polling_interval 5
default_selector "round-robin 0"
default_getuid_callout "/lib/udev/scsi_id -g -u -s /block/%n"
failback immediate
user_friendly_names yes
}
blacklist {
wwid 200d04efd1804f38e
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][[0-9]*]"
devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
}
multipaths {
multipath {
wwid 149455400000000000000000002000000d45f38000d000000
alias shared1
path_grouping_policy failover
path_checker readsector0
}
kusjuures multipath sektsiooni wwid väärtuse saab kindlaks teha küsides, mõlemal juhul peab tagastatama sama väärtus kuna tegu on ühe ja sama füüsilise ressurssiga
bash# /lib/udev/scsi_id -g -u -s /block/sda 149455400000000000000000002000000d45f38000d000000 bash# /lib/udev/scsi_id -g -u -s /block/sdb 149455400000000000000000002000000d45f38000d000000
Seejärel tuleb multipath tarkvara käivitada öeldes
bash# /etc/init.d/multipath-tools start
Seadistusfaili muutmisel piisab reload'ist. Kui kõik läks õieti, siis annab käsk multipath sarnase väljundi
bash # multipath -ll shared1 (149455400000000000000000002000000d45f38000d000000) dm-0 IET ,VIRTUAL-DISK [size=2.0G][features=0][hwhandler=0] \_ round-robin 0 [prio=1][enabled] \_ 26:0:0:0 sdb 8:32 [active][ready] \_ round-robin 0 [prio=1][enabled] \_ 25:0:0:0 sda 8:16 [active][ready]
ning on tekkinud kasutamiseks uus seade /dev/mapper/shared1
bash# fdisk /dev/mapper/shared1 -l Disk /dev/mapper/shared1: 2147 MB, 2147483648 bytes 255 heads, 63 sectors/track, 261 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Disk identifier: 0x00000000 Disk /dev/mapper/shared1 doesn't contain a valid partition table
Seda seadet saab tavapärasel moel kasutama hakata, aga enne maksab veenduda, et tõepoolest, katkestades ühele seadmele vastava võrguühenduse, nt blokeerides liiklust iptables'iga või võrgukaabli eemaldamisega peaks jääma seade kasutusele, samal ajal multipaht käsk ütleb
bash# multipath -l shared1 (149455400000000000000000002000000d45f38000d000000) dm-0 IET ,VIRTUAL-DISK [size=2.0G][features=0][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 26:0:0:0 sdb 8:32 [failed][undef] \_ round-robin 0 [prio=0][enabled] \_ 25:0:0:0 sda 8:16 [active][undef]
Ning peale ühenduse tagasi tekkimist taastub endine olukord. Seejuures on oluline iscsid.conf failis parameetri node.conn[0].timeo.noop_out_timeout väärtus, see ei tohiks liiga pikka olla, selle jooksul on iSCSI ressurss mitte-kasutatavas olekus.
# To specify the time to wait for a Nop-out response before failing # the connection, edit this line. Failing the connection will # cause IO to be failed back to the SCSI layer. If using dm-multipath # this will cause the IO to be failed to the multipath layer. # The value is in seconds and the default is 15 seconds. node.conn[0].timeo.noop_out_timeout = 15
Tundub, et Debiani puhul on testingus (Lenny) natuke uuem open-iscsi tarkvara, mis käitub multipath kasutamise jaoks sobivamalt.
Kõigi multipath seadmete eemaldamiseks tuleb öelda
# multipath -F
