Lehekülje Cyrus kasutamine Gentooga lähteteksti vaatamine

===Sissejuhatus===

'''Cyrus IMAP''' is named after Cyrus
the Great (559 - 530 BC), founder
of the Persian kingdom, and King
of the World.
Cyrus the great is remembered for
his tolerance of the various
minorities and generally benevolant
leadership.

Antud näide on kirjutatud seletamaks kuidas gentoole ehitada cyruse abil võimas
mysql ja openmailadminiga hallatav mailiserver.

cyrus kasutab üsna maildir laadset formaati kuid lisanud sellele andmebaasi
muutes nii kõike tunduvalt kiiremaks. Seetõttu on cyrus üsna hea valik väga suurte emaili süsteemide
tarbeks. Netis väidetakse ,et ka meie kodumaine hot.ee 
http://www.hot.ee (The Hotmail of Estonia) kasutab cyrust ning sellel hetkel 300,000 users.

Cyruse poolt toetatud protokollid on '''IMAP, IMAPS, POP3, POP3S, KPOP, LMTP'''

===Süsteemi kirjeldus===

Tähele tasub panna ,et cyruse juures postfix ise failide kettale kirjutamisega ei tegele.
See on usaldatud täielikult cyrusele endale. Peale kirja saamist posfix kontrollib mysql
tabelitest domeeni olemasolu ning annab selle edasi cyruse teenusele mis.
Kontrollib taaskord kasutajat mysql'ist pam_mysql abil ning
salvestab kirja enda modifitseeritud maildir++ laadsesse formaati ning samuti
peab kõikide kirjade kohta enda sisemist andmebaasi. Cyrusel eelnevalt luua vastav mailbox mis on samanimeline kui kasutaja süsteemis. Automaatselt seda ei tehta.

Cyrus töö käigus kasutatakse mitmeid nö andmebaase 

*kirjade andmebaas - failisüsteemis salvestatakse iga kiri eraldi faili, vaikimisi asub see kataloogis /var/spool/cyrus/mail; igas postkasti kataloogis on lisaks kirjadele alati kolm faili, cyrus.cache, cyrus.index ja cyrus.header 
*postkastide andmebaas - failis /var/lib/cyrus/mailboxes.db on kirjas süsteemi Cyrus kasutajate ja nende postkastide andmebaas ning mida redigeeritakse cyradmin programmiga 
*duplikaatide andmebaas - failis /var/lib/cyrus/deliver.db on andmebaas, mida Cyrus kasutab topelt-sõnumite avastamiseks (nt kui saabub sama message id ja ümbriku väärtusega kiri mitu korda; käsuga '/usr/sbin/ctl_deliver -d' näeb selle baasi sisu) 
*Cyruse kasutajate andmebaas - antud juhul asub Mysql andmebaasis

Kirjade liikumine toimub järgnevalt


         andmebaas
            /|\
             |
 mail --> postfix --> cyrus

Autentimine toimib järgneva skeemi alusel:

 kasutaja --> cyrus imapd --> saslauthd --> pam ---> andmebaas

===Tarkvara install gentool===

   emerge postfix
   emerge net-mail/cyrus-imapd
   emerge pam_mysql
   emerge cyrus-imap-admin
   emerge cyrus-sasl

Lisaks vaja installida mysql juhul kui ei ole eraldiseisvat mysql serverit.
Mysql install on kirjeldatud teises õpetuses.

  rc-update add cyrus default
  rc-update add postfix default
  rc-update add saslauthd default

===Cyruse seadistus===

Kõik cyruse poolt starditavad teenused ja nende startimine tuleb defineerida  failis '''cyrus.conf'''.

Näitekonfis stardime teenused imap, imaps, pop3 ja pop3s ning sieve.

/etc/cyrus.conf

 START {
   recover       cmd="ctl_cyrusdb -r"
 }
 
 SERVICES {
   imap          cmd="imapd" listen="imap" prefork=5
   imaps           cmd="imapd -s -U 30" listen="imaps" prefork=0 maxchild=100 
 
   pop3          cmd="pop3d" listen="pop3" prefork=25 maxchild=-1
   pop3s         cmd="pop3d -s" listen="pop3s" prefork=25 maxchild=-1
 
   sieve         cmd="timsieved" listen="192.168.10:sieve" prefork=0
 
   lmtpunix      cmd="lmtpd" listen="/mail/imap/socket/lmtp" prefork=0
 }
  
 EVENTS {
   checkpoint    cmd="ctl_cyrusdb -c" period=30
   delprune      cmd="ctl_deliver -E 3" period=1440
   tlsprune      cmd="tls_prune" period=1440
 }

lmtp peaks olema kindlasti samas kaustas kus configdirectory suunatud

Kõigi teenuste täpsemaks häälestamiseks on fail '''imapd.conf''' mis asub kaustas /etc

Sellest toimib kaustade paikamääramine. Sertifikaatide seadistamine. Imap, pop3, sieve täpsem
häälestus jpm.

 configdirectory:        /mail/imap
 partition-default:     /mail/spool/imap
 tls_ca_path:            /etc/imap
 tls_cert_file:          /etc/imap/mail.crt
 tls_key_file:           /etc/imap/mail.key
 postmaster: postmaster
 
 sievedir:              /mail/sieve
 sieve_maxscriptsize: 64
 sieve_maxscripts: 5
 
 sendmail: /usr/sbin/sendmail
 admins: cyrus
 allowanonymouslogin: no
 allowplaintext: yes
 autocreatequota: 10000
 reject8bit: no
 quotawarn: 90
 timeout: 30
 poptimeout: 10
 
 allowapop: no
 popminpoll: 0
 
 sasl_pwcheck_method: saslauthd
 sasl_mech_list: PLAIN
 
 lmtp_overquota_perm_failure: no

Cyruse administratiivse kasutaja kasutajanimi võiks näiteks selleks olla 'cyrus' 

Loome samuti kaustad '''/mail/imap''' ja '''/mail/spool/imap'''

===Cyruse seadistus mysql baasi kasutama===

====postfixi konf====

järgnevad seaded teeme /etc/postfix kaustas

Esiteks on vaja lisada peamisse konfifaili järgnevad read, postfix
on põhimõtteliselt vaid kirjade vastuvõtja ning edasi cyrusele andja, muid
ülesandeid ta ei täida.

main.cf

 mailbox_transport = cyrus
 virtual_alias_domains = mysql:/etc/postfix/mydestination.mysql
 virtual_alias_maps = mysql:/etc/postfix/virtual.mysql
 sender_canonical_maps = mysql:/etc/postfix/canonical.mysql

'''mysql kasutamiseks failid'''

/etc/postfix/mydestination.mysql

mydestination.mysql

 hosts = localhost
 user = database
 password = parool
 dbname = mail
 table = domains
 select_field = domain
 where_field = domain

/etc/postfix/virtual.mysql

virtual.mysql

 hosts = localhost
 user = baas
 password = parool
 dbname = mail
 table = virtual
 select_field = dest
 where_field = address
 additional_conditions = and active = '1'

/etc/postfix/canonical.mysql

canonical.mysql

 hosts = host
 user = baas
 password = parool
 dbname = mail
 table = user
 select_field = canonical
 where_field = mbox
 additional_conditions = and active = '1' limit 1

====Mysql baasi seadistus====

Loome baasi mail. Seadistame sellele kasutaja ning parooli.

Vajalikud on kolm tabelit

*domains kus hoitakse domeene

*users kus loomulikult kasutajate info

*virtual mis täidab põhimõtteliselt sama ülesannet mis alias fail /mail kataloogis

Loome baasi mail tabelid. Järgneva info võib otse sql'is käivitada

 --
 -- Table structure for table `domains`
 --
 
 DROP TABLE IF EXISTS `domains`;
 CREATE TABLE `domains` (
   `ID` int(10) unsigned NOT NULL auto_increment,
   `domain` varchar(64) collate utf8_estonian_ci NOT NULL default '',
   PRIMARY KEY  (`ID`)
 ) ENGINE=InnoDB AUTO_INCREMENT=1206 DEFAULT CHARSET=utf8 COLLATE=utf8_estonian_ci;
 
 --
 -- Table structure for table `user`
 --
 
 DROP TABLE IF EXISTS `user`;
 CREATE TABLE `user` (
   `mbox` varchar(16) collate utf8_estonian_ci NOT NULL default '',
   `person` varchar(150) collate utf8_estonian_ci NOT NULL,
   `canonical` varchar(100) collate utf8_estonian_ci NOT NULL default '',
   `password` varchar(40) collate utf8_estonian_ci NOT NULL default '',
   `active` tinyint(1) NOT NULL default '0',
   `created` int(10) unsigned NOT NULL default '0',
   `last_login` int(10) unsigned NOT NULL default '0',
   PRIMARY KEY  (`mbox`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_estonian_ci;
 
 --
 -- Table structure for table `virtual`
 --
 
 DROP TABLE IF EXISTS `virtual`;
 CREATE TABLE `virtual` (
   `address` varchar(255) collate utf8_estonian_ci NOT NULL default '',
   `dest` text collate utf8_estonian_ci,
   `active` tinyint(1) NOT NULL default '1',
   PRIMARY KEY  (`address`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_estonian_ci;

Seejärel võime lisada tabelisse domeeni, kasutaja ning mõne aliase

====Pam häälestus mysql tarbeks====

teeme imap pam konfiguratsiooni

 # '''/etc/pam.d/imap'''
 #auth       required     pam_nologin.so
 #auth       include      system-auth
 #account    include      system-auth
 #session    include      system-auth
 
 auth    sufficient pam_mysql.so user=mailedu passwd=parool host=localhost db=baas table=user usercolumn=mbox passwdcolumn=password crypt=1 sqlLog=0
 account required   pam_mysql.so user=mailedu passwd=parool host=localhost db=baas table=user usercolumn=mbox passwdcolumn=password crypt=1 sqlLog=0

Juhul kui pam autentimine mingil põhjusel tõrgubnvõb auto ja account ridade lõppu lisada
verbose ,et saada rohkem infot /var/log/auth.log'i

Lisada võib samuti where=mailboxes.active=1 mis puhul disabletud kasutajate ligipääsu piiratakse.

Teeme loodud imap failist symlingid teistele pam failidele.

  ln /etc/pam.d/imap  /etc/pam.d/pop
  ln /etc/pam.d/imap  /etc/pam.d/sieve
  ln /etc/pam.d/imap  /etc/pam.d/smtp
  ln /etc/pam.d/imap  /etc/pam.d/nntp

  mkdir /var/lib/amavis

===cyruse haldus käsurealt===

Kõik cyruse tööd toimuvad '''cyradm''' utiliidi vahendusel

Serveri administraatoriks on kasutaja Cyrus. Selleks ,et saaks cyradm abil
cyruse shelli kasutada on vaja esimesena seada cyrus kasutajale parool.
muudame cyruse parooli ja testime selle toimimist

 saslpasswd2 -c cyrus

Parool salvestadakse kausta /etc/sasl2 faili sasldb2

Nüüd võib logida cyruse konsoolile.

 cyradm -user cyrus 127.0.0.1

Nimekiri peamistest vajalikest cyruse käskudest

 '''cm''' Loob mailbox'i
 '''dm''' kustutabmailbox
 '''exit''' väljumiseks cyradm'ist
 '''lm''' nimekiri mailbox'idest
 '''lq''' Näitab quota informatsiooni
 '''lqm''' Quota info etteantud mailboxi kohta
 '''renm''' Muudab mailboxi nime
 '''sq''' Quota seadistamiseks

Cyruses kasutajale mailboxi luues tuleb pidada meeles ,et see tuleb luua kujul user.kasutajanimi

näiteks cyrus.mart

 cm user.mart

Olemas on veel hulk käsurea abivahendeid näiteks

 /usr/lib/cyrus/quota

mis näitab kasutajate nimistut koos quotaga ja
näiteks /usr/lib/cyrus/deliver mailide saatmiseks
viisil 

 echo tekst |  /usr/lib/cyrus/deliver -q kasutajanimi
===Kasutaja===

Loome test domeeni test.ee ja kasutaja mart

 echo test | md5sum
 d8e8fca2dc0f896fd7cb4cb0031ba249  -

 INSERT INTO `domains` VALUES (0,'test.ee')
 INSERT INTO `user` VALUES (0,'mart','mart metsast','mart@test.ee','d8e8fca2dc0f896fd7cb4cb0031ba249',1162296952,1189589660)
 INSERT INTO `virtual` VALUES (0,'test@test.ee','mart',1)

 cyradm -user cyrus 127.0.0.1
 cm cyrus.mart

===Testimine===

 emerge net-misc/netkit-telnetd

 '''telnet 192.168.1.10 143'''
 Trying 192.168.1.10...
 Connected to 192.168.1.10.
 Escape character is '^]'.
 * OK gentoo20070412 Cyrus IMAP4 v2.2.12-Gentoo server ready
 '''1 LOGIN mart parool'''
 1 OK User logged in

Testime mailisaatmist

mail käsk tuleb gentoosse paketist nail

 emerge nail

ja edasi kasutada kujul ehco "kiri" | mail mart@zoo.tartu.ee

===Cyruse veebiadministreerimine===

Kõigi puhul tuleks uurida mis kujul nad soovivad tabeleid ja
vastavaid muudatusi läbiviia

http://openmailadmin.ossdl.de/

http://email.uoa.gr/projects/cyrusmaster/index.php

http://www.web-cyradm.org/

Openmailadmin vajab järgnevaid pakette gentool

   emerge php
   emerge dev-php/PEAR-Log
   emerge dev-php/adodb

===Kirjade automaatne jagamine postkastidesse===

Avaliku IP peal TCP portil 2000 kuulab programm sieve, tegemist Cyrus tarkvara koosseisu kuuluv deemoniga (ingk. k. sõel) mis võimaldab nt kirja päise ridade alusel korraldada kirjade salvestamist kasutaja postkasti erinevatesse kataloogidesse (ingl. k. folder). põhimõtteliselt procmail analoog imapi jaoks.

Selleks tuleb esmalt moodustada tekstifail, nt

 $ cat /var/spool/sieve/m/mart/default
 require "fileinto";
       if header :contains "List-Id" "debian-mirrors.lists.debian.org" {
               fileinto "INBOX.d-m";}
       elsif header :contains "To" "mart.kask@loomaaed.tartu.ee" {
               fileinto "INBOX.@loomaaed.tartu.ee";}
       else {
               fileinto "INBOX";}

Antud juhul ütleb sieve fail, et

* kirjad, mille päises List-Id: rida sisaldab väärtust debian-mirrors.lists.debian.org tuleb kopeerida kataloogi d-m
* kirjad, mille päises To: rida sisaldab väärtust mart.kast@loomaaed.ee tuleb kopeerida kataloogi @loomaaed.ee
* ülejäänud kirjad kopeeritakse lihtsalt inboxi 

Tööks tuleb tekstifaili alusel moodustada nn byte-code fail öeldes

 $ /usr/lib/cyrus/bin/sievec /var/spool/sieve/m/mart/default /var/spool/sieve/m/mart/defaultbc

Puhkuseteadete saatmiseks e vacationiks tuleb tekidada järgneva sisuga sieve

 true
  {
   vacation :days 7 :addresses ["test@zoo.edu.ee"] text:
   This is an automated reply; I am away and will not be able to reply to you immediately.I will get back to you as soon as I return. 
  . 
  ;
 }

Automaatselt reeglite loomiseks on veebimailile nimega squirrelmail loodud näiteks komonent
nimeg avelsieve http://email.uoa.gr/avelsieve/
Seda pole juba uuendatud küll mõnda aega. Ka on olemas plugin IMPile nimega Ingo

Neil mõlemal pluginal on aga see puudus, et nad ise ei parsi sieve
skripte, vaid hoiavad andmebaasis oma versiooni skriptist ja muutmisel
uuendavad ühesuunaliselt serverit. See tähendab, et korraga tohibki
ainult üks taoline plugin aktiivne olla, muidu ei näksi siga ka enam,
mis reeglid serveris aktiivsed on. Graafilisi sieve parsereid eriti pole. Ainukene rohkem
universaalsem tundub olevat SmartSieve, mis vähemalt ei eira serveris
juba olevaid skripte ja lubab neid toorel kujul muuta, pakkudes ise
Avelsievele sarnast funktsionaalsust.

Tooret skriptimist võimaldab ka Thunderbirdi add-on:
http://sieve.mozdev.org/

===Suurema mailisüstemi haldajale abiks olevat käsurea skriptid===

sql'ist rubyga kasutajate nimekirja saamine

 #!/usr/bin/env ruby
 #
 # skript kõikide postkastide loendamiseks
 
 require 'dbi'
 
 dbh = DBI.connect("DBI:Mysql:andmebaas:hostname","kasutaja","parool")
 dbh.execute("SET NAMES latin1")
 
 ret = dbh.select_all("select * from user where active = 1")
 
 ret.each{|row|
   puts row['mbox']
 }

Ööpäev vanemate kirjade kustutamiseks

 #!/usr/bin/env ruby
 
 piir = Time.now - 86400 # Ööpäevajagu sekundeid
 
 cmd = "/usr/bin/mailq | /usr/bin/cleanq"
 
 pipe = IO.popen(cmd)
 
 pipe.each_line{|line|
   # mingi probleem edastusega
   if line =~ /^([A-F0-9]{11})\s+\d+\s+(... ... .. ..:..:..).*\(delivery temporarily suspended/
     id = $1
     aeg = Time.parse($2)
     if aeg < piir
       #puts id
       puts line
     end
   end
 }

Soovides tabelit ,et näha palju kettaruumi kasutajad tarbivad sobib selline skript /mail/spool/imap/user
tuleb asendada failisüsteemis kohaga kus asuvad kasutajate mailid

 #!/bin/bash
 
 for g in $( ls /mail/spool/imap/user ) ; do
 
 hgd=`du -s /mail/spool/imap/user/$g`
 vbd=`echo $hgd | awk '{print $1}'`
 
 if [ $vbd -lt 92160 ]; then
  echo "v2iksem" > /dev/null
  else
 du -sh /mail/spool/imap/user/$g
 fi
 done

Kasutajate otseseks tuvastamiseks kes üle quota läinud aga

 #!/bin/bash
 
 for i in `/usr/lib/cyrus/quota | tr -s ' '| awk '{print($2","$1","$4)}' | sed -e's/user\.//' |egrep "(^9[5-9])|(^[[:digit:]]{3})"`;
 do
 
 protsent=`echo $i | cut -f1 -d',' `
 limiit=`echo $i | cut -f2 -d','`
 kasutaja=`echo $i | cut -f3 -d','`
 echo "p: $protsent l: $limiit k: $kasutaja";
 
 done

Ning kõigi kasutajate quota muutmiseks korraga
taaskord tuleb muuta kataloogi rada kus asuvad failid kasutajatel
näites antakse igale kasutale 500M

 #!/bin/bash
 
 for g in $( ls /mail/spool/imap/user ) ; do
  echo "setquota user.$g 512000;quit" | cyradm -user cyrus -server 127.0.0.1 --pass parool
 
 done

===Vead ja nende prandamine===

Logisse tekivad näiteks read.

 Sep  3 03:43:43 mail lmtpunix[10604]: DBERROR db4: Logging region out of memory; you may need to increase its size
 Sep  3 03:43:43 mail lmtpunix[10604]: DBERROR: opening /var/imap/deliver.db: Cannot allocate memory
 Sep  3 03:43:43 mail lmtpunix[10604]: DBERROR: opening /var/imap/deliver.db: cyrusdb error
 Sep  3 03:43:43 mail lmtpunix[10604]: FATAL: lmtpd: unable to init duplicate delivery database
 Sep  3 03:43:43 mail master[5498]: service lmtpunix pid 10604 in READY state: terminated abnormally

Probleem on berkeleydb'ga ning parandada saab asja järgneva käsuga
andes ette cyruse andme failide asukoha

 db4.2_recover -v -h /var/imap/db

Sasl testimiseks saab kasutada käsku

 # testsaslauthd -u mart -p parool -s imap
 0: OK "Success."

Kui cyrus ei tööta on erroriks (temporary failure. Command output: couldn't connect to lmtpd: Connection refused_ 421 4.3.0 deliver: couldn't connect to lmtpd_) ja kõik kirjad paigutatakse sabasse /var/spool/postfix/deferred/ 

===Cyruse maildir formaat===

kasutajal näiteks mart on seen file kohaks kus asub info kas loetud meili või ei /var/imap/user/e/eenet.seen

 mailq  | cleanq | grep "temporary failure" | less

====Cyryse migreerimine 32 bitilt 64 bitile====

32 bitisel platformil anda käsud

 su -cyrus
 /usr/lib/cyrus/ctl_mboxlist -d > mailboxes.txt

seejärel 64 bitisel platformil kustutada kaustades vanad andmebaasifailid

 rm /var/imap/db/*
 rm -rf /var/imap/db.backup*
 rm /var/imap/*.db

Cyrus kasutana seejärel anda käsud

Rekonstrueerime mailboxes.db faili 

 /usr/lib/cyrus/ctl_mboxlist -u < mailboxes.txt

Ehitame uuesti kõik andmebaasid tekitades
/var/imap/user ja /var/imap/quota failid kuid kaovad annotations.db, deliver.db ja tls_sessions.db

Seda võib teha kiirelt käsuga 

 /usr/lib/cyrus/reconstruct -r -f user

Võib aegamööda alloleva skriptiga, et mitte tekitada töötavale serverile liiga suurt koormust

 #!/bin/sh
 for g in $(cat mailboxes.txt | awk '{ print $1 }' ) ; do
  echo $g
  /usr/lib/cyrus/reconstruct $g
  sleep 1
 done

fatal region error detected; run recovery
Vahel kui esineb sarmaseid db4 erroreid näiteks on tark kustutada .db failid imap ja imap/db kaustades

Viimase käsu täitmine võib suurte mailiserveritega võtta kaua aega

Veidi juttu imapist

http://oreilly.com/catalog/mimap/chapter/ch09.html

Kaunis näide tõeliselt suurest mailisüsteemist

https://docs.rice.edu/confluence/display/ITTUT/Cyrus+Email+Service+Design

Veel suurtest mailiserveritest

http://ebusiness.gbdirect.co.uk/case_studies/active_directory_imap_authentication.html