Bonjour à tous, dans ce premier tutoriel consacré à la Haute disponibilité (HA) nous allons voir DRBD.

Qu’est-ce que DRBD?

DRBD pour Distributed Replicated Block Device est comparable à un RAID 1 mais en réseau, c’est à dire que deux disques, partitions ou même un LVM peuvent être repliqué d’un disque à un autre via un réseau ethernet ou fibre optique.
Cela permet donc d’assurer la disponibilité de vos données en cas de crash complet d’une machine. Ce que ne permet pas de faire un RAID classique.

Schéma DRBD

Pour ce tuto nous allons donc utiliser deux machines virtuelles sous Debian 6.

Configuration des machines virtuelles

Nous allons donc utiliser deux machines virtuelles avec la configuration suivante:
Machine 1:

• Hostname: node1
• Adresse IP: 192.168.10.128
• Un second disque dur virtuel de 1GO

Machine 2 :

• Hostname: node2
• Adresse IP: 192.168.10.129
• Un second disque dur virtuel de 1GO

Pour les adresses IP vous pouvez mettre celles que vous souhaitez, pour ce tuto j’ai laissée celle que ma fournis le DHCP de VMWare Workstation.

Préparation des disques

Nous allons commencer par créer une partition sur les seconds disques que nous avons rajoutés.
Sur les deux machines tapez les commandes suivantes:

Sur node1

root@node1:~# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x48ef2de4.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
         switch off the mode (command 'c') and change display units to
         sectors (command 'u').

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-130, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-130, default 130):
Using default value 130

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

Sur node2

root@node2:~# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x293cdb74.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
         switch off the mode (command 'c') and change display units to
         sectors (command 'u').

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-130, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-130, default 130):
Using default value 130

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

Maintenant que nous avons partitionnés les deux disques nous allons installer les paquets necéssaires à l’utilisation de DRBD.

Installation et configuration de DRBD

Sur les deux machines (node1 et node2) tapez les commandes suivantes:

apt-get install drbd8-utils

Puis une fois le paquet installé on active le module avec la commande suivante:

modprobe drbd

Vous pouvez vérifier la version de DRBD installée en tapant la commande modinfo drbd
Maintenant que nos disques et DRBD sont mis en place nous allons configurer la réplication des données entre les deux disques.

Pour ce faire nous allons créer et éditer un fichier que nous allons appeler drbd1.res dans le dossier /etc/drbd.d/

Attention les commandes et les configurations suivantes sont à faire sur les deux serveurs.

cd /etc/drbd.d
nano drbd1.res

Puis remplissez le fichier de la façon suivante:

resource r0 {

   # Taux de transfert
   # 10M pour du 100mbits
   # 100M pour du 1Gbits
   syncer {
      rate 10M;
   }

        on node1 {
                device /dev/drbd0;
                disk /dev/sdb1;
                address 192.168.10.128:7788;
                meta-disk internal;
        }
        on node2 {
                device /dev/drbd0;
                disk /dev/sdb1;
                address 192.168.10.129:7788;
                meta-disk internal;
        }
}

Explications:
Tout d’abord on donne un nom à notre ressource DRBD dans notre cas nous allons l’appeler r0.
Dans cette ressource nous allons renseigner nos deux nodes, cela commence donc par on node1 (node1 doit être le hostname de la machine) avec les valeurs suivantes:

device /dev/drbd0; 				#Ceci est le nom du disque DRBD que nous allons créer
disk /dev/sdb1;    				#Ceci est le chemin de la parition que nous allons utiliser
address 192.168.10.128:7788;	#Adresse IP du node1
meta-disk internal;				#On écrit les MD sur le disque

Et on fais la même chose pour node2

Une fois ce fichier écrit sur les deux nodes nous allons enfin pouvoir mettre en place la réplication:

Toujours sur les deux nodes tapez les commandes suivantes:

drbdadm create-md r0
drbdadm up r0

Et voila notre DRBD est pratiquement mis en place vous pouvez vérifier que vos nodes se contactent en tapant la commande suivante:

drbd-overview

Vous devriez avoir cette ligne en sortie:

drbd-overview
  0:r0  Connected Secondary/Secondary Inconsistent/Inconsistent C r----

Cela veut dire que vos nodes se connectent mais que la réplication n’est pas encore possible etant donné qu’aucun des deux n’est en mode Primary, pour y remédier nous allons mettre node1 en primary avec la commande suivante:

root@node1:~# drbdadm -- --overwrite-data-of-peer primary r0

Et node2 en secondary (pas forcement obligatoire de faire ça)

root@node2:~# drbdadm secondary r0

La synchronisation initale se lance vous pouvez vérifier l’état de la synchronisation avec la commande suivante:

root@node1:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----
    ns:9312 nr:0 dw:0 dr:9512 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:1034812
        [>....................] sync'ed:  1.2% (1034812/1044124)K
        finish: 0:43:06 speed: 356 (320) K/sec

La synchronisation initiale peut être plus ou moins lente en fonction de l’espace disque et de la rapidité de votre réseau local.
Vous pouvez suivre la synchronisation avec un rafraîchissement toutes les 2 secondes avec la commande suivante:

watch cat /proc/drbd

Vous aurez ceci en sortie:

Every 2.0s: cat /proc/drbd

version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----
    ns:96416 nr:0 dw:0 dr:96616 al:0 bm:5 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:947708
        [>...................] sync'ed:  9.5% (947708/1044124)K
        finish: 0:44:25 speed: 328 (320) K/sec

Vous pouvez quitter cette vue en faisant CTRL+C

Une fois la synchronisation terminée la commande cat /proc/drbd vous donneras ceci:

root@node1:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----
    ns:1044124 nr:0 dw:0 dr:1044324 al:0 bm:64 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

Si les deux sont en mode ds:UpToDate/UpToDate c’est que tout fonctionne bien.

Maintenant que notre raid réseau et fonctionnel nous allons créer un système de fichier en ext4 pour pouvoir écrire dessus.

Tapons la commande suivante sur le node primaire (node1)

root@node1:~# mkfs.ext4 /dev/drbd0

Maintenant nous pouvons monter le disque DRBD comme n’importe quel disque dur

mkdir /mnt/r0
mount /dev/drbd0 /mnt/r0/

Si vous tapez la commande df -h vous pouvez voir que le disque est bien monté.

root@node1:~# df -h

###
/dev/drbd0           1004M   18M  936M   2% /mnt/r0
###

Maintenant nous allons tester notre replication.

Mise en pratique de la replication via DRBD

Pour tester notre replication nous allons télécharger une image iso de Debian sur node1 et voir si la replication se fait sur le node2.

Donc sur node1 nous allons aller dans le dossier /mnt/r0 et télécharger l’ISO de Debian 6

cd /mnt/r0/
wget http://cdimage.debian.org/debian-cd/6.0.7/i386/iso-cd/debian-6.0.7-i386-CD-1.iso

Pendant le téléchargement les paquets téléchargés seront aussi copiés sur node2 étant donné que DRBD est configuré pour faire une copie synchrone des fichiers (Protocol C).

Après le téléchargement, ce que nous pouvons faire maintenant c’est mettre node1 en secondary, de mettre node2 en primary et de monter la partition sur node2.

Sur node1

root@node1:~# umount /mnt/r0
root@node1:~# drbdadm secondary r0
root@node1:~# drbd-overview
  0:r0  Connected Secondary/Secondary UpToDate/UpToDate C r----

On voit donc que maintenant les deux nodes sont en secondary.

Sur node2

root@node2:~# drbdadm primary r0
root@node2:~# mkdir /mnt/r0
root@node2:~# mount /dev/drbd0 /mnt/r0/

Faisons un ls -l dans le dossier /mnt/r0 de node2

root@node2:~# ls -l /mnt/r0/
total 662548
-rw-r--r-- 1 root root 678428672 Feb 23 08:36 debian-6.0.7-i386-CD-1.iso

Nous avons bien notre fichier ISO présent sur le node2.

IMPORTANT: On ne peut monter un disque DRBD que sur le serveur ou il est en primary. Le montage est impossible en secondary.

Si vous tapez la commande drbd-overview quand le disque est monté vous aurez des informations supplémentaires, comme le point de montage et l’espace disque restant.

root@node2:~# drbd-overview
  0:r0  Connected Primary/Secondary UpToDate/UpToDate C r---- /mnt/r0 ext4 1004M 665M 289M 70%

Maintenant nous allons voir comment faire en cas de crash d’un des serveurs.

En cas de crash d’un node

Actuellement node2 est primary est node1 est secondary nous allons éteindre node2 et voir ce qui se passe au niveau de DRBD.
Tout d’abord nous allons éteindre node2

root@node2:~# init 0

Nous allons voir l’état de notre DRBD sur node1

root@node1:~# drbd-overview
  0:r0  WFConnection Secondary/Unknown UpToDate/DUnknown C r----

Il est donc en mode Wait For Connection étant donné que node2 n’est plus joignable.

Nous allons donc remettre node1 en primary pour que nous puissions accéder à nos données:

root@node1:~# drbdadm primary r0
root@node1:~# mount /dev/drbd0 /mnt/r0/
root@node1:~# drbd-overview
  0:r0  WFConnection Primary/Unknown UpToDate/DUnknown C r---- /mnt/r0 ext4 1004M 665M 289M 70%

Nous avons donc de nouveau accès à nos données mais notre raid n’est plus fonctionnel.

Si nous redémarrons node2 DRBD va automatiquement le mettre en secondary et le raid sera de nouveau opérationnel.

#Après le reboot de node2
root@node1:~# drbd-overview
  0:r0  Connected Primary/Secondary UpToDate/UpToDate C r----

Que faire en cas de crash d’un disque dur?

Maintenant nous allons voir quoi faire en cas de crash d’un disque dur sur node2.
Dans VMWare Workstation sans eteindre le node2 supprimez le second disque (Settings -> Disque -> Remove)
Retournez sur le node2 et tapez fdisk -l, vous verrez que le disque /dev/sdb aura disparus.

Sur node1 tapez drbd-overview pour vérifier l’état de DRBD

root@node1:~# drbd-overview
  0:r0  WFConnection Primary/Unknown UpToDate/DUnknown C r----

DRBD est maintenant en attente de connection.

Maintenant toujours sans eteindre le node2 rajoutez de nouveau un disque de 1Go.

Refaites un fdisk -l et vous voyez maintenant qu’un nouveau /dev/sdb est apparus mais celui-ci est non paritionné.

Créez maintenant une partition comme nous l’avons fais tout au début et réactivez DRBD.

root@node2:~# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x293cdb74.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
         switch off the mode (command 'c') and change display units to
         sectors (command 'u').

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-130, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-130, default 130):
Using default value 130

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

Maintenant réactivons DRBD dur node2

root@node2:~# drbdadm create-md r0
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
success
root@node2:~# drbdadm up r0

Maintenant sur node1 ou sur node2 tapez drbd-overview et vous verrez que la synchronisation initiale est lancée :)

root@node2:~# drbd-overview
  0:r0  SyncTarget Secondary/Primary Inconsistent/UpToDate C r----
        [>....................] sync'ed:  4.8% (995612/1044124)K

Ou la commande cat /proc/drbd sur le node1

root@node1:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----
    ns:1821820 nr:52 dw:698552 dr:1124820 al:177 bm:171 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:964924
        [>...................] sync'ed:  7.9% (964924/1044124)K
        finish: 0:40:12 speed: 324 (320) K/sec

Une fois la nouvelle synchronisation terminée la commande drbd-overview devrais nous retourner ceci:

root@node1:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----
    ns:2786744 nr:52 dw:698552 dr:2089744 al:177 bm:231 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

Maintenant nous allons mettre node1 en secondary et node2 en primary et vérifier si les fichiers sont de retour sur node2.

Sur node1

root@node1:~# umount /mnt/r0
root@node1:~# drbdadm secondary r0
root@node1:~# drbd-overview
  0:r0  Connected Secondary/Secondary UpToDate/UpToDate C r----

Sur node2

root@node2:~# drbd-overview
  0:r0  Connected Secondary/Secondary UpToDate/UpToDate C r----
root@node2:~# drbdadm primary r0
root@node2:~# mount /dev/drbd0 /mnt/r0/
root@node2:~# drbd-overview
  0:r0  Connected Primary/Secondary UpToDate/UpToDate C r---- /mnt/r0 ext4 1004M 665M 289M 70%
root@node2:~# ls -l /mnt/r0/
total 662548
-rw-r--r-- 1 root root 678428672 Feb 23 08:36 debian-6.0.7-i386-CD-1.iso

Nous avons donc bien notre fichier ISO sur le node2, cela veut dire que notre raid réseau à bien été reconstruit et que tout refonctionne comme avant !

Voila ce qui met fin à ce tutoriel sur DRBD.

J’espère que vous aurez trouvé celui-ci intéressant.