Effraie@Blog! - Serveur

Nouveau venu sur le serveur!

effraie — Fri, 16 May 2008 00:43:00 +0200

Comme c'est la coutume, un petit billet pour vous annoncer l'arrivée d'un nouveau venu sur le serveur: Papa ours!.

C'est un super copain, Cergyssois, et de photographe avec ça!

Il fait ses images en argentique (minolta, je crois, mais je ne suis plus sur)

Bienvenue!

En vrac

effraie — Sun, 04 May 2008 17:32:00 +0200

Et oui, moi aussi je peux bloguer des liens ;) d'ailleurs, ce billet est un clin d'œil a certains (qui se reconnaîtront!). Les autres risquent d'être déçus par le contenu...

Le Point continue de servir la soupe du gouvernement avec un article de propagande bien trempée: «Les nouveaux combattants de l'ultra-gauche»,
grep:grrl lance une catégorie ''ateliers'', orientée unix, bien sur. Ou bien en tout cas, je viens de m'en apercevoir, parce que leur flux rss a changé.
Ça c'est pour les zonnard sur IRC: You idle, you pay!,
Microsoft renonce à acheter Yahoo. Ouf!,
Mon tutoriel sur la calibration d'écran sous GNU/Linux est publié sur les pixelistes, un forum de nikonistes,
Grâce à la commande tee, je viens de regrouper tout mes logs d'apache dans un gros webalizer. (bon, il sera plus intéressant dans quelques mois, là, c'est un peu vide.. 1 journée de logs, ça ne représente pas grand chose).
Les jeunes de l'UMP n'ont pas peur du ridicule, c'est bien... On savait depuis longtemps que ce 40° anniversaire serait l'occasion d'un nombre incroyables de mièvreries commémoratives et de récupérations en tout genre, mais là, c'est le pompon!

40 ans plus tard - le ridicule ne tue pas

je crois que c'est tout!

Prochaine session: Vim

effraie — Sat, 16 Feb 2008 02:32:00 +0100

Qui n'est jamais passé par là... Démarrage de vim (généralement par un complet hasard), râleries parce que cet éditeur bizarre n'a pas l'air de marcher (jusqu'à ce qu'on tombe sur la bonne touche, mais sans comprendre ce qui s'est passé), et fermeture violente de console parce qu'impossible de trouver comment sortir de l'éditeur :)

C'est Yannick LM qui sera le professeur pour la session classroom sur vim. Elle se déroulera le vendredi 22 février à 20 heures (heure métropolitaine, 19H00 UTC), sur le canal #u-classroom du réseau irc freenode.

Aucun pré-requis n'est nécessaire à ce cours, si ce n'est une installation du logiciel ('sudo apt-get install vim' pour debian et dérivés).

Une fois vim maîtrisé, vous ne verrez plus votre console du même œil ! Et vous pourrez profiter de la seconde session (dont la date sera donnée ultérieurement).

A bientôt sur #u-classroom !

Via u-classroom, en attendant que celui ci soit validé pour l'agrégation sur www.planet-libre.org

Nouveautés sur le serveur

effraie — Tue, 05 Feb 2008 23:32:00 +0100

Un peu de vrac ne faisant pas de mal (sauf à Skateinmars, qui perd son monopole), ce billet sans liant mais avec des liens ne sert qu'à vous annoncer quelques nouveautés sur le serveur:

Un nouveau blog consacré à la photo nous rejoins (c'est que ça va devenir une spécialité!): Les feuillets photographiques, (l'ami est linuxien/libriste aussi, par ailleurs)
J'héberge depuis peu une liste, pour les éditions Syllepse, qui compte prés de 20 000 abonnés... d'un coup, on change d'échelle, et il va falloir que je sois attentif à mes logs Postfix, et sans doute aussi que j'optimise la configuration assez vite, si je ne veux pas flirter trop souvent avec des loads astronomiques... à suivre.
Je sais désormais héberger des dépôts Subversion, mis en œuvre au départ pour http://u-classroom.net/, mais que vous pouvez réclamer maintenant pour vos sites et vos projets.
Je me suis décidé à utiliser gallery 2 pour présenter les photos dont je juge qu'elle n'ont pas leur place sur le photoblog, ou bien qu'elle gagne à être présentées en séries. Gallery 2, c'est assez lourd, comme logiciel, mais... c'est super bien intégré avec f-spot, qui me sert de gestionnaire de photos, et ça fait tout ce que je veux, notamment la gestion des différents niveaux de droits sur différents albums photos... voyez donc ça ici.

Voila voila, c'est tout, je crois..., ah, une image pour la route:

Sauvegardes extensives

effraie — Sat, 08 Dec 2007 16:35:00 +0100

Effraie.org héberge pas mal de sites, et la question des sauvegardes est devenue cruciale.
Bien sur, je pourrais renvoyer les utilisateur-ices à leur responsabilités, et leur demander de faire leurs propres sauvegardes. Cela dit, rien ne dit qu'elles/ils les fassent régulièrement, ni qu'ils sachent comment sauvegarder une base de données.

Je me suis donc penché sur la question, et j'ai amélioré mon rsync quotidien pour obtenir un système qui me convient mieux,

Pour assurer que les données seront à l'abri en cas de crash des disques durs internes, mon répertoire backups/ est situé sur un disque usb externe. Prochainement, je cherche également à automatiser une sauvegarde de ce répertoire sur un serveur distant

Sauvegardes des bases de données

J'utilise, suivant les conseils avisé d'un copain, le script autoMYSQLBackup.sh qu'on trouve ici. Après configuration de quelques variables, le script est opérationnel, et il ne vous reste qu'a le lier dans /etc/cron.daily/ pour obtenir une sauvegarde automatisée de chacune de vos bases. Le script conserve les backups des derniers 7 jours, une par semaine pendant un mois, et une par mois indéfiniment.
Au final, cela me permet de conserver une trace des données sur le long terme, sans pour autant user une espace disque démesuré, dans backups/sql.

Sauvegardes des données:

Pendant longtemps, je me suis contenté d'utiliser rsync pour sauvegarder les données du serveur. Cependant, je souhaitais bénéficier, comme pour les bases de données, de la possibilité de restaurer une sauvegarde plus ancienne. Pour cela, j'ai utilisé des outils standards, rsync, cp, rm, date, find et crontab.

Le fonctionnement est simple:

sauvegarde principale:

Chaque nuit, à 2h30, je sauvegarde l'ensemble des données que je veux pouvoir restaurer dans un répertoire backups/main, avec le "mini script" suivant, qui synchronise la racine du serveur avec ma sauvegarde:


#!/bin/sh
rsync -azh  --exclude=/pattern/à/ne/pas/sauver --exclude=/dev --exclude=/proc --exclude=/tmp --exclude=/sys   --delete-after --delete-excluded --stats / /chemin/vers/backups/main

et cette ligne dans la crontab de root:

30 02  *  *  * /chemin/vers/le/script/main_backup 2>&1 | mail votre@email.tld -s "[Rsync] rapport du `date +%A\ %d\ %B\ %Y`"

Je reçois ainsi chaque jour un rapport statistique sur la synchronisation, de cette forme:


Number of files: 208552
Number of files transferred: 1038
Total file size: 8.23G bytes
Total transferred file size: 354.84M bytes
Literal data: 354.86M bytes
Matched data: 0 bytes
File list size: 6230145
File list generation time: 98.647 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 70.71M
Total bytes received: 24.00K

sent 70.71M bytes  received 24.00K bytes  344.18K bytes/sec
total size is 8.23G  speedup is 116.42

En cas de problème, le mail contient la sortie d'erreur de la commande.

Journalisation des sauvegardes

Pour pouvoir restaurer des sauvegardes plus anciennes, ou des fichiers effacés il y a plusieurs jours sur le serveur (et donc absent de backups/main), j'utilise trois petits scripts simplistes, qui, associés à une ligne adéquate dans la crontab de root, me permettent de conserver l'ensemble des sauvegardes des 7 derniers jours, une sauvegarde par semaine pendant un mois, et une sauvegarde par mois pendant 6 mois.

Note ajoutée à la suite de quiproquo dans les commentaires
Le systéme de journalisation/rotation des backups utilise l'option -l de cp, pour créer des hardlinks au lieu de recopier les fichiers, dans tt les cas ou le fichier n'a pas été modifié. C'est le moyen de n'utiliser que l'espace disque minimum requis. Compresser les données dans une archive ferait perdre cet avantage, et utiliserait, finalement, plus d'espace disque.

Voici les scripts et les entrées dans la crontab qui vont avec:

daily_backup

le script:

#!/bin/sh
find /chemin/vers/backups/timed/daily/* -ctime +7 -exec rm -rf {} \;
cp -al /chemin/vers/backups/main /chemin/vers/backups/timed/daily/`date +%F` 2> /dev/null;

L'entrée dans la crontab:

30 03  *  *  * /home/effraie/scripts/daily_backup

weekly_backup

le script:

#!/bin/sh
find /chemin/vers/backups/timed/weekly/* -ctime +33 -exec rm -rf {} \;
cp -al /chemin/vers/backups/main /chemin/vers/backups/timed/weekly/`date +%U_%F` 2> /dev/null;

L'entrée dans la crontab:

40 03  *  *  0 /home/effraie/scripts/weekly_backup

monthly_backup

Le script:

#!/bin/sh
find /chemin/vers/backups/timed/monthly/* -ctime +183 -exec rm -rf {} \;
cp -al /chemin/vers/backups/main /mnt/usb-data/backups/timed/monthly/`date +%m-%Y` 2> /dev/null;

L'entrée dans la crontab:

50 03  1  *  * /home/effraie/scripts/monthly_backup

Avec ça, je pense être habillé pour l'hiver! Cela dit, toute suggestion d'amélioration est la bienvenue.

Du nouveau sur le serveur

effraie — Thu, 06 Dec 2007 23:26:00 +0100

Pas mal de nouveauté aà vous annoncer, et surtout, c'est le moment pour vous, gentilLEs hébérgéEs, de devenir actif dans le projet effraie.org! Jugez plutôt:

Je viens de mettre en place un wiki pour rédiger de la documentation. J'ai en tête qu'on devrait y mettre toutes les infos qui permettent de gérer son compte sur le serveur, mais aussi toutes les astuces que vous souhaitez partager avec les autres: comment installer tel ou tel script, CMS..., comment gérer sa mailing-liste, tout ce que vous voulez, en fait. Si par le plus grand des hasard, ce wiki prennait un peu d'ampleur, il faudrait veiller à sa bonne organisation. Rendez-vous ici (http://doc.effraie.org/) pour contribuer,
J'ai aussi mis en place un Bugtracker (flyspray, inspiré par sp4rky). Il vise, en plus de me servir de to-do liste pour ce qui concerne le serveur, à vous permettre d'y rapporter tout les dysfonctionnements, demandes de fonctionnalitées, et autres trucs que vous pourriez avoir à noter concernant le serveur. N'hésitez surtout pas à vous en servir, ce n'en sera que plus simple pour moi! c'est ici (http://bugs.effraie.org/),
Pour les curieux, vous trouverez ici (http://effraie.org/munin/) une représentation graphique de l'activité du serveur,
Je suis en train de mettre en place une politique de sauvegardes améliorés de vos données, qui devrait permettre de retrouvez une version d'un fichier datant de chaque jour de la semaine passées, de chaque semaine du mois écoulé, et de chaque mois du semestre précédent. Je vous tiendrais au courant plus en détails (avec les scripts & les explications) dés que j'aurais confirmation que tout ça fonctionne. C'est basé sur rsync et le système des hardlinks, et cron, comme de juste.

Voila voila... par ailleurs, je viens d'écrire au RHIEN, ça à l'air assez top comme projet!

Internet, le retour: effraie.org est up!

effraie — Sat, 01 Dec 2007 19:04:00 +0100

Après prés de 3 semaine d'absence, ma connexion est de retour... et le serveur avec!

Bien sur, ces trois semaines ont fait un peu mal au services que je fournis... et ça m'apprendra a configurer, par exemple, un MX2 pour mon serveur de mail. Cela dit, d'un point de vue statistique, ce genre de panne est nécessairement rarissime et imprévisible: Lors de travaux dans la cave de mon immeuble, dont je n'ai eu connaissance que récemment, un ouvrier à mis un coup de pioche involontaire, et sans s'en apercevoir, au câble qui me relis au réseau de téléphone...

Demain, je vais faire le tour des dégâts occasionnés (peut-être quelques mails mail perdus, probablement rien de bien méchant d'un point de vue technique) et esayé d'avancer sur une solution de redondance complète... (pas forcément simple a mettre en œuvre à mon échelle) qui puisse pallier a ce genre de défaillance externe.

Les affaires reprennent!

Configurer Thunderbird pour l'IMAPs sur effraie.org

effraie — Tue, 30 Oct 2007 22:43:00 +0100

Ce billet ne concerne qu'une infime minorité de mes lecteurs, mais pour eux, ce sera sans doute bien pratique. Je le fais en image, j'ai la flemme d'écrire...

On commence par créer un nouveau compte:

Facile, jusque là!

À l'écran "information sur le serveur:

On choisit de récupérer ses mail en IMAP (qui permet de synchroniser ses mail entre sa (ou ses) machine(s) et le serveur de mail, plus d'info chez wikipedia ) et on prends garde d'indiquer le serveur imaps.effraie.org
Le serveur SMTP, je songe bien a en installer un... mais bon, c'est pas forcément le plus simple a mettre en place du point de vue de la sécurité.... en général, on utilise celui fournit par son FAI. Par exemple, pour free, c'est : smtp.free.fr

L'écran de login:

rien de bien compliqué: le début de votre adresse email, sans @effraie.org

C'est tout pour la création du compte. Cependant, votre boite mail ne marche pas encore. Pour cela, il va falloir faire un petit tour dans la configuration du compte.

Cliquez sur Édition > paramètres des comptes
On choisit l'item paramètres du serveur, et voici l'écran qu'on obtient:

On choisit la checkbox SSL pour sécuriser la connexion, le port 993 doit se mettre automatiquement (sinon, faite le à la main)

C'est tout, vous devruez désormais pouvoir vous connecter de façon sécurisée au serveur de mail.

Parfois, ces deux écrans peuvent venir vous ennuyer:

acceptez définitivement le certificat

Cliquez sur OK

Enjoy ;)

Migration: Work in progress

effraie — Mon, 29 Oct 2007 14:12:00 +0100

Salut salut...

Bon, la migration du serveur avance.
A priori, tout vos sites ont été réactivés, et fonctionnent. J'ai du changer quelques mots de passe, si vous ne parvenez pas a vous connecter a votre compte (FTP, vois SSH pour ceux qui y ont accès) faites moi signe.

Il y a quelques site que je n'ai pas ré-activés, pensant qu'ils sont abandonnés... si ce n'est pas le cas, faite moi signe, je n'ai rien effacé!

Par contre, je galére un peu plus pour récupérer la configuration du serveur de mail... pas de mail ni de mailing-listes fonctionnelles pour l'instant... j'y travaille, et je vous tient au courant...

pas la peine de m'écrire a *@effraie.org, donc.. utiliser donc jabber, ou le téléphone, ou les commentaires de ce billet pour me joindre :)

MAJ du serveur prochaine

effraie — Sat, 27 Oct 2007 13:30:00 +0200

En conséquence, vous n'aurez plus accés au sites, mail et listes et aux divers service d'effraie.org pendant quelques temps.

Pas de panique, ça reviens, avec une machine plus sûre et mieux configurée :)