Liens intéressants Journal Du pirate semaine #15

april, debian-fr, planet-cullt, planet-libre, python

Suivez-moi aussi sur Diaspora*diaspora-banner ou Twitter  ou sur Identi.ca

Pour cette 15ème semaine de 2015, 5 liens intéressants que vous avez peut-être ratés, relayés cette semaine par le Journal Du Pirate, votre source d’informations pour le Logiciel Libre francophone !

proxmox

osi_standard_logo

Pour ne plus rater aucun article, voici le flux RSS du Journal du Pirate.

Le Journal Du Pirate fonctionne de manière collaborative, grâce à la participation de ses membres. Rejoignez-nous pour proposer vos contenus à partager avec la communauté du Logiciel Libre francophone et faire connaître vos projets.

Et vous ? Qu’avez-vous pensé de ces articles ? N’hésitez pas à réagir directement dans les commentaires de l’article sur le Journal Du Pirate ou bien dans les commentaires de ce billet :)

Liens intéressants Journal Du pirate semaine #14

april, debian-fr, planet-cullt, planet-libre, python

Suivez-moi aussi sur Diaspora*diaspora-banner ou Twitter  ou sur Identi.ca

Pour cette 14ème semaine de 2015, 5 liens intéressants que vous avez peut-être ratés, relayés cette semaine par le Journal Du Pirate, votre source d’informations pour le Logiciel Libre francophone !

github-logo

 

Le Journal Du Pirate fonctionne de manière collaborative, grâce à la participation de ses membres. Rejoignez-nous pour proposer vos contenus à partager avec la communauté du Logiciel Libre francophone.

Et vous ? Qu’avez-vous pensé de ces articles ? N’hésitez pas à réagir directement dans les commentaires de l’article sur le Journal Du Pirate ou bien ici :)

 

Liens intéressants Journal Du pirate semaine #13

april, debian-fr, planet-libre, python

Suivez-moi aussi sur Diaspora*diaspora-banner ou Twitter  ou sur Identi.ca

Pour cette 13ème semaine de 2015, 5 liens intéressants que vous avez peut-être ratés, relayés cette semaine par le Journal Du Pirate, votre source d’informations pour le Logiciel Libre francophone !

cozy-logo

De très bons articles en français sont écrits tous les jours par la communauté francophone du Logiciel Libre, que ce soit via des blogs de passionnés, les sites incontournables de la communauté, les sites ou blogs d’entreprises.

Pour s’y retrouver dans ce fourmillement, le Journal Du Pirate propose une sélection des meilleurs publications récentes, proposées, relues et approuvées par les contributeurs du Journal. 

Le Journal Du Pirate fonctionne de manière collaborative, grâce à la participation de ses membres. Rejoignez-nous pour proposer vos contenus à partager avec la communauté du Logiciel Libre francophone.

Et vous ? Qu’avez-vous pensé de ces articles ? N’hésitez pas à réagir directement dans les commentaires de l’article sur le Journal Du Pirate ou bien ici :)

 

On a une sauvegarde de la base de données ? Elle a 6 mois, inutilisable

april, debian-fr, planet-cullt, planet-libre, python

Suivez-moi aussi sur Diaspora*diaspora-banner ou Twitter  ou sur Identi.ca

Péremption des données

Quel informaticien n’a pas été confronté à la péremption des données ? Vos données sont trop vieilles, inutilisables. Les causes peuvent être multiples : schémas des données ayant évolués, format de fichiers incompatibles ou delta trop important avec l’existant.

time-expired

Le cas est particulièrement flagrant avec une sauvegarde. Si cette dernière contient bien des données, que ces dernières sont cohérentes mais inutilisables aujourd’hui, vous pouvez la considérer comme périmée.

Backup Checker

Pour répondre à ce problème, la nouvelle version 1.4 de Backup Checker a été publiée sur GitHub (étoiles appréciées :) ), l’outil de vérification automatisée de sauvegarde, offre une fonctionnalité permettant de contrôler l’âge de votre archive, qui mis en relation avec une durée que vous aurez définie, permettra l’émission d’un avertissement une fois cette durée écoulée, et tout cela automatiquement. Plus de mauvaise surprise le jour où vous devez utiliser la sauvegarde, donc le jour où votre infrastructure en a vraiment besoin.

Paquets Debian pour Wheezy et Squeeze

Proposed Debian Logo

Des paquets Debian sont désormais disponibles pour la version stable et la vieille stable de Debian. Mettre en place le dépôt se fait très simplement en un copier/coller en tant qu’utilisateur root pour Debian Wheezy :

apt-key adv --keyserver pgp.mit.edu --recv-keys 2B24481A \
&& echo "deb http://debian.mytux.fr wheezy main" > /etc/apt/sources.list.d/mytux.list \
&& apt-get update \
&& apt-get install backupchecker

Pour Debian Squeeze :

apt-key adv --keyserver pgp.mit.edu --recv-keys 2B24481A \
&& echo "deb http://debian.mytux.fr squeeze main" > /etc/apt/sources.list.d/mytux.list \
&& apt-get update \
&& apt-get install backupchecker
Rôles Ansible pour mettre en place Backup Checker

ansible

Le succès d’Ansible est clairement mérité. Léger à mettre en place, sans client, utilisant ssh et surtout une prise en main très rapide. C’est pourquoi nous proposons aujourd’hui des playbooks Ansible permettant de simplement déployer Backup Checker. Voici les playbooks en question :

Retour

Et vous ? Que pensez-vous de la vérification de sauvegarde ? Comment utilisez-vous Backup Checker ?  Nous sommes intéressés par  vos réactions et commentaires concernant le projet.

N’hésitez pas à vous manifester dans les commentaires de ce billet, via le gestionnaire de rapports de bugs ou directement auprès de l’auteur.

Unverified backups are useless. Automatize the controls!

debian, planetpython, python, sysadmin

Follow me on Identi.ca  or Twitter  or Diaspora*diaspora-banner

Unverified backups are useless, every sysadmins know that. But manually verifying a backup means wasting time and resources. Moreover it’s boring. You should automatize it!

charlot

Charlie Chaplin Modern Times

Backup Checker is a command line software developed in Python 3.4 on GitHub (stars appreciated :) ) allowing users to verify the integrity of archives (tar, gz, bz2, lzma, zip, tree of files) and the state of the files inside an archive in order to find corruptions or intentional of accidental changes of states or removal of files inside an archive.

github-logo

Backup Checker on github

The new feature of the latest version 1.4 is the control of outdated archives with the new outdated parameter. Lots of data are outdated quite fast, because they are dependent of other data, or because they are only useful in a specific context.

Hey, this database dump is 6 months old, it’s useless today!

Backup Checker now controls the expiration duration and triggers a warning if the given duration starting from the last modification of the archive (mtime) is expired. Short examples of the warning:

WARNING:root:/backups/backups-12022015.tar.gz is outdated. Was good until 01/03/15 00:00:00 – now 22/03/15 21:38:20

You won’t be surprized any more by outdated useless data in your backups.

Backup Checker also offers lots of other controls. Check the features list!

Installing Backup Checker

Backup Checker is available from PyPI using the following command:

# pip3.4 install backupchecker

It’s also available for your Debian Squeeze or Debian Wheezy. Check how to get it for your specific distributions.

weneedyou

What about you? How and what for do you use Backup Checker? We would be happy to get your feedbacks. The project cares about our users and the outdated feature was a awesome idea in a feature request by one of the Backup Checker user, thanks Laurent!

 

Liens intéressants Journal Du pirate semaine #12

april, debian-fr, planet-libre, python

Suivez-moi aussi sur Diaspora*diaspora-banner ou Twitter  ou sur Identi.ca

Pour cette 12ème semaine de 2015, 5 liens intéressants que vous avez peut-être ratés, relayés cette semaine par le Journal Du Pirate, votre source d’informations pour le Logiciel Libre francophone !

docker

huitre

De très bons articles en français sont écrits tous les jours par la communauté francophone du Logiciel Libre, que ce soit via des blogs de passionnés, les sites incontournables de la communauté, les sites ou blogs d’entreprises.

Pour s’y retrouver dans ce fourmillement, le Journal Du Pirate propose une sélection des meilleurs publications récentes, proposées, relues et approuvées par les contributeurs du Journal. 

Le Journal Du Pirate fonctionne de manière collaborative, grâce à la participation de ses membres. Rejoignez-nous pour proposer vos contenus à partager avec la communauté du Logiciel Libre francophone.

Et vous ? Qu’avez-vous pensé de ces articles ? N’hésitez pas à réagir directement dans les commentaires de l’article sur le Journal Du Pirate ou bien ici :)

Le Journal Du Pirate : votre source d’informations pour le Logiciel Libre francophone

april, debian-fr, planet-cullt, planet-libre, python

Suivez-moi aussi sur Diaspora*diaspora-banner ou Twitter  ou sur Identi.ca

De très bons articles en français sont écrits tous les jours par la communauté francophone du Logiciel Libre, que ce soit via des blogs de passionnés, les sites incontournables de la communauté, les sites ou blogs d’entreprises.

cocorico

Cocorico !

Pour s’y retrouver dans ce fourmillement, le Journal Du Pirate propose une sélection des meilleurs publications récentes, proposées, relues et approuvées par les contributeurs du Journal. 

Voici pour cette semaine une sélection de 5 articles mis en avant sur le Journal du Pirate :

Laissez un commentaire en remplissant le champ e-mail ou pour recevoir une invitation afin de devenir contributeur et faire la promotion de vos projets dans le Libre via le Journal Du Pirate. Vous pouvez aussi réclamer une invitation directement sur le site.

Et vous ? Que pensez-vous de ce nouveau média dédié à la communauté francophone du Logiciel Libre ? N’hésitez pas à nous donner votre avis dans les commentaires de ce billet.

Verify your backups… or lose them all

debian, planetpython, python, sysadmin

Follow me on Identi.ca  or Twitter  or Diaspora*diaspora-banner

As a good sysadmin, you thought you had backups for your server but you didn’t verify them before the major migration you attempted? When you need them, they’re empty or full of useless files. And now it’s too late…

nobackup

Wen you discover that you don’t have usable backups – lesjoiesdusysadmin.fr

You won’t guess how often this situation occurs.

Backup Checker is a command line software developed in Python 3.4 on GitHub (stars appreciated :) ) allowing users to verify the integrity of archives (tar, gz, bz2, lzma, zip, tree of files) and the state of the files inside an archive in order to find corruptions or intentional of accidental changes of states or removal of files inside an archive.

github-logo

Install Backup Checker from PyPI

The easiest way to install Backup Checker is from PyPi using the following command:

$ pip3.4 install backupchecker
Debian Wheezy and Squeeze packages for Backup Checker

Backup Checker Debian packages are now available for your stable servers Wheezy and Squeeze in the MyTux Debian repositories.

Debian Squeeze

Just copy/paste the following command on your server to add the MyTux Debian Squeeze repository and install Backup Checker:

apt-key adv --keyserver pgp.mit.edu --recv-keys 2B24481A \
&& echo "deb http://debian.mytux.fr squeeze main" > /etc/apt/sources.list.d/mytux.list \
&& apt-get update \
&& apt-get install backupchecker
debian-squeeze-toy
Debian Wheezy

Just copy/paste the following command on your server to add the MyTux Debian Wheezy repository and install Backup Checker:

apt-key adv --keyserver pgp.mit.edu --recv-keys 2B24481A \
 && echo "deb http://debian.mytux.fr wheezy main" > /etc/apt/sources.list.d/mytux.list \
 && apt-get update \
 && apt-get install backupchecker

wheezy

Using Backup Checker

2 steps are needed to secure your backups. First you need to generate the configuration files of your backups, using the following command:

$ backupchecker -G /backups/backup-08032015.tar.gz

This generates 2 files /backups/backup-08032015.conf and /backups/backup-08032015.list you need to store in order to verify this archive later (the -O option lets you define a custom location to store the files).

Second step is to verify your backup. It is as simple as:

$ backupchecker -c /etc/backupchecker/backup-08032015.conf -l /var/log/backupchecker.log

Then check if warnings have been sent to /var/log/backupchecker.log. Really simple isn’t it? Scripting this command, your backups are now verified and secured. If any modification occurs, it will be detected and pinpointed.

What do you thing about it?

As usual, any feedback is welcome, through bug reports, emails of the author or comments on this blog.

Several companies now use Backup Checker to secure their backups. Let us know if we can help you.

 

On vient de perdre le serveur, t’as vérifié les sauvegardes récemment ? ooooooooups

april, debian-fr, planet-libre, python

Suivez-moi aussi sur Identi.ca  ou Twitter  ou Diaspora*diaspora-banner

Le titre évoque une situation malheureusement bien connue des sysadmins.

joiesdusysadmin

illustration tirée du site lesjoiesdusysadmin.fr (cliquer sur l’image)

Pour éviter cette situation, Backup Checker est un programme en ligne de commande codé en Python permettant le contrôle automatisé de l’intégrité d’archives (tar, gz, bzip2, lzma, zip) et de la cohérence des fichiers à l’intérieur des archives.

github-logo

Backup Checker est hébergé sur GitHub

Cette version 1.2 apporte le support des tubes Unix, permettant à l’aide des habituels outils comme la commande ssh ou wget de vérifier à distance vos archives tar.{gz,bz2,xz}.

Quelques exemples

Contrôler l’état d’une archive distante hébergé sur un serveur FTP devient aussi simple qu’exécuter la commande suivante :

$ wget --quiet -O - ftp://user:pass@server/backup.tar.gz | ./backupchecker.py -c .

Le même exemple pour une archive accessible en SSH :

$ ssh -q server "cat /tmp/backup.tar.gz" | ./backupchecker.py -c . -

Désormais très simple à mettre en place dans vos scripts, Backup Checker propose également de nombreuses options en ligne de commandes pour bien s’intégrer à votre workflow.

Le projet Backup Checker

Quelques détails sur l’infrastructure du projet. Backup Checker est hébergé sur GitHub (étoiles bienvenues ;) ) et effectue une partie de son intégration continue (110+ tests unitaires) sur travis-ci.

travis-ci

Viennent s’y ajouter plus de 300 tests fonctionnels et des tests sur des archives lourdes et complexes. Le projet essaie ainsi de fournir un livrable de qualité avec une documentation tentant d’être claire sur readthedocs.

readthedocs

Et nous sommes bien sûr à votre écoute si vous identifiez un problème quelconque. De plus nous sommes fans de toutes vos réactions concernant le projet Backup Checker. N’hésitez pas à vous manifester dans les commentaires de ce billet, via le gestionnaire de rapports de bugs ou directement auprès de l’auteur.

Backup Checker 1.0, the fully automated backup checker

debian, python, sysadmin

Follow me on Identi.ca  or Twitter  or Diaspora*diaspora-banner

Backup Checker is the new name of the Brebis project.

Backup Checker is a CLI software developed in Python 3.4, allowing users to verify the integrity of archives (tar,gz,bz2,lzma,zip,tree of files) and the state of the files inside an archive in order to find corruptions or intentional of accidental changes of states or removal of files inside an archive.

Brebis version 0.9 was downloaded 1092 times. In order to keep the project growing, several steps were adopted recently:

  • Brebis was renamed Backup Checker, the last one being more explicit.
  • Mercurial ,the distributed version control system of the project, was replaced by Git.
  • The project switched from a self hosted old Redmine to GitHub. Here is the GitHub project page.

This new version 1.0 does not only provide project changes. Starting from 1.0, Backup Checker now verifies the owner name and the owner group name of a file inside an archive, enforcing the possible checks for both an archive and a tree of files.

Moreover, the recent version 0.10 of Brebis published 9 days ago provided the following features

  • The default behaviour calculated the hash sums of every files in the archive or the tree of files, this was discontinued because of poor performances while using Backup Checker on archives of large size.
  • You can force the old behaviour by using the new –hashes option.
  • The new –exceptions-file option allows the user to provide a list of files inside the archive in order to compute their hash sums.
  • The documentation of the project is now available on Readthedocs.

As usual, any feedback is welcome, through bug reports, emails of the author or comments on this blog.