Vrac de mini-messages n°6 : Idiomes et astuces Python, Redis, python-memcache, HaProxy, Debian Wheezy

april, debian-fr, planet-cullt, planet-libre, python, vrac-mini-messages

Suivez-moi aussi sur Identi.ca ou sur Twitter.

Comme chaque semaine, voici les dents/tweets intéressants de la semaine dernière que j’ai publiés sur Identi.ca ou sur Twitter, revus et augmentés d’éventuels observations et commentaires mûris au cours de la semaine passée. Au menu : Idiomes et astuces Python, Redis, python-memcache, HaProxy, Debian Wheezy.

  • Mise à jour du Writing Idiomatic #Python Book http://www.jeffknupp.com/writing-idiomatic-python-ebook/ => un livre que j’aime beaucoup, qui présente des idiomes Python, à savoir les caractéristiques et sucre syntaxique propres au langage, permettant d’obtenir un code optimisé et élégant.  Le livre évolue dans le temps et les mises à jour me sont régulièrement communiquées. L’un des grands avantages des livres auto-édités.

python-logo-master-v3-TM

  • Redis 2.6.14 is out : un projet que j’aime beaucoup et dont je parle souvent, Redis, le serveur de structures de données clé-valeur, souvent utilisé comme serveur de cache, extrêmement performant dont le processus de développement public et rapide est pour moi un modèle.

redis-logo

  • HAProxy 1.4.24 and 1.5-dev19 have been released. Available from your nearest Debian/Ubuntu repository. More details: http://permalink.gmane.org/gmane.comp.web.haproxy/12277 => un retweet d’un sujet qui m’intéresse, à savoir une nouvelle version de HaProxy, un répartiteur de charge simple et efficace que je trouve très bien fait et performant. De plus le principal développeur Willy Tarreau est français et le projet est soutenu par une société française qui produit des appliances à base de HaProxy et assure du support. Un modèle économique qui me plaît avec un pur produit derrière :)

haproxy-logo

python-logo-master-v3-TM

Et vous ? Que pensez-vous des technologies et articles abordés ci-dessus ? N’hésitez pas à réagir dans les commentaires. Et à la semaine prochaine pour la suite de cette série d’articles.

Vrac de mini-messages n°5 : rhel7, PyPy, Prism, Debian Wheezy 7.1, docker, SSH, chromium

april, debian-fr, planet-cullt, planet-libre, python, vrac-mini-messages

Suivez-moi aussi sur Identi.ca ou sur Twitter.

Comme chaque semaine, voici les dents/tweets intéressants de la semaine dernière que j’ai publiés sur Identi.ca ou sur Twitter, revus et augmentés d’éventuels observations et commentaires mûris au cours de la semaine passée. Au menu : contenu de RHEL7, la branche 3 de PyPy, question autour de Prism, sortie de Debian Wheezy 7.1, conteneurs Linux avec docker, sécurité autour des clés SSH et chromium 27

  • at #rhsummit , rhel7 will come without mysql as it will be replaced with mariaDB; which is mysql api compatible. it will include mongodb too => un tweet très intéressant qui nous apprend que MariaDB, le fork de MySQL lancé suite au rachat de MySQL par Oracle, va remplacer MySQL sur la nouvelle version de la distribution de Red Hat RHEL 7. MongoDB, la base de données non-sql orientée documents sera également incluse.

Red_hat_logo

  • #PyPy Py3k status #11 : très proche d’une première publication => PyPy est l’implémentation en pur Python d’un interpréteur Python. La branche 2.x du projet vise à être entièrement compatible avec cpython 2.7. Le développement de la branche 3.x suit un rythme soutenu et le blog de PyPy a publié une note très intéressante sur le travail en cours. A lire pour tous les fans de Python pour Python :)

Pypy_logo

  • Prism : pour les particuliers : bigbrother mais pour les entreprises, espionnage industriel ? #guerreéconomique => un dent assez inhabituel de ma part, mais c’est une question que je trouve pertinente dans le concert des protestations pro-liberté individuelle que nous avons entendu ces derniers jours. Quid de l’espionnage industriel que permet cette technologie ? Les Etats-Unis savent que leur avance technologique dans les nouvelles technologies est un atout de poids et un système comme Prism me paraît tout à fait approprié pour obtenir les informations nécessaires à sa conservation. Pour les entreprises, plus que jamais, méfiance quant à vos données personnelles et stratégiques.
  • Première mise à jour mineure #Debian #Wheezy 7.1 normalement ce week-end http://ur1.ca/eb1kf => je l’avais annoncé dans ce billet, elle est arrivée à l’heure. Dans le cadre de migrations complexes ou de parcs de serveurs importants, n’hésitez pas à recourir à un professionnel pour mettre à jour vos parcs de serveurs Debian.
Wheezy

Wheezy

docker_logo

  • améliorer la sécurité de vos clés SSH privées http://ur1.ca/e1de9  lu sur @GCUSquad => un petit plus simple à mettre en place et qui apporte un gain réel au niveau sécurité. J’aime :)

openssh_logo

  • Paquet #debian chromium-browser 27 maintenant dans #debian testing (#Jessie) http://b1t.it/doWB => Marre des sites à la noix qui vous indiquent que vous n’employez pas la dernière version de Chrome ? Elle est désormais disponible pour Debian Jessie.  A installer sans attendre !

chromium_logo

Et vous ? Que pensez-vous des technologies et articles abordés ci-dessus ? N’hésitez pas à réagir dans les commentaires. Et à la semaine prochaine pour la suite de cette série d’articles.

Première mise à jour mineure Debian Wheezy 7.1 normalement ce week-end

april, debian-fr, planet-cullt, planet-libre, python

Suivez-moi aussi sur Identi.ca ou sur Twitter.

La première mise à jour mineure de Debian Wheezy, à savoir la version 7.1 est normalement prévue pour ce week-end.

Au menu des mises à jour pour (sauf modifications de dernière minute) :

Niveau noyaux :

  • Noyau Linux 3.2.46
  • Noyau kfreebsd-9 9.0-10

Niveau serveurs :

  • MySQL 5.5.31
  • modsecurity-apache 2.6.6.6

Niveau langages :

  • PHP 5.4.4

Niveau bureau utilisateur :

  • Xorg 1.7.7
  • Chromium-browser 27
  • Iceweasel 17 ESR
  • Libreoffice 3.5.4
  • nvidia-graphics-drivers
  • subversion 1.6.17

Outils Debian :

  • Apt 0.9.7.9
  • debootstrap 1.0.48

Et bien d’autres paquets encore ! Le contenu du dépôt stable-proposed-updates appelé à être poussé dans le dépôt wheezy-updates lors de la publication de la mise à jour est disponible sur la page des paquets dans proposed-updates.

Les mises à jour mineures jalonneront la vie de Debian Wheezy, mais la première est particulièrement importante pour corriger les changements advenus rapidement après la publication de Wheezy 7.0. C’est aussi pour moi un signal fort de mise à jour car, rappelons-le, la vieille stable Squeeze ne sera encore maintenue qu’un an à partir de la date de sortie de Debian Wheezy.

Et vous ? Qu’attendez-vous de cette mise à jour et que pensez-vous de ce fonctionnement ? N’hésitez pas à réagir dans les commentaires.

Vrac de mini-messages n°4 : Bootstrap, Django, Riemann, Shinken, migration Squeeze vers Wheezy et déploiement continu

april, debian-fr, planet-cullt, planet-libre, python, vrac-mini-messages
Comme chaque semaine, voici les dents/tweets intéressants de la semaine dernière que j’ai publiés sur Identi.ca ou sur Twitter, revus et augmentés d’éventuels observations et commentaires mûris au cours de la semaine passé :) Au menu Bootstrap pour Django, l’excellent framework web en Python, Riemann, Shinken, migration Debian Squeeze vers Wheezy et déploiement continu.
  • thème #bootstrap pour #django http://ur1.ca/e24pd  => pour ceux qui ne connaissent pas le thème bootstrap, il s’agit d’un thème html/css/javascript libéré par Twitter. Très adaptable, supportant la visualisation par des périphériques mobiles, il fait le bonheur de ceux qui souhaitent monter rapidement un site web au design propre (exemple pour le site de ma boîte ou d’un produit que je vais bientôt proposer) et épuré. Il s’agit donc ici de proposer ce thème bootstrap dans le contexte de son utilisation conjointe avec Django.

bootstrap-logodjango-logo

  • #Riemann surveille les systèmes distribués – s’interface avec plein de langages dont #Python http://riemann.io  => une très très bonne idée à laquelle je vois déjà plein d’applications concrètes, typiquement être capable de sortir des métriques directement depuis l’intérieur de votre application, je pense en particulier à l’analyse des articles ou des commentaires d’un site web (nombre, heures de publication, nombre de caractères en moyenne…), ou encore du nombre d’e-mails générés par l’activité d’un site web pour notifier les utilisateurs. Enfin bref plein de débouchés potentiels qui d’habitude s’analyse hors de l’application et requière plusieurs outils différents. Un grand nombre de langages différents sont supportés.

riemann

  • shinken 1.4, outil de supervision codé en #Python avec plein de fonctionnalités intéressantes http://ur1.ca/e2k8v  => cette application intéressante codée en Python continue son petit bonhomme de chemin et propose de nouvelles fonctionnalités intéressantes. J’ai vraiment hâte de l’essayer sur un projet un peu conséquent.

shinken

  • Sauvegardes incrémentales avec duplicity vers un Qnap TS-219 PII sous #debian #wheezy http://ur1.ca/e32qp => beau succès pour cet article. Merci pour la vigilance de mes lecteurs qui m’ont permis d’améliorer l’article en cours de route :) Comme quoi vous êtes écoutés dans les commentaires de ce blog !
  • bien d’accumuler les retours sur les migrations #debian #squeeze => #wheezy http://ur1.ca/e3cxh => cela fait quelques articles sur ce sujet que je mets de côté, afin d’avoir sous les yeux le maximum de cas différents quand je suis en clientèle et gère la mise à jour d’un parc important de serveurs depuis Squeeze vers Wheezy.
  • architecture de déploiement continu avec #python #tornado #jenkins #selenium et #phantomjs http://ur1.ca/e46dt  #jaime => article très intéressant sur un sujet qui me passionne, à savoir le déploiement continu. De plus j’aime beaucoup les technologies employées et l’article est bien détaillé. À lire impérativement si le sujet vous intéresse.

tornado

Et vous ? Que pensez-vous des technologies et articles abordés ci-dessus ? N’hésitez pas à réagir dans les commentaires. Et à la semaine prochaine pour la suite de cette série d’articles.

Sauvegardes incrémentales avec Duplicity vers un Qnap TS-219 PII sous Debian Wheezy

april, debian-fr, planet-cullt, planet-libre

Suivez-moi aussi sur Identi.ca ou sur Twitter.

Après l’installation de Debian Wheezy sur mon Qnap TS-219 PII, j’ai décidé d’utiliser le programme duplicity pour réaliser des sauvegardes incrémentales des données de mes postes de travail, rdiff-backup dont j’ai déjà parlé n’étant plus maintenu depuis un long moment (1).Je voulais en effet que la fréquence de la sauvegarde soit assez courte, de l’ordre de la demi-heure. Les sauvegardes incrémentales s’avèrent parfaitement adaptées à ce type d’utilisation, d’où le choix de ce programme.

Proposed Debian Logo

Installation

J’ai procédétrès simplement , en installant duplicity sur mes deux stations de travail, les deux sous Debian Wheezy :

# apt-get update && apt-get install duplicity

Configuration

Sur le serveur Qnap TS-219 PII également sous Debian Wheezy, j’ai créé des répertoires avec le chemin suivant :  /backups/{fixe,portable}

Au niveau des postes clients, j’utilise la crontab des utilisateurs concernés pour lancer duplicity. La commande suivante permet d’éditer la crontab de l’utilisateur courant (si un message vous indique que vous n’avez pas le droit d’utiliser la crontab, il faut ajouter l’utilisateur en question dans /etc/cron.allow) :

# crontab -e

Puis j’ajoute les lignes suivantes :

*/30 * * * * duplicity remove-older-than 1M –force ssh://root@mynas//backups/fixe >> /var/log/duplicity.log 2>&1 && duplicity –no-encryption /home/user ssh://root@mynas//backups/fixe >> /var/log/duplicity.log 2>&1

0 0 * * 1 duplicity full –no-encryption /home/user ssh://root@mynas//backups/fixe >> /var/log/duplicity.log 2>&1

La première commande de la première ligne lance la suppression des données qui sont plus vieilles qu’un mois. C’est une durée de rétention qui me paraît suffisamment longue, mon but n’étant pas de faire de l’archivage mais de la sauvegarde. C’est à voir en fonction de vos besoins et de votre capacité de stockage. La seconde commande de la première ligne permet la sauvegarde en elle-même;

La seconde ligne indique de procéder à une sauvegarde complète tous les lundis à 00:00 , et ce afin que la commande chargée du nettoyage des sauvegardes dont l’âge est supérieur à un mois s’exécute bien [merci à mes lecteurs pour ce rajout].

Veillez à ce que votre fichier /var/log/duplicity soit bien accessible par l’utilisateur qui lance la commande duplicity.

Gérer la rotation des journaux

Afin de faire propre il faut également configurer logrotate pour que votre fichier ne grossisse pas démesurément. Il faut créer le fichier /etc/logrotated.d/duplicity et y ajouter le contenu suivant :

/var/log/duplicity.log {
 rotate 7
 daily
 compress
 missingok
}
debian-logo

Je garde une semaine de journaux afin de pouvoir identifier la cause d’une éventuelle erreur empêchant les sauvegardes de s’effectuer.

Chiffrement

Il s’agit donc d’un mécanisme très simple de sauvegarde de vos données vers un ordinateur tierce, ici le Qnap TS-219 PII. Duplicity offre une très intéressante option, la possibilité de chiffrer vos données avec une clé GPG. À moins d’être un bot et d’effectuer vous-même vos sauvegardes, la partie automatisation de cette tâche vous intéressera.

Pour l’utiliser vous devez accorder une confiance suffisante à la clé GPG que vous utilisez pour chiffer et/ou signer. Si vous souhaitez signer votre sauvegarder vous devrez exporter à l’intérieur de votre script la variable PASSPHRASE contenant phrase de passe de votre clé GPG. Vous pouvez également utiliser l’agent GPG. Au niveau de la ligne de commande, il suffira de rajouter l’option –encrypt-key pour préciser la clé de chiffrement et/ou –sign-key pour la clé utilisée pour signer la sauvegarde.

Restauration des données

Comme il est toujours bon de vérifier la restauration des données dans la mise en place d’un système de sauvegarde, nous nous positionnons dans /tmp et passons la commande suivante pour restaurer le répertoire documents présents sur notre serveur :

$ duplicity –no-encryption –file-to-restore documents  ssh://root@mynas//backups/fixe /tmp/documents

Nous précisons de ne pas chercher à déchiffrer quoique ce soit avec l’option –no-encryption puisque nous n’avons pas chiffré pendant la sauvegarde. Nous utilisons l’option –file-to-restore afin de choisir quel répertoire ou fichier nous souhaitons restaurer, puis nous précisons la source de nos données et en dernier argument le répertoire où sauver les données. Plusieurs choses à noter :

  • l’option –no-encryption est nécessaire sinon il vous sera demandé une phrase de passe et la restauration échouera tant que vous ne rentrerez pas quelque chose.
  • plusieurs erreurs bizarres (exceptions PythonCollectionsError: No backup chains found)sont survenues quand je tatonnais pour trouver le bon chemin en définissant ma source. Mais une fois que j’ai identifié la bonne syntaxe, plus d’erreurs et le shell rend la main silencieusement en ayant accompli le travail
  • si vous précisez un répertoire ou un fichier de sortie qui existe déjà, la restauration échoue pour éviter d’écraser quoique ce soit.

En conclusion, je suis plutôt content de cette solution de sauvegarde. Le serveur de sauvegarde est discret et plutot silencieux (comme décrit dans l’article plus haut) et la solution de sauvegardes incrémentales est flexible et facilement configurable.

Et vous ? Utilisez-vous Duplicity ou un autre programme pour réaliser vos sauvegardes incrémentales ? N’hésite pas à laisser votre témoignages dans les commentaires.

(1) : quoique la liste de diffusion de rdiff-backup s’est  remise à bouger , à voir dans les prochains mois

Vrac de mini-messages n°2

april, debian-fr, planet-cullt, python, vrac-mini-messages

Suivez-moi aussi sur Identi.ca ou sur Twitter.

Pour cette catégorie d’article, je passe à une publication hebdomadaire :) Les liens d’origine sont enrichis des approfondissements que j’ai pu effectuer entre la publication du dent/tweet et la publication de cet article.

  1. #debian #wheezy 7.1 devrait être publiée samedi 15 juin http://ur1.ca/dvraj  => Information très intéressante qui n’a pas été beaucoup relayée. La première point release est à mon avis une bonne occasion pour les administrateurs système qui prévoient de mettre à jour leur parc de le faire, car on a essuyé les plâtres de la sortie et on est maintenant prêt à migrer plus facilement.
  2. Application de blog pour #django très sympa : #zinnia http://ur1.ca/dv6ja => tellement sympa que je la mets en place sur un site que je gère. Très content du résultat jusqu’ici, très conforme à mes attentes d’une application entièrement intégrée à Django. Je trouve le résult et le modèle de développement très professionnels.
  3. Sortie de #PostgreSQL 9.3 beta 1 http://b1t.it/dgb4 => je suis séduit par une fonctionnalité qui m’intéresse directement, à savoir
    Bascules d'urgence rapides (Failover) vers un serveur secondaire pour
    garantir la haute disponibilité de vos données 
  4. créer un dico avec #CPython2.7 avec dict() ou {} ? {} à privilégier d’après cet article http://ur1.ca/dulhv => c’est le genre d’article que j’apprécie beaucoup, qui va chercher la petite bête et pousse à utiliser les bons idiomes par rapport au langage et à l’interpréteur utilisés.
  5. Installer #Debian #Wheezy sur un #Qnap TS-219 PII http://ur1.ca/dtzo3 => grosse affluence sur l’article, de très bons retours dans les commentaires (merci à mes lecteurs).

Et vous ? Que pensez-vous des technologies et articles abordés ci-dessus ? N’hésitez pas à réagir dans les commentaires.

Installer Debian Wheezy sur un Qnap TS-219 PII

april, debian-fr, planet-cullt, planet-libre

Suivez-moi aussi sur Identi.ca : http://identi.ca/carlchenet

À la recherche d’un petit serveur de sauvegarde pour les besoins de ma société MyTux, j’ai été séduit par le hardware du Qnap TS-219 PII, avec deux emplacements pour des disques. Mon seul pré-requis était la possibilité d’installer Debian Wheezy 7.0 dessus, voulant gérer moi-même toute la partie software.

qnap-ts-219-p2
Le Qnap TS-219 PII utilise un processeur ARM Marvell 2.0 GHz. Les autres caractéristiques hardware sont 512MB DDRIII de mémoire RAM, 8 TB de disque maximum, 1 port Gigabit Ethernet RJ-45 et 2 ports eSATA à l’arrière.

L’utilisation du processeur ARM Marvell 2.0 a aiguisé ma curiosité et motivé mon achat car j’étais intéressé depuis un moment à voir comment Debian se comportait sur une plateforme ARM, ayant eu de très bon échos de la part d’utilisateurs réguliers de cette plateforme.

J’ai également constaté que le constructeur Qnap était bien supporté par Debian par le travail du développeur Debian Martin Michelmayr. Un hardware qui me plaît et la possibilité d’y installer simplement ma distribution préférée, je n’ai pas hésité longtemps :)

qnap-ts-219-p2-arriere

Toutes les informations relatives à l’installation de Debian sur les appareils TS-21x de Qnap sont disponibles sur la page du site web de Martin Michelmayr dédiée aux machines Qnap TS-21X. Un must-read pour toutes personnes voulant effectuer cette installation. La procédure est très détaillée.

Je confirme bien sûr le bon déroulement de l’opération pour l’installation de la toute nouvelle Debian Wheezy 7.0. Un travail impeccable pour l’installeur Debian qui démontre s’il le fallait encore sa grande souplesse à s’adapter à différentes plateformes matérielles.

Merci encore à Martin Michelmayr pour son travail sur l’intégration du matériel du constructeur Qnap au sein de Debian (pour ma part, je me suis fendu d’un petit don à son encontre, voir le lien paypal en bas de la page) qui m’a permis d’installer Debian Wheezy 7.0 en un temps record sur ce Qnap TS-219 PII.

Et vous, avez-vous un retour à faire sur le matériel Qnap utilisé conjointement avec Debian ?

600 commentaires sur le blog !

Uncategorized

Suivez-moi aussi sur Identi.ca ou sur Twitter.

Amusante coïncidence, la sortie de la nouvelle version stable de Debian Wheezy 7.0 dont je parlais dernièrement est l’occasion pour mon blog de recevoir son 600ème commentaire !

wheezy-from-toy-story

Résolument orienté Logiciel Libre, avec 152 articles et 600 commentaires depuis sa création, j’alimente ce blog par périodes plutôt qu’être régulier dans la durée et c’est l’un de mes objectifs 2013 de justement devenir plus régulier :) Debian et le Logiciel Libre fournissent une importante activité, parfois potentiellement opaque où l’essentiel se cache derrière des micro-événements ou derrière des termes techniques incompréhensibles , actualité donc où l’on peut rapidement rater un événement important. J’espère aider à éclaircir tout cela.

Mon second axe de travail est de promouvoir les activités que j’ai dans le Logiciel Libre. Publications d’articles dans la presse spécialisée, ou  réalisations de paquets Debian, ou bien encore développement de mes propres projets, j’espère ainsi informer mon lectorat de nouveautés  liées à ces différentes activités.

debian-gnu

Un grand merci à vous, cher public, sans vous rien de tout cela ne serait possible. Chaque commentaire de votre part est pour moi un encouragement à continuer et alimente à chaque instant ma motivation !

à bientôt,
Carl Chenet

Debian Wheezy 7.0 publiée en version stable

april, debian-fr, planet-cullt, planet-libre

Suivez-moi aussi sur Identi.ca : http://identi.ca/carlchenet

Un rapide billet pour signaler que le projet Debian vient de publier Debian 7.0 "Wheezy". Cette nouvelle version stable succède à Debian 6.0 Squeeze.

wheezy

Un grand bravo à toutes les personnes ayant participées à cette nouvelle version, développeurs et mainteneurs Debian, contributeurs et utilisateurs. Spéciale dédicace à l’équipe de publication qui a œuvré d’arrache-pied ces derniers mois pour parfaire Wheezy.

Cette nouvelle version est d’ors et déjà ou sera disponible dans peu de temps sur vos miroirs préférés, par exemple http://cdimage.debian.org/cdimage/release/current/

Les notes de publication de cette nouvelle version sont disponibles à http://www.debian.org/releases/stable/releasenotes

Désormais la nouvelle version "testing" de Debian se nomme Jessie, bienvenue à elle !

jessie

PokerTH disponible en version 1.0.1 dans le dépôt experimental de Debian

april, debian-fr, planet-cullt, planet-libre

Suivez-moi aussi sur Identi.ca : http://identi.ca/carlchenet

PokerTH est un très sympathique jeu de poker sans argent réel (play money) dont le principal intérêt – à mes yeux – est de proposer un jeu multijoueur par internet avec un classement mondial  à travers le site ami poker-heroes.com, ce qui compense le fait de ne pas utiliser d’argent réel et crée une émulation entre les joueurs motivés par le classement.

pokerth-template-logo

Le classement est remis à zéro tous les trois mois et un système de pénalité permet d’avoir un classement cohérent en fonction de votre niveau de participation et des résultats obtenus, pour qu’un jour ayant très peu joué avec des résultats excellents ne devienne pas premier du classement, passant devant des joueurs à 150 parties avec un très bon taux de 25 à 30% de première place.

poker-heroes

Il faut souligner le formidable travail de Evgeni Golov, développeur Debian et de l’équipe des jeux Debian (Debian games team), qui réalisent rapidement le nouveau paquet de chaque nouvelle version de PokerTH et le rendent disponible d’abord dans le dépôt expérimental. C’est en effet un point critique car souvent les nouvelles versions ne sont pas rétro-compatibles et vous empêchent de participer au jeu sur internet. Vous devez donc soit compiler laborieusement la nouvelle version avant de pouvoir rejouer soit utiliser le travail de Evgeni Golov.

Petit rappel de comment installer PokerTH sur votre Wheezy à partir du dépôt experimental:

  • ajouter la ligne suivante dans votre fichier /etc/apt/sources.list
  • deb http://ftp.fr.debian.org/debian/ experimental main
  • Passe la commande suivante en tant qu’utilisateur root:
  • # apt-get update && apt-get -t experimental install pokerth

Et à bientôt autour de la table verte ;)