Shadoware.Org - Tag - script

Sauvegarde automatique 0.9

Ulrich Van Den Hekke — Mon, 16 Oct 2006 10:11:00 +0000

Ce billet concerne une application, de mon cru, écrite en bash.

Elle utilise l'application dar pour effectuer des sauvegardes et les copier sur un périphérique USB ou/et sur le réseau. Tous les patchs, corrections, améliorations sont les bienvenues sur cette application maison.

Pour fonctionner l'application se configure à l'aide d'un fichier du dossier /etc qui permet de déterminer une liste de dossier à sauvegarder (/etc/autobackup). Dans ce fichier, on y défini le dossier à sauvegarde, le dossier de destination, le nombre de sauvegarde incrémentale (ou dit d'une autre facon, au bout de combien fois faut-il créer une nouvelle sauvegarde compléte?).

Il permet aussi de définir des points de copie où l'on place les différentes sauvegardes. (Ex: un périphérique USB, un dossier SSH). Ces points sont, bien sûr, utilisés seulement s'ils existent. Le fichier est copié sur le périphérique USB, s'il est branché, sur la machine distante si elle est allumée, ....

Il ne reste plus qu'à configurer ces petits scripts et les mettre dans un cron

Contenu exemple du fichier de configuration

# This config file make relation for backup
 
# Options
BACKUP_OPT="-v -s 4613734400 -D -z9 -m 150"
BACKUP_EXCLUDE_EXT="-Z *.avi -Z *.bz2 -Z *.gif -Z *.gz -Z *.jpg -Z *.mov -Z *.mpg -Z *.pbm -Z *.pdf -Z *.png -Z *.pnm -Z *.Z -Z *.zip"
BACKUP_EXCLUDE_PATH="-P phoenix/.bogofilter -P phoenix/.fonts -P phoenix/.kde/cache-maxiding -P phoenix/.kde/socket-maxiding -P phoenix/.kde/tmp-maxiding -P phoenix/.spamassassin -P phoenix/.thumbnails -P phoenix/.turboprint -P phoenix/.unison -P phoenix/.wesnoth -P phoenix/.widelands -P phoenix/.wine* -P phoenix/usr -P phoenix/virtuel -P .Trash-* -P phoenix/tmp"
 
# Copy Backup
COPYTO="usbdrive network"
 
# Copy to usb drive
usbdrive_type="usb"
usbdrive_dev="/dev/usb/disk1"
usbdrive_mountpoint="/media/disque/"
usbdrive_pathname="backup/"
 
# Copy to network
network_type="net"
network_host="miniding"
network_user="phoenix"
# no network_pass : use ssh key for backup
network_dir="/home/phoenix/backup"
 
# Home
home_name=maxiding_home
home_source=/home/
home_destination=/gravure/dar/home/
home_inc_max=10
 
# Etc
etc_name=maxiding_etc
etc_source=/etc/
etc_destination=/gravure/dar/etc/
etc_inc_max=10

Sauvegarde automatique

#!/bin/sh
 
#############################################################################
##   Copyright (C) 2006 by Ulrich Van Den Hekke                            ##
##   ulrich.vdh@free.fr                                                    ##
##                                                                         ##
##   This program is free software; you can redistribute it and/or modify  ##
##   it under the terms of the GNU General Public License as published by  ##
##   the Free Software Foundation; either version 2 of the License, or     ##
##   (at your option) any later version.                                   ##
##                                                                         ##
# /var 
##   This program is distributed in the hope that it will be useful,       ##
##   but WITHOUT ANY WARRANTY; without even the implied warranty of        ##
##   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the         ##
##   GNU General Public License for more details.                          ##
##                                                                         ##
##   You should have received a copy of the GNU General Public License     ##
##   along with this program; if not, write to the                         ##
##   Free Software Foundation, Inc.,                                       ##
##   59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.             ##
#############################################################################
 
if [ -e /etc/autobackup ] ; then
    . /etc/autobackup
else
  echo "Please configure the autobackup config file"
  exit 1
fi
 
if [ $# -ne 1 ] ; then
  echo "Please specify a project to backup"
  exit 2
fi
 
# Define name of variable to use
var_name="\$$1_name"
var_source="\$$1_source"
var_destination="\$$1_destination"
var_inc_max="\$$1_inc_max"
 
# Define content of variable for the project
BACKUP_SRC=`eval echo $var_source`
BACKUP_DST=`eval echo $var_destination`
BACKUP_NAME=`eval echo $var_name`
BACKUP_INCREMENTAL_MAX=`eval echo $var_inc_max`
 
if [ -z "$BACKUP_NAME" ] ; then
  echo "Project undefined"
  exit 3
fi
 
BACKUP_BIN=dar
DATE_BACKUP=`date +%Y%m%d`
BACKUP_ARCHIVE="${BACKUP_NAME}_${DATE_BACKUP}"
 
# From config file
# COUNT_INCREMENTAL_BACKUP
# LAST_BACKUP
# LAST_COMPLETE_BACKUP
 
# Some options
# -v verbose
# -c archive name
# -R root place
# -s slice size
# -p slice pause
# -D backup empty dir
# -z9 compression gzip level 9
# -m for minimal size
# -Z exclude from compression
# -P exclude file
 
function start_backup() {
    echo "Backup of $BACKUP_SRC in progress ..."
 
    $BACKUP_BIN -c ${BACKUP_DST}|>${BACKUP_ARCHIVE}|> -R $BACKUP_SRC $BACKUP_OPT $BACKUP_EXCLUDE_EXT $BACKUP_EXCLUDE_PATH > ${BACKUP_DST}|>${BACKUP_NAME}|>.log
}
 
function load_backup_config() {
    echo -n "Load config file ... "
 
    if [ -e ${BACKUP_DST}|>${BACKUP_NAME}|>.config ] ; then
        . ${BACKUP_DST}|>${BACKUP_NAME}|>.config
        echo "loaded."
    else
        COUNT_INCREMENTAL_BACKUP=$BACKUP_INCREMENTAL_MAX
        echo "not found"
    fi
}
 
function save_backup_config() {
    echo "Save backup config file ..."
 
    echo "COUNT_INCREMENTAL_BACKUP=$COUNT_INCREMENTAL_BACKUP" > ${BACKUP_DST}|>${BACKUP_NAME}|>.config
    echo "LAST_BACKUP=$DATE_BACKUP"                          >> ${BACKUP_DST}|>${BACKUP_NAME}|>.config
    echo "LAST_COMPLETE_BACKUP=$LAST_COMPLETE_BACKUP"        >> ${BACKUP_DST}|>${BACKUP_NAME}|>.config
}
 
function define_incremental() {
    echo "There is $COUNT_INCREMENTAL_BACKUP on $BACKUP_INCREMENTAL_MAX"
    if [ $COUNT_INCREMENTAL_BACKUP -lt $BACKUP_INCREMENTAL_MAX  ] ; then
        echo "Backup is incremental from $LAST_COMPLETE_BACKUP"
        COUNT_INCREMENTAL_BACKUP=`expr $COUNT_INCREMENTAL_BACKUP + 1`
        BACKUP_OPT="-A ${BACKUP_DST}${BACKUP_NAME}_${LAST_COMPLETE_BACKUP} ${BACKUP_OPT}"
    else
        echo "Backup is complete"
        COUNT_INCREMENTAL_BACKUP=1
        LAST_COMPLETE_BACKUP=$DATE_BACKUP
    fi
}
 
load_backup_config;
define_incremental;
start_backup;
save_backup_config;

Copie automatique

#!/bin/sh
 
#############################################################################
##   Copyright (C) 2006 by Ulrich Van Den Hekke                            ##
##   ulrich.vdh@free.fr                                                    ##
##                                                                         ##
##   This program is free software; you can redistribute it and/or modify  ##
##   it under the terms of the GNU General Public License as published by  ##
##   the Free Software Foundation; either version 2 of the License, or     ##
##   (at your option) any later version.                                   ##
##                                                                         ##
##   This program is distributed in the hope that it will be useful,       ##
##   but WITHOUT ANY WARRANTY; without even the implied warranty of        ##
##   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the         ##
##   GNU General Public License for more details.                          ##
##                                                                         ##
##   You should have received a copy of the GNU General Public License     ##
##   along with this program; if not, write to the                         ##
##   Free Software Foundation, Inc.,                                       ##
##   59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.             ##
#############################################################################
 
if [ -e /etc/autobackup ] ; then
    . /etc/autobackup
else
  echo "Please configure the autobackup config file"
  exit 1
fi
 
if [ $# -ne 1 ] ; then
  echo "Please specify a project to backup"
  exit 2
fi
 
# Define name of variable to use
var_name="\$$1_name"
var_source="\$$1_source"
var_destination="\$$1_destination"
var_inc_max="\$$1_inc_max"
 
# Define content of variable for the project
BACKUP_SRC=`eval echo $var_source`
BACKUP_DST=`eval echo $var_destination`
BACKUP_NAME=`eval echo $var_name`
BACKUP_INCREMENTAL_MAX=`eval echo $var_inc_max`
 
if [ -z "$BACKUP_NAME" ] ; then
  echo "Project undefined"
  exit 3
fi
 
# From config file
# COUNT_INCREMENTAL_BACKUP
# LAST_BACKUP
# LAST_COMPLETE_BACKUP
 
 
function load_backup_config() {
    echo -n "Load config file ... "
 
    if [ -e ${BACKUP_DST}|>${BACKUP_NAME}|>.config ] ; then
        . ${BACKUP_DST}|>${BACKUP_NAME}|>.config
 
        BACKUP_ARCHIVE="${BACKUP_NAME}_${LAST_BACKUP}"
        echo "loaded."
    else
        echo "not found"
        exit 4
    fi
}
 
function save_by_network() {
    echo -n "Save on computer $HOST as $USER on $DIR"
 
    ping -c 3 -W 10 $HOST > /dev/null
 
    if [ $? -ne 0 ] ; then 
        echo "failed"
    else
        DESTINATION="${HOST}:${DIR}"
        if [ -n $USER ] ; then
            DESTINATION="${USER}@${DESTINATION}"
        fi
        scp ${BACKUP_DST}|>${BACKUP_ARCHIVE}|>* $DESTINATION
 
        if [ $? -ne 0 ] ; then 
            echo "failed"
        else
            echo "ok"
        fi
    fi
}
 
function save_by_usb() {
    echo -n "Save on drive $DEV "
 
    if [ -e $DEV ] ; then
        TOUMOUNT=1
        LINECOUNT=`mount | grep $DEV | cut -f 1 -d\  | wc -l `
        if [ $LINECOUNT -gt 0 ] ; then
            MOUNTPOINT=`mount | grep $DEV | cut -f 3 -d\ `
            TOUMOUNT=0
        else
            mount $MOUNTPOINT
 
            if [ $? -ne 0 ] ; then
                echo "mount failed "
            fi
        fi
        if [ -d ${MOUNTPOINT}|>${PATHNAME}|> ] ; then
            for FILE in `ls -1 ${BACKUP_DST}|>${BACKUP_ARCHIVE}|>*` ; do
                FILENAME=`basename $FILE` 
                if [ -e ${MOUNTPOINT}|>${PATHNAME}|>${FILENAME}|> ] ; then
                    echo "exist "
                else
                    cp ${FILE}|> ${MOUNTPOINT}|>${PATHNAME}|>
                fi
            done
 
            echo "ok"
        else
            echo "failed"
        fi
        if [ $TOUMOUNT -eq 1 ] ; then
            umount $MOUNTPOINT
        fi
 
    else
        echo "device not found"
    fi
}
 
function copy_to() {
    echo "Start make copy of backup $BACKUP_NAME"
 
    for NAME in $COPYTO ; do
        var_type="\$${NAME}_type"
        TYPE=`eval echo $var_type`
 
        echo "--> $NAME as $TYPE"
        case $TYPE in
            "usb")
                var_dev="\$${NAME}_dev"
                DEV=`eval echo $var_dev`
 
                var_mountpoint="\$${NAME}_mountpoint"
                MOUNTPOINT=`eval echo $var_mountpoint`
 
                var_pathname="\$${NAME}_pathname"
                PATHNAME=`eval echo $var_pathname`
 
                save_by_usb;
            ;;
 
            "net")
                var_host="\$${NAME}_host"
                HOST=`eval echo $var_host`
 
                var_user="\$${NAME}_user"
                USER=`eval echo $var_user`
 
                var_dir="\$${NAME}_dir"
                DIR=`eval echo $var_dir`
 
                save_by_network;
            ;;
        esac
    done
}
 
copy_to;

Script Linux

Ulrich Van Den Hekke — Sun, 20 Aug 2006 10:45:00 +0000

Ce billet est consacré au script Linux. J'ai écrit divers script pour "automatiser" certaines commandes, même si je dois exécuter ces scripts manuellement. Je pourrais, quand bien même, appeler ces scripts dans un cron si je le souhaitais.

Vous trouverez, donc, dans la suite, différents scripts, différentes idées, à améliorer, à récupérer.

Liste des paquets

Ce script permet de lister les paquets installés sur un système GNU\Debian. Cela me permet de récupérer une liste de paquet dans un fichier, liste que je peux réutiliser dans un logiciel comme synaptic pour installer les mêmes paquets sur une autre distribution. Couplé à une sauvegarde du dossier home et du dossier etc, le script permet de pouvoir réinstaller un système à l'identique (à condition que l'on ne se trouve pas sur unstable et moyennant le dossier /var.

liste=`dpkg -l | tail +6 | cut -d\  -f3`
for i in $liste ; do
echo "$i        install"
done

La commande dpkg --get-selections peut très bien remplacer le script ci-dessus. Merci à mx pour sa remarque.

Purge des paquets

Permet de purger les paquets supprimés d'une distribution GNU\Debian. Cela permet de supprimer les quelques fichiers inutiles lors de la suppression de paquet GNU\Debian. Néanmoins, parfois on ne veut pas faire les purges.

for i in `dpkg -l | grep -e '^rc.*' | cut -f3 -d\ ` ; do dpkg -P $i ; done

Sécurisation des données

Permet de monter une partition démontée et démonter une partition montée. Ce script est basé sur KDialog pour demander les informations, il nécessite donc KDE (mais je pense qu'il est possible de le réécrire pour Gnome). On lui passe en paramètre le nom d'un périphérique. Il suppose que la partition démontée est un volume logique (sous LVM) dont le groupe est GNU\Debian et dont le nom est $DISK-close. Il crée à la suite le device-mapper (en supposant qu'il a été créé à l'aide de LUKS) du nom de $DISK-open. S'il trouve ce "device-mapper'', il le démonte et le supprime.

#!/bin/sh
 
DISK=$1
DISKOPEN="$DISK-open"
DISKCLOSE="$DISK-close"
 
if [ -e /dev/mapper/$DISKOPEN ] ; then
    umount /dev/mapper/$DISKOPEN 2> /dev/null
    if [ $? != 0 ] ; then
        kdialog --title KSecure --error "Impossible de démonter le péripherique $DISK"
    fi
        if [ -e /dev/mapper/$DISKOPEN ] ; then
        /sbin/cryptsetup luksClose $DISKOPEN
                kdialog --title KSecure --msgbox "Suppression du péripherique $DISK accomplie"
        fi
else
    password=`kdialog --title KSecure --password "Cle de déchiffrement de $DISK"`
    if [ -z $password ] ; then
        password="nopassword"
    fi
    echo "$password" | \
        /sbin/cryptsetup luksOpen /dev/debian/$DISKCLOSE $DISKOPEN 2> /dev/null
    mount /dev/mapper/$DISKOPEN 2> /dev/null
        if [ $? -ne  0 ] ; then
                kdialog --title KSecure --error "Clé incorrecte"
        fi
fi

Apprentissage du spam

Permet d'appeler bogofliter et spamassassin sur une liste de message Indésirable au format mbox. Il permet aussi de faire l'apprentissage des messages désirables.

#!/bin/bash
 
sa-learn -L --no-sync --spam --mbox /home/phoenix/Mail/Indésirable\ \(Spam\)
sa-learn -L --no-sync --ham --mbox /home/phoenix/Mail/Désirable\ \(Non\ spam\)
 
bogofilter -N -s < /home/phoenix/Mail/Indésirable\ \(Spam\)
bogofilter -S -n < /home/phoenix/Mail/Désirable\ \(Non\ spam\)

Création de lien

Permet à partir d'une liste de fichier identique générée par fdupes de créer des liens physiques entre les fichiers pour économiser de la place. Attention : si un des fichiers physiques est modifié, l'autre le sera aussi.

#!/bin/sh
 
echo -n "|"
read -r line
while [ $? -eq 0 ] ; do
    line=`echo $line | sed -e "s/\\\\\\ /@/g"`
    index=0
    principal=""
    for chemin in $line ; do 
        if [ $index -eq 0 ] ; then
            principal=$chemin
        else
            a=`echo $principal | sed -e "s/@/\\ /g"` 
            b=`echo $chemin | sed -e "s/@/\\ /g"` 
            ln -f "$a" "$b"
        fi
 
        index=`expr $index + 1`
    done
 
    echo -n "="
 
    read -r line
done
echo -n "|"

Renumérotation

Permet de renuméroté une liste d'image d'un dossier, du style 1 10 11 12 13 2 3 4... en une suite précédé d'un 0 : 01 02 03 04 05 06 ...

#!/bin/sh
 
for DIR in `ls` ; do
 
echo -n "Change directory $DIR "
 
cd $DIR
 
CMD=`ls | sed -e 's/\(.*\)_\([1-9]\)\.jpg/mv \1_\2.jpg \1_0\2.jpg ;/g' | grep "mv "`
eval $CMD
 
cd ..
 
echo "Ok"
 
done

Génération de playlist

Permet de générer une playlist sur un dossier pour utilisation avec le logiciel kpf (par exemple) de KDE. Il parcourt l'ensemble des dossiers et crée un fichier m3u à chaque fois qu'il trouve un fichier multimédia. Il remplace le début du dossier par un lien http. Je rajoute qu'il existe un très bon site contenant de la musique libre : Jamendo.

#!/bin/sh
 
OLD=`pwd`
 
cd "$1"
if [ $? -ne 0 ] ; then 
  exit
fi
 
THIS=`pwd`
BASE=`basename "$THIS"`
 
echo "Ouverture de $BASE"
 
for path in * ; do 
  if [ -d "$THIS/$path" ] ; then 
    $0 "$THIS/$path"
  fi
done
 
echo "Traitement de $BASE"
rm $BASE.m3u 2> /dev/null
 
for path in *.mp3 *.ogg *.wma *.avi ; do 
  echo $path | grep \* > /dev/null 
  if [ $? -eq 1 ] ; then
    echo $THIS/$path | sed -e "s/\/media\/music/http\:\/\/192\.168\.101\.7\:8001/g" >> $BASE.m3u
  fi
done
 
echo "Sortie de $BASE"

Script pour gérer les documents latex

Ce script date de quelques temps quand je devais générer des documents différents à partir d'un même document LaTeX. Il utilise différentes commandes pour cela, et permet aussi de nettoyer le dossier. Une sorte de Makefile à la mode bash.

#!/bin/sh
 
if [ $# != 2 ] ; then
  echo "Il faut le nom du fichier et de la sortie"
  exit 1;
fi
 
NAME=$1
DEST=$2
 
case $DEST in
  cleanPDF) 
    rm -f $NAME.pdf ;;
  cleanTXT)
    rm -f $NAME.txt ;;
  cleanPS)
    rm -f $NAME.ps  ;;
  cleanDVI)
    rm -f $NAME.dvi ;;
  cleanHTML)
    rm -f $NAME.html ;;
  cleanTEX)
    rm -f *.log *.toc *.htoc *.aux *.haux *~ ;;
  clean)
    glatex.sh $NAME cleanTEX
    glatex.sh $NAME cleanDVI
    glatex.sh $NAME cleanPS
    glatex.sh $NAME cleanTXT
    glatex.sh $NAME cleanPDF
    glatex.sh $NAME cleanHTML ;;
  mrproper)
    glatex.sh $NAME clean ;;
  _dvi)
    pslatex $NAME.tex
    pslatex $NAME.tex ;;
  xdvi)
    glatex.sh $NAME _dvi
    xdvi $NAME.dvi ;;
  dvi)
    glatex.sh $NAME _dvi
    glatex.sh $NAME cleanTEX ;;
  _html)
    hevea -francais -fix -noiso $NAME.tex ;;
  html)
    glatex.sh $NAME _html
    glatex.sh $NAME cleanTEX ;;
  _txt)
    hevea -francais -fix -text $NAME.tex ;;
  txt)
    glatex.sh $NAME _txt
    glatex.sh $NAME cleanTEX ;;
  _ps)
    glatex.sh $NAME _dvi
    dvips -Ppdf $NAME.dvi ;;
  ps)
    glatex.sh $NAME _ps
    glatex.sh $NAME cleanDVI
    glatex.sh $NAME cleanTEX ;;
  _pdf)
    pdflatex $NAME.tex
    pdflatex $NAME.tex ;;
  pdf)
    glatex.sh $NAME _pdf
    glatex.sh $NAME cleanTEX ;;
esac