mardi 6 septembre 2016

Déporter les logs du PFSense sur un NAS Synology


Le firewall open source PFSense peut être hébergé sur des appliances light, comme les excellents Alix d'OSNet qui permettent de déployer des solutions super légères et riches en fonctionnalités (VPN, portail captif, proxy, logs, ...) ou celles de la boutique PFSsense.

Pour logger les informations, accès, etc... la capacité de stockage de ces appliances peut être insuffisante, c'est pour quoi il peut être intéressant de ne stocker que peu d'infos sur le firewall et déporter les logs sur un NAS Synology.



Pour cela il faut installer depuis le Centre de paquets de Synology l'application Centre des journaux.



Dans l'application  Centre des journaux dans l'onglet Réception des journaux il faut autoriser la réception au format BSD





Dans l'interface du PFSense, dans la page Status > System Logs > Settings section Remote Logging Options, il faut activer Enable Remote Logging et définir la destination avec l'ip du Synology (dans Remote log servers).


Il est possible de définir les éléments de logs transmis par les checkbox de Remote Syslog Contents, ici l'ensemble sera transmis.
Les logs arriveront dès validation dans le Centre de Journaux du Synology, Un filtre en haut de liste permettra de distinguer les logs internes au Synology (Local) et ceux reçus de l'extérieurs (Des autres serveurs)






Attention, si vous souhaitez récupérer les logs du Squid Proxy Server, ils ne seront pas transmis automatiquement par cette manip car ils ne sont pas prévus dans les services listés sur l'interface.

Il faudra pour ça se rendre dans les paramètre du proxy : Services > Squid Proxy Server et accéder aux options avancées 



et saisir dans 
Custom ACLS (Before Auth) :
access_log syslog:local:8
Cela générera automatique dans le fichier de conf du proxy /usr/local/etc/squid/squid.conf la ligne suivante
# Custom options before auth
access_log syslog:local8.info squid
(si vous faites cette modif en SSH dans le fichier de conf, celui ci sera écrasé à la prochaine modif / reboot / ...)

Et il faut redémarrer le service, avec le reload en haut de page

Le service local8 n'étant pas listé dans les options du Remote Syslog Contents, il faudra cocher l'option Everything pour ces logs soient transmis au serveur distant.
Cela générera automatique en fin de fichier de conf du syslog /etc/syslog.conf la ligne suivante
*.* @192.168.18.2
(Idem, ne faites pas la modif directement dans le fichier sous peine d'écraser cette modif par la suite)

Vous obtiendrez les logs dans le Synology sous le nom de programme (squid-1) dans mon exemple.

dimanche 4 septembre 2016

Contrôler l'indexation multimedia du synology

Après une migration de données, ou des copies en masse de fichiers, il se peut que votre Synology passe des jours / semaines / ... à réanalyser vos données (photo / music / vidéo). On ne sait pas trop ce qu'il fait, la barre de progression semble scotchée, on ne sait pas ce qu'il se passe...

Voilà quelques tips pour savoir où on en est ...
(nécessite un accès SSH sur le Synology)

  • Les fichiers d'instruction de l'indexation et de génération des miniatures
Le répertoire /var/spool contient l'état de l'indexation, les listes des actions à réaliser et les répertoires à traiter.

conv_progress_photo & conv_progress_video
informe sur l'état d'avancement des conversions sans donner de détail :
total=3621
total_thumb=14484
completed=3616
completed_thumb=14464
Ça correspond à ce qui est affiché dans le DSM, en haut à droite, derrière l'icone de progression.
On constate ici que pour chaque image, 4 miniatures (thumbs) sont crées, par exemple pour la photo DSC01340.JPG, le répertoire  @eaDir/DSC01340.JPG contient :
SYNOPHOTO_THUMB_B.jpg
SYNOPHOTO_THUMB_M.jpg
SYNOPHOTO_THUMB_S.jpg
SYNOPHOTO_THUMB_XL.jpg

syno_indexing_queue & syno_indexing_queue.tmp
Liste les instructions d'indexation dans la pile des actions à venir (R : reindex, A : add, D ; delete, ...), rempli automatiquement lors d'actions sur les fichiers ou via la commande synoindex (cf point associé).

thumb_create.queue & 
thumb_create.queue.tmp
Liste les dossiers à parcourir pour générer les vignettes.

Si le process d'indexation vous semble vraiment scotché, que le fichier syno_indexing_queue contient beaucoup de lignes et que malgré les reboots ça n'avance pas, il est possible de réinitialiser le tout en supprimant les fichiers syno_indexing_queue* et en relançant le service d'indexation ou en rebootant le NAS (cf synoservice pt suiv).
Au redémarrage, l'icone de progression a du disparètre et il est désormais possible de relancer un scan via le DSM : Panneau de configuration > Services d'indexation > Ré-indexation.
Un fichier syno_indexing_queue.tmp sera à nouveau créé contenant l'unique instruction ReIndex All : 
#offset:128;
R:all
 

  • Tracker et contrôler le process de génération des miniatures
Pour suivre l'activité du process de génération de miniature, il est possible de voir ce qu'il est en train de traiter. Pour cela il faut récupérer son pid et lister le contenu de /proc/[pid]/fd/
This is a subdirectory containing one entry for each file which the process has open, named by its file descriptor, and which is a symbolic link to the actual file. Thus, 0 is standard input, 1 standard output, 2 standard error, and so on.
Pour récupérer le pid du process de génération des miniatures :
# pidof synomkthumbd
10536
Par exemple, un ls -l /proc/10536/fd  donnera le répertoire actuellement en cours de traitement par le générateur de miniature.

Pour liste et manipuler les services Synology (relancer, stopper, etc...), il faut utiliser la commande synoservice :
synoservice --list : liste les services disponibles
synoservice --restart synomkthumbd : relance le service de génération des miniatures.

  • Lister les répertoires de photos indexées en base de données

Pour valider les dossiers déjà indexés, il est possible de requêter sur la base de donnée mediaserver du Synology comme expliqué ci dessous.

Accéder à la base de données Postgres du Syno
psql mediaserver postgres
Exécuter une requête sur la table photo.
Ici les répertoires traités par l'indexation, avec un tips de récupération du path sans le filename en postgres (vu qu'il n'existe pas de last_indexof)
select distinct left(path, length(path) - length(regexp_replace(path, E'.*/',''))) from photo;

  • La commande synoindex
Le process d'indexation suit les instructions présentes dans le fichier syno_indexing_queue qui est complété automatiquement lors d'actions sur le système de fichier (ajout de fichier, suppression, déplacement, etc...).
Il est possible cependant que cela ne soit pas le cas automatiquement via le shell par exemple. Dans ce cas, il est possible de ne pas tout ré-indexer mais de seulement indiquer à l'indexeur que tel fichier/répertoire a été renommé ou a été supprimé, etc...
synoindex
Usage:
synoindex [OPTIONS]
Index Options:
    -h, --help
        this help text
    -A dirpath
        add a dir
    -a filepath
        add a file
    -D dirpath
        delete a dir
    -d filepath
        delete a file
    -N new_dirpath old_dirpath
        rename a dir
    -n new_filepath old_filepath
        rename a file
    -R [all|media|photo|music|video|thumb|dirpath]
        all:     reindex all dirpath that registered in each package
        media:   reindex dirpath that registered in MediaIndex package
        photo:   reindex photo dirpath
        music:   reindex music dirpath
        video:   reindex video dirpath
        thumb:   check converted video of each video file
        dirpath: reindex this specific dirpath
    -R user:{user_name}
        reindex personal photo dirpath
    -R share:{share_name}
        reindex share dirpath
    -R [type_music|type_video|type_photo]
        reindex dirpath that registered with specific type in MediaIndex
Package Index Options:
    -P [MediaIndex|{package_name}] {index_option}
        index operation only apply on this package
    -p [MediaIndex|{package_name}] {index_option}
        index operation apply all packages except for this package
File Index Options:
    -f {index_option}
        index operation apply on file index
    -U photo
        update photo images
Cela permet également de comprendre le contenu des fichiers syno_indexing_queue* car le préfixe des lignes correspond aux options de cette commande.
Exemple de commandes générées suite à l'upload automatique de DS photo (prefixe "a" pour ajout de fichier à la mediatheque) :


# cat /var/spool/syno_indexing_queue
a:/volume1/photo/Mobile/iPhone SE/IMG_0160.JPG
a:/volume1/photo/Mobile/iPhone SE/IMG_0161.JPG
a:/volume1/photo/Mobile/iPhone SE/IMG_0162.JPG
a:/volume1/photo/Mobile/iPhone SE/IMG_0163.PNG
a:/volume1/photo/Mobile/iPhone SE/IMG_0164.JPG
a:/volume1/photo/Mobile/iPhone SE/IMG_0164.MOV
a:/volume1/photo/Mobile/iPhone SE/IMG_0165.JPG
a:/volume1/photo/Mobile/iPhone SE/IMG_0165.MOV
a:/volume1/photo/Mobile/iPhone SE/IMG_0166.JPG
  • L'indexation dans PhotoStation
Photostation dispose d'une indexation distinct de l'indexation générale du DSM, elle est stockée dans une autre base de données : photo.

NB : Pour lister toutes les bases de données disponibles, une fois connecté à psql, il faut utiliser la commande \l, \c pour changer de base de données et \dt pour lister les tables d'une DB.
mediaserver=# \c photo
You are now connected to database "photo" as user "postgres".
La table qui stocke les photos se nomme photo_image.

Une réindexation dans PhotoStation se traduit dans le fichier syno_indexing_queue par la commande suivante :

# cat /var/spool/syno_indexing_queue.tmp
#offset:128;
PhotoStation:1:R:photo


  • Migration des vignettes de PhotoStation v5 à v6
Le nom des vignettes à changer entre PhotoStation 5 et 6, pour passer de SYNOPHOTO:THUMB* à SYNOPHOTO_THUMB* source ). La commande suivante permet de faire un renommage massif des fichiers :

find ./ -type f -name SYNOPHOTO:THUMB*.jpg -exec bash -c 'mv --verbose "$0" "${0/:/_}"' {} \;