[tuto] Serveur Multimedia Options

[Krystanos]

Pour ceux qui me l'ont demandé, voici un tuto, que je vais essayer de renseigner au fur et à mesure.

Si vous suivez exactement les instructions, les connaissance en linux devraient ne pas être très importantes, mais pour adapter la solution, il vous faudra certainement plus de connaissances, ou d’autonomie pour le trouver par vous-même.

Présentation

Voici une présentation de ce que je cherchais à accomplir avec mon serveur.

Commençant à avoir des fichiers éparpillés un peu partout entre ma machine, mon mediacenter et la machine de mon amie, je voulais centraliser les données et les fonctions pour ne pas avoir 5 machines à tourner en même temps, et pour ne pas avoir à chercher les données un peu partout.

Serveur de fichiers

Cette partie classique permet de partager des fichiers entre les machines, d’avoir son espace de stockage perso pour faire une sauvegarde, etc. Une des autres fonctions est de pouvoir rendre accessible à tous les fichiers multimedia conservés sur le serveur, mais j’y reviendrai plus tard.

Serveur de téléchargement

Qui n’a jamais laissé tourner son ordi pendant la nuit pour télécharger ? Tout le monde, moi le premier. Le serveur devant tourner 24h/24 à cause de ses services, s’il pouvait télécharger pour les autres, ce ne serait pas plus mal. Au programme, emule et bittorrent. Voire http et ftp si le besoin s’en fait sentir (gros volumes de données).

Serveur multimedia

C’est la partie la plus importante. Je souhaite avoir ici un maximum de fonctions, pour cibler tous les usages. En vrac :

* Partage de fichiers (cf. plus haut) pour accéder aux vidéos, musiques, etc. ;
* Serveur UPnP, la grande mode actuellement, c’est un serveur multimedia qui sert notamment à lire ses vidéos sur les consoles modernes comme la PS3 ou la XBox360 ;
* Serveur de streaming, pour pouvoir lire les vidéos et la musique directement depuis sont navigateur ;
* Partage d’audiothèque, pour avoir une audiothèque unique, disponible pour tout le monde, dans son logiciel préféré (comme iTunes ou Amarok par exemple).

Voici donc un petit aperçu de ce que je compte faire de mon serveur. C’est parfois simple, parfois plus compliqué. On le verra au fil du tuto.

[Googlebot]

 

[Krystanos]

Comme toujours, la première partie consiste à installer son serveur.

Je passerai les détails de l’installation physique de la machine pour passer directement à la partie installation du système, xubuntu en l’occurence…

La première question à se poser est de savoir combien de disques vous avez, et comment vous voulez les utiliser. Deux méthodes sont possibles. Soit vous les utilisez sous forme de partitions différentes, soit vous les utiliser sous forme de partition unique.

La seconde solution possède l’avantage de ne pas perdre d’espace, de ne pas obliger à répartir les données à la main, etc. Mais elle possède aussi le défaut que lorsque l’un des disques crashe, toutes les données sont perdues.

La première solution est donc plus fiable, en tout cas, moins destructrice. Mais elle est moins simple à mettre en oeuvre.

Pour ceux qui voudraient s’essayer à la fusion de disques, je leur conseille de lire de la documentation sur les partitions LVM. Il leur faudra de plus la distribution “alternate” de xubuntu.

Bon, passons à l’installation. CD dans le mange-disque, démarrage, et vous arrivez sur l’installeur de xubuntu. Choisissez donc l’option “Installer xubuntu”, et laissez vous guider. Je vous rejoins dans la partie “partition”.

Une fois dans cette partie, la première chose à faire, si vos disques sont formatés, c’est de supprimer toutes les partitions existantes.

Petite explication. Sous linux, les disques sont nommés hda, hdb, hdc, etc. pour les disques IDE, et sda, sdb, sdc, etc. pour les autres (USB, SATA, SCSI, etc.). Les partitions quant à elles, sont nommés comme les disques, avec des numéros : sda1 et sda2 sont deux partitions sur le disque sda.

Cette explication étant faite, revenons au serveur. Supprimez toutes les partitions, jusqu’à n’avoir que des disques. Ensuite, choisissez sur quel disque vous voulez installer le système. Créez alors Une partition, de 50 Go par exemple. Il vous sera demandé le type de système de fichiers (prenez “ext3”) et le point de montage (mettez “/”). Ensuite, recréez une partition, de 4 Go par exemple, mais cette fois, choisissez “swap” en système de fichier. Enfin, créez une partition, qui prend le reste du disque (ou la taille que vous souhaitez), toujours en “ext3”, mais cette fois, montée sur “/home”.

La préparation pour le système est finie. Maintenant, finissons le boulot pour l’espace restant.

J’ai pris pour solution de créer une partition par disque.

Donc, pour chaque disque, créez une partition, toujours en “ext3”, mais montée sur “/mmXX” ou XX est un numéro. Par exemple, mettez “/mm01” pour le premier disque, “/mm02” pour le second, etc. S’il vous reste de l’espace disponible sur le disque sur lequel vous installez le système, exploitez le de la même façon (“/mm03” par exemple).

Validez, et continuez l’installation, le reste devrait être facile.

[Krystanos]

Parlons maintenant du partage de fichiers… On va utiliser samba

$ sudo apt-get install samba

Le fichier de configuration se trouve dans /etc/samba/smb.conf

Mais avant tout, les utilisateurs. J’ai pris le principe de créer un groupe “media” qui sera le groupe de tous mes utilisateurs.

$ sudo groupadd media

Puis j’ai créé un utilisateur media, qui sera le propriétaire des fichiers multimedia.

$ sudo useradd -g media media

Faites de la même manière pour créer vos différents utilisateurs. Voilà qui est fini pour les utilisateurs.

Pour les media, j’ai donc créé un utilisateur media. Tout sera “stocké” dans son homedir /home/media/

Mais souvenons nous, les vrais fichiers se trouvent dans /mm01, /mm02, etc.

Voici un exemple de ce que j’ai créé comme arborescence :

/mm01/Musique
/mm01/Video
/mm01/Video/Anime
/mm01/Video/Divers
/mm01/Video/Films
/mm01/Video/Transcode
/mm02/Video/Séries

Il suffit donc de recréer l’arborescence dans /home/media :

$ sudo su media
$ cd
$ mkdir media
$ cd media
$ ln -s /mm01/Musique
$ mkdir Video
$ cd Video
$ ln -s /mm01/Video/Anime
$ ln -s /mm01/Video/Divers
$ ln -s /mm01/Video/Films
$ ln -s /mm01/Video/Transcode
$ ln -s /mm01/Video/Séries

Parlons enfin de la configuration Samba.

$ sudo vi /et/samba/smb.conf

Dans la partie globale, il y a un certain nombre de paramètres à configurer. Ils apparaissent déjà dans le fichier, et il suffit pour certains de les décommenter.

[global]
# Mettez ici le workgroup de votre LAN
workgroup = WORKGROUP
# Mettez ici le nom (descriptif) de votre serveur Samba
server string = %h
# Cette ligne signifie que celui qui se connecte doit posséder un compte sur le serveur.
security = user

C’est à peu près tout pour la configuration globale. Il y a des tas de paramètres, mais on a touché aux plus importants et/ou sensibles.

On peut maintenant définir, à la fin du fichier, les partages.

Partage personnel

Il faut noter que ce partage ne fonctionne pas exactement comme les autres. C’est à priori un partage spécial pour les homedirs

[homes]
# Description du partage
comment = Rértoires persos
# Le partage ne sera pas visible en parcourant le réseau local
browseable = no
# Le partage n’est pas en lecture seule (normal pour pouvoir y écrire)
read only = no
# Les masques de création ((d)rwx––)
create mask = 0700
directory mask = 0700
# Les utilisateurs valides pour se connecter
valid users = %S

Partage media

Voici le premier partage, accessible à tout le monde, mais en lecture seule :

[MyMedia]
# Signifie que tout le monde peut se connecter sans posséder de compte
public = yes
# Par contre, en lecture uniquement
read only = yes
# Description
comment = Media
# Ce partage sera visible en parcourant le réseau local
browseable = yes
# Et le chemin associé à ce partage
path = /home/media/media

Et le second partage, pour pouvoir ajouter des fichiers :

[MediaAdmin]
# Permet d'indiquer que tout personne qui se connecte sera identifié comme l'utilisateur "media"
force user = media
# Les masques de création ((d)rwxr-xr-x)
create mask = 755
directory mask = 755
# On peut écrire bien sûr. C'est le but
read only = no
# Description
comment = Media storage
# Chemin, le même que pour l'accès publique
path = /home/media/media
# Par contre, ce partage n'est pas visible dans le réseau local. Un poil plus secure...
browseable = no
# La liste des utilisateurs du système qui peuvent se connecter à ce partage
valid users = greg

Il ne reste plus qu’à relancer samba.

$ sudo /etc/init.d/samba restart

Voilà, sous Windows vous n’avez plus qu’à vous connecter. Par exemple, dans l’explorer, dans la barre d’adresse, vous pouvez taper \monServeur pour voir les partages publics. monServeur étant le nom de votre serveur. Celui-ci vous est rappelé par la commande “hostname” sur le serveur :

root@Olympia:/etc/samba# hostname
Olympia

[Krystanos]

Contrôle à distance
Parce que c’est toujours pratique de pouvoir laisser son serveur dans un coin, mais de pouvoir le contrôle quand même, voici un court passage sur le contrôle à distance.

Ma solution préférée pour faire ce genre de chose est NX, mais n’ayant pas réussi à le faire marcher au bout de plusieurs jours, j’ai préféré changer d’idée et utiliser VNC.

$ sudo apt-get install vnc4server
$ vncserver
$ vncserver -kill :1

Ces lignes permettent d’installer, de lancer une session (il vous demandera de spécifier un mot de passe), puis de la fermer. Car par défaut, la session est mal configurée. Il faut donc modifier le fichier de démarrage pour avoir accès à XFCE (le gestionnaire de fenêtres).

$ vi .vnc/xstartup

A la fin, vous allez trouver la ligne suivante :

twm &

Remplacer là par ces lignes :

#twm &
exec startxfce4 &

Puis redémarrez le serveur (pour une raison obscure, j’ai du le faire).

Une fois le serveur redémarré, vous pouvez lancer le serveur vnc avec cette ligne de commande :

$ vncserver -geometry 1024x768

Le -geometry permet de spécifier la résolution que l’on veut.

Désormais, vous pouvez vous connecter depuis Windows, avec un outil comme TightVNC. Dans le champ “Serveur”, indiquez monServeur:1.

[Krystanos]

Parlons maintenant du partage de l’audiothèque. Les fichiers audio ont donc été copiés dans /home/media/media/Musique, qui est mappé sur /mm01/Musique.

On peut donc utiliser l’un ou l’autre des dossiers, mais pour des raisons évidentes de maintenance, il vaut mieux utiliser /home/media/media/Musique.

On installe donc Firefly (ex-mt-daapd) :

$ sudo apt-get install mt-daapd

Puis connectez-vous sur votre serveur avec un navigateur :

http://monServeur:3689

Vous arrivez sur la page de configuration de Firefly. Le login et le mot de passe sont “mt-daapd”. Pensez à les changer au premier usage.

Dans la configuration, dans le répertoire, mettez donc /home/media/media/Musique.

Sauvegardez, et c’est bon. Vous avez déjà une audiothèque accessible sur votre LAN, accessible via iTunes ou Amarok…

Dans iTunes, lancez le simplement, et la bibliothèque apparaîtra dans la liste des menus à gauche.

[Krystanos]

Certains fichiers ne peuvent être lus par votre MediaCenter ?

Pas de problème, le MediaServer peut aussi transcoder vos vidéos pour vous…

L’idée est que les utilisateurs déposent des vidéos à transcoder (pour l’instant, mp4, mpg, mov et flv) dans une arborescence, et toutes les nuits, l’ordi va les transcoder dans un format classique (xvid).

On utilise donc toujours notre compte media pour ça.

$ mkdir /mm01/Video/Transcode
$ mkdir /mm01/Video/Transcoded
$ cd /home/media/media/Video
$ ln -s /mm01/Video/Transcode
$ ln -s /mm01/Video/Transcoded

Il faut ensuite créer un partage Samba avec droit d’écriture, pour que les utilisateurs puissent déposer leurs vidéos. Voici le code à ajouter à smb.conf :

[AddMedia]
read only = no
comment = Fichier à transcoder
browseable = yes
path = /home/media/media/Video/Transcode
force user = media
valid users = user1,user2

Enfin, il suffit d’avoir ce script perl dans le répertoire de l’utilisateur media, appelons le /home/media/transcoder.pl :

CODE

#!/usr/bin/perl -w

if (scalar(@ARGV) != 2) {
    print "Usage : perl transcoder.pl <indir> <outdir>\n";
    exit 0;
}

# Répertoire à transcoder
$idir = $ARGV[0];
# Répertoire de destination
$odir = $ARGV[1];

# On se met dans le répertoire homedir
chdir;

# Définition des fichiers lock (pour éviter les transcodages en parallèle) et log
$lock = ".encoding.lock";
$log = "encoding.log";

# Fonction de transcodage d'un fichier
sub recompresser {
    my $iin = "\"$_[0]\"";
    my $iout = "\"$_[1]\"";

    my $com = "mencoder -really-quiet $iin -vf pp=lb -ovc xvid -xvidencopts fixed_quant=4:threads=2 -oac mp3lame -lameopts fast:preset=medium -o $iout";
    system ("date >> $log");
    print LOG "$com\n";
    system($com);
    system ("date >> $log");
}

# Fonction de transcodage d'une arborescence
sub traiter_dir {
    my $sdir = $_[0];

    opendir(DIR, "$idir/$sdir") || die "can't opendir $idir/$sdir : $!";
        my @files = readdir(DIR);
    @files = sort @files;
        closedir DIR;

    foreach my $file (@files) {

        #print "$file\n";

        if ($file =~ /^\./) {
            #print "On saute $file\n";
        } else {
            # Filtrage sur les extensions : mov, flv, mp4 et mpg
            if (
                $file =~ /\.([mM][oO][vV])$/ ||
                $file =~ /\.([fF][lL][vV])$/ ||
                $file =~ /\.([mM][pP]4)$/ ||
                $file =~ /\.([mM][pP][gG])$/
            ) {
                my $imin = "$idir/$sdir/$file";
                my $imout = $imin;
                $file =~ m/\.([a-zA-Z][a-zA-Z][a-zA-Z])$/;
                $imout =~ s/\.$1/\.avi/;
                $imout =~ s/$idir/$odir/;
                if (-e $imout) {
                    print LOG "$imout existe déjà\n";
                } else {
                    &recompresser($imin,$imout);
                }
            }
            if (-d "$idir/$sdir/$file") {
                my $ssdir = "$sdir/$file";
                my $mkdir = "mkdir -p \"$odir/$ssdir\"";
                print "$mkdir\n";
                system ($mkdir);
                &traiter_dir($ssdir);
            }
        }
    }

}

# Main

open LOG, ">>$log";

print LOG "\n\n####################################################\n";
system ("date >> $log");
print LOG "\n\n";

if (-e $lock) {

    print LOG "Un encoding tourne déjà, on arrête\n";

} else {

    system ("touch $lock");
    &traiter_dir("");
    system ("rm $lock");
}

system ("date >> $log");
print LOG "------------------------------------------------------";
close LOG;

Voilà, ce script prend un répertoire en entrée, et pour chaque dossier et chaque fichier, il recréé l’arborescence et transcode les vidéos.

Il reste à le mettre en tâche automatique, toutes les nuits à 3h00. Pour ça, on édite les tâches cron :

$ crontab -e

Il suffit d’ajouter la ligne suivante :

CODE

# m h  dom mon dow   command
  0 3   *   *   *    perl /home/media/transcoder.pl /home/media/media/Video/Transcode /home/media/media/Video/Transcoded

Sur mon xubuntu, c’est nano qui est utilisé comme éditeur. Donc ajoutez la ligne normalement, puis faites CTRL-X pour quitter. Il vous demandera de valider les modification, tapez O puis Entrée.

Cette commande vous permet de vous assurer que la tâche est bien ajoutée :

$ crontab -l

[Krystanos]

En résumé, pour l'instant, il reste à mettre en place :
- Le serveur de téléchargement, en cours, avec amuled et amuleweb. Pas encore regardé pour les torrent
- Le serveur de streaming audio/vidéo
- Le serveur UPnP, pas encore regardé non plus...
- Une batterie de script CGI pour faire du monitoring de la machine à distance (notamment espace disque restant)

[Krystanos]

Le serveur de téléchargement se divise en deux parties… Bittorrent et eDonkey/Kademlia.

Les fichiers seront stockés dans le homedir de l’utilisateur media :

$ mkdir Downloads
$ mkdir Downloads/Torrents
$ mkdir Downloads/eMule
$ chmod ugo+rwx Downloads/*
Serveur de téléchargement bittorrent

Il existe deux solutions, mais j’ai choisi clutch, qui utilise le moteur de Transmission, un client bittorrent que j’affectionne. L’installation est à la fois simple et complexe. Simple car tout est mâché, complexe car l’installation ne va pas jusqu’à configurer proprement le serveur web.

$ sudo apt-get install clutch

Voilà, clutch est installé, ainsi qu’apache. Mais apache n’est pas configuré pour faire tourner clutch, il faut donc le faire à la main.

$ sudo su
$ cd /etc/apache2
$ cd sites-available
$ vi clutch

Une fois dans vi, insérez ce texte

CODE

NameVirtualHost *
<VirtualHost *>
    Alias /clutch/ "/usr/share/clutch/www/"
    <Directory "/usr/share/clutch/www/">
        Options Indexes MultiViews FollowSymLinks
        AllowOverride None
        Order deny,allow
        Deny from all
        Allow from 127.0.0.0/255.0.0.0 ::1/128
    </Directory>
</VirtualHost>

Sauvegardez, puis

$ cd ../sites-enabled
$ ln -s ../sites-available/clutch 001-clutch
$ apache2ctl restart
$ exit

Voilà, vous pouvez accéder à clutch dans votre navigateur à l’adresse http://monServeur/clutch. Il ne restera plus qu’à configurer le répertoire de téléchargement, en allant dans les options (en bas à gauche), puis en mettant /home/media/Downloads/Torrents.

Je peine pour faire la même chose avec eDonkey/Kademlia (les outils sont pas efficaces), alors la seconde partie viendra plus tard...

[Krystanos]

Ça suit toujours ou je vous ai perdus ?

[Bysus]

Moi je suis mais ça me conforte dans l'idée qu'un NAS c'est 1000 fois plus simple, en plus d'être moins gros et de consommer moins.
Mais j'avoue que ce n'est pas aussi personalisable, évolutif, etc.
Bref on en revient toujours au même. Mais juste pour avoir une idée de ce qui est possible de faire et comment, en gros, le faire, je suis

[klaxon]

Je suis, je suis... J'ai hâte de voir la partie streaming !

[Krystanos]

Moi je suis mais ça me conforte dans l'idée qu'un NAS c'est 1000 fois plus simple, en plus d'être moins gros et de consommer moins.
Mais j'avoue que ce n'est pas aussi personalisable, évolutif, etc.
Bref on en revient toujours au même. Mais juste pour avoir une idée de ce qui est possible de faire et comment, en gros, le faire, je suis

Pour avoir suivi certains sujets, c'est beaucoup plus galère de faire la même chose sur un NAS, car moins de supports, logiciels portés par la communauté, et donc pas super stables. Et logiciels fournis par défaut complètement moisis ^^

Mais comme tu dis, c'est plus simple, mais beaucoup moins évolutif / personnalisable... Je ne mets pas tout ici, car j'ai pas mal de choses ultra spécifiques à mon usage, intensif de certains logiciels par exemple.

Et pour transcoder tes vidéos de manière auto sur un NAS...

Enfin, le recyclage, ça coûte zéro, alors qu'un NAS, un bon, ça coûte très cher...

Je suis, je suis... J'ai hâte de voir la partie streaming !

Ah merde, je pensais remettre ça à plus tard, avec l'UPnP

[klaxon]

Tu as prévu quelque chose pour les podcasts ?
J'utilise Bashpodder et c'est très pratique !

[Krystanos]

Tu as prévu quelque chose pour les podcasts ?
J'utilise Bashpodder et c'est très pratique !

Ah non, rien pour les podcasts...

[Bysus]

Moi j'ai rien à recycler à part des vraiment très vieux pc qui font beaucoup de bruit et sont tous gros et moches. Je vais pas investir là dedans et les logiciels par défaut complètement moisis, j'ai peur que ce soit là l'avis de quelqu'un qui n'en a pas utilisé. M'enfin on va pas rentrer à nouveau dans le débat

[Krystanos]

les logiciels par défaut complètement moisis, j'ai peur que ce soit là l'avis de quelqu'un qui n'en a pas utilisé.

Au contraire...

[Krystanos]

Voici quelques scripts de contrôle de la machine.

Le premier script sert à avoir des informations sur l’état du serveur. Il s’agit d’un script CGI écris en Perl. Voici le contenu. ATTENTION ! Il faut l’écrire dans un fichier UTF-8, sinon ça ne marche pas :

CODE

#!/usr/bin/perl -w

use strict;
use CGI;
use CGI::Carp qw(fatalsToBrowser);

sub print_df {
    print "<p><pre>";
    my $com = "df -h";
    open COM, "$com|";
    my @lines = <COM>;
    close COM;

    my $text = "";

    foreach my $line (@lines) {
        if ($line =~ m/^\/dev\//) {
            $text = "$text$line";
        }
    }


    print "$text";
    print "</pre></p>";
}

sub print_com {
    print "<p><pre>";
    my $com = $_[0];
    open COM, "$com|";
    my @lines = <COM>;
    close COM;

    my $text = "";

    foreach my $line (@lines) {
        $text = "$text$line";
    }

    print "$text";
    print "</pre></p>";
}

my $cgi = new CGI;
print $cgi->header('Content-type: text/html; charset=utf-8');

print "<html>";
print "<head>";
print "<meta http-equiv=\"Content-type\" content=\"text/html; charset=utf-8\" />";
print "</head>";

print "<body>";

print "<h1>Espace disque</h1>";
&print_df();

print "<h1>Consommation mémoire</h1>";
&print_com("free");

print "<h1>Homedir</h1>";
&print_com("du -sh /home/*");

print "<h1>Vidéos</h1>";
&print_com("du -shL /home/media/media/Video/*");
&print_com("du -shL /home/media/media/Video");

print "<h1>Musique</h1>";
&print_com("du -shL /home/media/media/Musique/*");
&print_com("du -shL /home/media/media/Musique");

print "<h1>Téléchargements</h1>";
&print_com("du -shL /home/media/Downloads/*");
&print_com("du -shL /home/media/Downloads");

print "</body></html>";

Ce script, appelons le “control.pl” est à copier dans le répertoire d’exécution des scripts CGI :

$ sudo cp control.pl /usr/lib/cgi-bin/
$ sudo chmod ugo+x /usr/lib/cgi-bin/control.pl

Ensuite, il suffit d’aller à cette adresse pour voir le résultat :

http://monServeur/cgi-bin/control.pl

ATTENTION, c’est l’installation de Clutch qui permet d’avoir le logiciel nécessaire pour exécuter le script via un navigateur (Apache httpd). Donc si vous n’avez pas installé Clutch, il suffit d’installer httpd…

[Psykokwak]

Concernant les serveurs multimédia, je viens d'acheter le mien.
- Aopen MP45-DR
- CPU P8600
- 4Go DDR2 PC6400
- HDD 2.5" 500Go
- Vista Ultimate

Utilisation en tant que serveur FTP, media center full HD et serveur de video surveillance.

Simple, petit, efficace

[Krystanos]

Je le trouve un peu cher, et c'est dommage de mélanger serveur et center, mais sinon il est pas mal pour quelqu'un qui veut se faire une nouvelle config de media center
Vista Ultimate... Et ben, tu te fais plaisir mon cochon, tu le trouve où tout cet argent ?

Par contre, au niveau config associée, je trouve que c'est donner de la confiture aux cochons... Un mediacenter n'a pas besoin de 4 Go et d'un processeur de la mort qui tue sa mère et la mange ensuite...

[Psykokwak]

Étant donné qu'il va me servir de média center et de serveur en même temps, je blinde la configuration (le tout pour moins de 90W en full).
Le chipset (Intel G45) se charge de décoder en hard la HD laissant le CPU bosser sur autre chose (vidéo surveillance, ...).
Le prix : 800€ environ.

Pour le serveur de vidéo surveillance, c'est du fait maison : http://www.psykokwak.com/blog/index.php/20...g-webcam-server (mais il n'implémente pas encore toutes les fonctionnalités)