Qui a deja utilise CLIC (linux) ?

  • Auteur de la discussion Chorus
  • Date de début

Chorus

Habitué
Qui a deja utilise CLIC (linux) ?
Les choses a savoir ?
avent de demarrer ?
 

duglambier

Expert
[citation=789,1][nom]Chorus a écrit[/nom]Personne ?


[/citation]

Connais pas :hello:
 

Chorus

Habitué
[citation=790,1][nom]duglambier a écrit[/nom]

Connais pas :hello:
[/citation]

CLIC c'est la realisation de clusteur de calcul !
 

Chorus

Habitué
[citation=807,1][nom]Siegone a écrit[/nom]tu as un lien qui présente la chose ?
[/citation]

http://clic.mandrakesoft.com/



si non le mag "LOGIN" actuel

 

Chorus

Habitué
Personne ?!

...........................

Je vais donc devoire essuier les erreurs et même les plus bete, car c'est la 1ere fois que je vais tester cela, je connais un peut la théorie mais pas la pratique des cluster de calcul !
 

cyplp

Habitué
tu teste ca pourquoi ?
sur quelle machine ? dans quel cadre ?

question de simple curiosité ...
 

Chorus

Habitué
[citation=845,1][nom]cyplp a écrit[/nom]tu teste ca pourquoi ?
sur quelle machine ? dans quel cadre ?

question de simple curiosité ...
[/citation]

j'ai test pour le moment "il me manque des dd avec une taill suffisant"

mais je vais tester "et simplement pour test, sur 2 P200mmx, 256 Mo,"

le carde du test c'est une partie de curiosité, et de passe de la théorie a la pratique !"

et avoir un clusteur de calcule c'est mieux que dovercloking d'une machine ! et x plus puissant

 

mmoouuaa

Nouveau membre
[citation=864,1][nom]Chorus a écrit[/nom]

mais je vais tester "et simplement pour test, sur 2 P200mmx, 256 Mo,"

le carde du test c'est une partie de curiosité, et de passe de la théorie a la pratique !"

et avoir un clusteur de calcule c'est mieux que dovercloking d'une machine ! et x plus puissant


[/citation]
Il faut quand meme que tes softs soient orientees cluster sinon ca ne sert a rien.
 

Chorus

Habitué
[citation=867,1][nom]mmoouuaa a écrit[/nom]
Il faut quand meme que tes softs soient orientees cluster sinon ca ne sert a rien.
[/citation]

Oui, c'est je ne l'avais pas dit !

par contre ce que je sais pas c'est si même soft non orientees est utilisé il n'y a pas une amélioration du traitement (bien évidament pas enorme mais une amélioration quand) ?

 

GNUJak

Habitué
Non, non, non, non, non ... Par défaut, un cluster de calcul répartit les calculs sur différentes machines de sorte à effectuer, si possible, des traitements en parallèle. Mais il faut que les applis soient prévues pour ça. Voir les bibliothèques PVM et MPI par exemple.

De façon plus évoluée, si le noyau gère la migration de processus (voir le patch OpenMosix pour le noyau Linux), une fois le cluster configuré, les programmes voient le cluster comme une machine multiprocesseur, il suffit donc d'avoir des programmes prévus pour fonctionner en SMP, ce qui n'est pas toujours le cas. L'avantage, c'est qu'il n'y a pas besoin d'avoir recours à PVM ou MPI pour améliorer les performances.

Autre solution, à gérer selon le traitement à faire : la parallélisation à la main si le traitement s'y prête. Par exemple, le codage d'un DVD en XviD/DivX/etc. J'ai écrit des scripts qui permettent de le faire, bien que les outils que j'utilise (transcode, oggenc et mencoder) ne supporte pas le SMP. L'idée, c'est que sur un DVD, on peut extraire chapitre par chapitre, et chaque chapitre peut être codé à peu près indépendament des autres. Sur 3 machines, chacune s'occupe d'abord de coder les pistes sons de chaque chapitre, puis d'effectuer les passes pour le codage vidéo (je fais ça en 3 passes, voir le script tuxrip sur tuxrip.free.fr pour la méthode de codage). Les fichiers .VOB extraits du DVD sont sur un espace partagé en NFS par les différentes machines, les scripts vérifient la présence de fichiers de verrouillage pour savoir quel fichier n'est pas encore traité.
En fait, sur chaque machine, il y a un script de codage, et une des machines a un script générique qui s'occupe de lancer les scripts de codage (en local ou au travers d'une commande ssh).
À la fin, chaque bout de film codé est assemblé par le script initial qui attend pour former la vidéo finale.

Bon, c'est un exemple, et en pratique, il y a quelque temps que je n'y ai plus touché, car il y a quelque problème de synchronisation de temps en temps lors de l'assemblage final (ogmcat, des ogmtools, n'est pas très au point. Chaque morceau du film est correctement synchronisé indépendament, mais pas la vidéo finale).
 

Chorus

Habitué
[citation=930,1][nom]GNUJak a écrit[/nom]Non, non, non, non, non ... Par défaut, un cluster de calcul répartit les calculs sur différentes machines de sorte à effectuer, si possible, des traitements en parallèle. Mais il faut que les applis soient prévues pour ça. Voir les bibliothèques PVM et MPI par exemple.

De façon plus évoluée, si le noyau gère la migration de processus (voir le patch OpenMosix pour le noyau Linux), une fois le cluster configuré, les programmes voient le cluster comme une machine multiprocesseur, il suffit donc d'avoir des programmes prévus pour fonctionner en SMP, ce qui n'est pas toujours le cas. L'avantage, c'est qu'il n'y a pas besoin d'avoir recours à PVM ou MPI pour améliorer les performances.

Merci pour ton info si tu peut me dit + tu peut


Autre solution, à gérer selon le traitement à faire : la parallélisation à la main si le traitement s'y prête. Par exemple, le codage d'un DVD en XviD/DivX/etc. J'ai écrit des scripts qui permettent de le faire, bien que les outils que j'utilise (transcode, oggenc et mencoder) ne supporte pas le SMP. L'idée, c'est que sur un DVD, on peut extraire chapitre par chapitre, et chaque chapitre peut être codé à peu près indépendament des autres. Sur 3 machines, chacune s'occupe d'abord de coder les pistes sons de chaque chapitre, puis d'effectuer les passes pour le codage vidéo (je fais ça en 3 passes, voir le script tuxrip sur tuxrip.free.fr pour la méthode de codage). Les fichiers .VOB extraits du DVD sont sur un espace partagé en NFS par les différentes machines, les scripts vérifient la présence de fichiers de verrouillage pour savoir quel fichier n'est pas encore traité.
En fait, sur chaque machine, il y a un script de codage, et une des machines a un script générique qui s'occupe de lancer les scripts de codage (en local ou au travers d'une commande ssh).
À la fin, chaque bout de film codé est assemblé par le script initial qui attend pour former la vidéo finale.

Bon, c'est un exemple, et en pratique, il y a quelque temps que je n'y ai plus touché, car il y a quelque problème de synchronisation de temps en temps lors de l'assemblage final (ogmcat, des ogmtools, n'est pas très au point. Chaque morceau du film est correctement synchronisé indépendament, mais pas la vidéo finale).
[/citation]
 

GNUJak

Habitué
C'est difficile à lire, les commentaires écrits dans la citation :)

Sinon, la première question à se poser, c'est que faire d'un cluster de calcul ? Bah oui, comment et avec quoi le faire fonctionner. Éventuellement, PVMPoV, mais sinon, je pense qu'OpenMosix permet de faire pas mal de trucs.


La FAQ est pas mal.


Après, il faut voir si il y a un réel intérêt à utiliser un cluster OpenMosix, mais juste pour apprendre, c'est quand même intéressant.
 

Chorus

Habitué
[citation=932,1][nom]GNUJak a écrit[/nom]C'est difficile à lire, les commentaires écrits dans la citation :)

Sinon, la première question à se poser, c'est que faire d'un cluster de calcul ? Bah oui, comment et avec quoi le faire fonctionner. Éventuellement, PVMPoV, mais sinon, je pense qu'OpenMosix permet de faire pas mal de trucs.


La FAQ est pas mal.


Après, il faut voir si il y a un réel intérêt à utiliser un cluster OpenMosix, mais juste pour apprendre, c'est quand même intéressant.
[/citation]

c'est cela même !
voir comment cela tourne dans un premier temps !

et c'est la raison de sujet !

si non autre question (dont j'ai peur de la réponse ) car je me doute de la reponse, mais on ne sais jamais )

j'ai 2 pc P200MMx mais la CM n'est pas identique cela vat 'il fonctioner quand même ?

(toujours pas installer a ce jour, je veus le max d'info avent !, car comme beaucoup j'ai pas envie de perdre du temps a chercher un truc bete et que quelqu'un a déja la solution)

:merci:


 

GNUJak

Habitué
[citation=934,1][nom]Chorus a écrit[/nom]

c'est cela même !
voir comment cela tourne dans un premier temps !

et c'est la raison de sujet !

si non autre question (dont j'ai peur de la réponse ) car je me doute de la reponse, mais on ne sais jamais )

j'ai 2 pc P200MMx mais la CM n'est pas identique cela vat 'il fonctioner quand même ?

(toujours pas installer a ce jour, je veus le max d'info avent !, car comme beaucoup j'ai pas envie de perdre du temps a chercher un truc bete et que quelqu'un a déja la solution)

:merci: [/citation]C'est expliqué dans la FAQ. Pour l'instant, ça ne marche qu'avec des x86, mais peu importe que ce soit des 486 ou des Athlons. Le noyau doit être identique sur chaque noeud, mais il peut être compilé spécifiquement pour chacun. On peut par exemple imaginer d'avoir des systèmes SMP faisant partie du cluster aux côtés de systèmes mono-processeurs, ce n'est pas un problème.
Cela dit, un point qui n'est pas abordé, en effet, c'est de savoir ce qui se passe si un programme compilé pour utiliser par exemple du 3DNow! vient à migrer sur un Pentium II. Il est probable que ce cas soit géré, mais ça serait à vérifier.
 

Chorus

Habitué
[citation=1039,1][nom]Cyrano a écrit[/nom]Transcode est écrit pour faire du clustering sans mosix.
[/citation]

Qui est Transcode ?
 

GNUJak

Habitué
[citation=1039,1][nom]Cyrano a écrit[/nom]Transcode est écrit pour faire du clustering sans mosix.
[/citation]C'est ce que j'explique plus haut. Pour se simplifier la tâche, utiliser DVD::Rip.
 
Vous devez vous inscrire ou vous connecter pour répondre ici.
Derniers messages publiés
Statistiques globales
Discussions
730 156
Messages
6 718 498
Membres
1 586 438
Dernier membre
sentenza696
Partager cette page
Haut