Amazon s3 migration
muqaddar
Administrateur
Salut,
Suite à cette discussion, j'ai installé s3 sur mon application et ça marche super bien (upload, download, sync, création des dossiers (prefixes)).
Mon problème est de migrer 200000 dossiers et images de mon serveur Linux (CentOS) vers s3. Le tout, en le moins de temps possible (serveur en maintenance), le temps de passer au nouveau système basé sur s3.
J'ai fait 15000 recherches, il y a quelques outils mais rien de simple (installation de scripts, d'openSSL...). D'autant plus que s3 ne supporte pas SSH pour un rsync, ni la décompression d'archives qui pourraient être uploadées en FTP.
Bref, je suis preneur de la solution la plus simple et rapide, mais je ne crois pas que ça existe.
Suite à cette discussion, j'ai installé s3 sur mon application et ça marche super bien (upload, download, sync, création des dossiers (prefixes)).
Mon problème est de migrer 200000 dossiers et images de mon serveur Linux (CentOS) vers s3. Le tout, en le moins de temps possible (serveur en maintenance), le temps de passer au nouveau système basé sur s3.
J'ai fait 15000 recherches, il y a quelques outils mais rien de simple (installation de scripts, d'openSSL...). D'autant plus que s3 ne supporte pas SSH pour un rsync, ni la décompression d'archives qui pourraient être uploadées en FTP.
Bref, je suis preneur de la solution la plus simple et rapide, mais je ne crois pas que ça existe.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
http://s3sync.net/wiki
C'est un script ruby qui se configure facilement.
Migration effectuée de 700000 noeuds et 35000 fichiers en 18 heures...
Quelles sont les garanties.
Mon hébergeur a des sauvegardes rotatives sur 7 jours. Quid d'Amazon ?
En pratique, je connais quelqu'un qui a perdu 15 jours de sauvegardes de ses clients l'an dernier à cause d'une inondation (il me semble) sur le site irlandais.
Bref, c'est peut-être costaud au niveau logiciel, mais au niveau logistique j'ai des doutes, même s'ils ont entrepris des corrections depuis. Ceci dit, c'est vrai pour tous les clouds avec la redondance sur le même site.