Design and implementation of a distributed back-up system
Conception et implémentation d'un système de sauvegarde distribué
Résumé
As computer users, we create increasing amounts of data, such as digital documents, pictures, and videos. Because these data have high value in our daily life the need for back-ups arises. The creation of local back-ups, e.g. on external hard drives, is a common approach, but is insufficient in the event of natural disasters or theft. In this thesis, we provide a proof of concept for a distributed back-up system that induces only low overhead, and respects user needs to easily recover a state of a file system in a snapshot-based manner. We store distributed back-ups on residential gateways and use a central tracker as coordinator. We introduce index files in order to map the full state of a file system to a single data structure. We divide the system into swarms of flexible size so that accessing data and monitoring is easy. Files are handled differently depending of their size in order to increase the system performance and reduce resource requirements. All files and their metadata are encrypted before being uploaded, so that data confidentiality is ensured. We use state-of-the-art technologies in order to design a tracker that is scalable, fault-tolerant, and is replaceable in case it entirely leaves the system. The load of the tracker only depends on the number of participants, not on the amount of data stored in the network. The system allows configuring a time span within which a user needs to recover his data in case of local data loss. We analyze this approach by using real world connectivity traces of residential gateways and show that it results in low resource demands. Together with simulations on these traces, we underline the feasibility of our service.
En tant qu'utilisateurs d'ordinateurs, nous générons des données en quantité de plus en plus abondante. Leur importance dans notre vie quotidienne est telle qu'une méthode de sauvegarde s'avère nécessaire. La création de sauvegardes locales est une approche commune, mais insuffisante en cas de vol ou de destruction. Dans cette thèse, nous concevons un système de sauvegarde distribué qui permet de restaurer l'état d'un système de fichiers de manière simple, grâce à la constitution d'instantanés. Nous stockons ces instantanés sur les passerelles résidentielles et utilisons un tracker centralisé pour les coordonner. Nous présentons le concept de fichiers d'indexes qui permet la correspondance entre l'état complet d'un système de fichiers et une structure de donnée. Nous divisons notre système en swarms, rendant l'accès aux données, et son suivi, simple. Les fichiers à sauvegarder sont traités différemment suivant leurs tailles, afin d'améliorer la performance globale du système, et de réduire les ressources nécessaires. Tous les fichiers, ainsi que leurs méta-données, sont chiffrés avant d'être téléchargés afin de garantir leur confidentialité. De plus, nous utilisons les techniques de l'état de l'art afin de rendre le tracker résistant aux pannes, et de pouvoir le remplacer s'il quitte le système. La charge sur le tracker ne dépend que du nombre de participants, et donc pas de la quantité de données stockée. Nous évaluons le système sur base de traces provenant de passerelles résidentielles réelles, avec lesquelles nous démontrons un faible impact global sur les ressources. En leur adjoignant des simulations, nous prouvons la faisabilité de notre service.
Origine : Version validée par le jury (STAR)
Loading...