论文>计算机论文>高容错性分布式文件系统EvoDFS的设计与实现

高容错性分布式文件系统EvoDFS的设计与实现

  
编号:99-583699 | docx 格式 | 2.50M | 48 页
高容错性分布式文件系统EvoDFS的设计与实现

2.3万字 48页 原创作品,通过查重系统

摘要
随着互联网技术的飞速发展,产生了大量的数据。海量数据如何高效的存储和访问成为新的挑战,随着文件数量和访问量的迅速增加,传统的文件系统已成为制约互联网应用的瓶颈所在。分布式文件系统有效地解决了海量存储和高并发访问的问题,已成功地为许多应用提供数据存储服务。
本文分析了当前众多的分布式文件系统,重点分析了HDFS和TFS。HDFS适用于存储大文件的场景,而TFS则适用于存储小文件的场景,HDFS和TFS的元数据服务器都由单一结点组成,具有单点失效问题。本文在对分布式文件系统的相关技术进行充分研究的基础上,设计并实现了分布式文件系统EvoDFS。
本文所做的主要工作包括以下几个方面:
1. 设计了EvoDFS的架构。EvoDFS采用纯分布式架构,采用多个元数据服务器和多个数据服务器,元数据服务器和数据服务器数量均可任意扩展。元数据和文件数据都分布存储,采用副本机制提高系统容错性,不存在单点失效,解决了HDFS和TFS等现有分布式文件系统的单点失效问题,大大提高了并发性。
2. 对实现EvoDFS的关键技术进行了研究。EvoDFS采用副本机制和定时检查机制提高系统容错性,使用加锁机制和版本号机制维护系统一致性。元数据管理充分结合了集中式管理和分布式管理的优点。系统采用树形目录结构,使用口令认证方式对用户进行认证,严格区分用户空间。
3. 按照EvoDFS的设计方案和技术选型,实现了EvoDFS。EvoDFS具有高容错性、高并发性、高可伸缩性、高安全性等良好的特性,对大文件和小文件的存储和访问都具有很好的性能,改进了HDFS和TFS等只适用于大文件或小文件的局限,并且EvoDFS采用C++语言实现,相比HDFS具有更高的执行效率。
4. 基于EvoDFS,开发了一套类似百度云盘的应用——臻融存储管家。系统分为客户端和管理端。客户端类似百度云管家,给用户提供文件操作界面。管理端提供存储服务和系统监控界面。
5. 对EvoDFS进行了性能测试。基于臻融存储管家系统对EvoDFS进行性能测试,测试结果表明EvoDFS对文件读写具有较好的性能,并且能够很好的兼容大文件和小文件的存储。


关键词:EvoDFS;分布式文件系统;海量数据存储
  
关于我们 联系我们 帮助中心 支付方式  侵权处理 免责声明 友情链接 网站地图
  蜀ICP备11006018-1