[00267242]一种基于HDFS的小文件处理方法
交易价格：
面议
所属行业：
网络
类型：
发明专利
技术成熟度：
正在研发
专利所属地：中国
专利号：CN201410362604.0
交易方式：
技术转让
技术转让
技术入股
联系人：
四川大学
进入空间
所在地：四川成都市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明公开了一种基于HDFS的小文件处理方法，属于网络存储领域。该方法是将小文件在客户端进行合并，然后将合并文件上传到HDFS，从而减少名称节点的内存损耗；在HDFS集群中新增了一台MetaData服务器，用于缓存小文件与合并文件之间的映射关系，从而减轻名称节点的访问压力；存储在数据节点的合并文件除了包含小文件的数据内容，还包括了小文件在合并文件内部的位置信息和原始路径，客户端则可以直接查询数据块的头部信息，获取小文件的元数据并下载小文件的数据内容，从而减少了访问名称节点的次数。本发明解决了HDFS小文件处理效率低的问题，应用前景广阔，主要适合应用在以文件上传和下载为主要业务的HDFS存储系统中。
本发明公开了一种基于HDFS的小文件处理方法，属于网络存储领域。该方法是将小文件在客户端进行合并，然后将合并文件上传到HDFS，从而减少名称节点的内存损耗；在HDFS集群中新增了一台MetaData服务器，用于缓存小文件与合并文件之间的映射关系，从而减轻名称节点的访问压力；存储在数据节点的合并文件除了包含小文件的数据内容，还包括了小文件在合并文件内部的位置信息和原始路径，客户端则可以直接查询数据块的头部信息，获取小文件的元数据并下载小文件的数据内容，从而减少了访问名称节点的次数。本发明解决了HDFS小文件处理效率低的问题，应用前景广阔，主要适合应用在以文件上传和下载为主要业务的HDFS存储系统中。
