时间:2021-07-15 | 标签: | 作者:Q8 | 来源:阿里云网络
小提示:您能找到这篇{利用rsync和云存储网关备份文件到阿里云对象存储}绝对不是偶然,我们能帮您找到潜在客户,解决您的困扰。如果您对本页介绍的利用rsync和云存储网关备份文件到阿里云对象存储内容感兴趣,有相关需求意向欢迎拨打我们的服务热线,或留言咨询,我们将第一时间联系您! |
背景 随着数字化在我们日常生活中越来越高的比重,各行各业不可避免的产生越来越多的数据。对于日益增多的数据,我们都有着备份的需求。如果有一套方案能够提供无限的存储空间,可以存储所有主机上的数据的备份,那么我们就再也无需担心数据的增长了。阿里云对象存储是一种海量、安全、低成本、高可靠的云存储服务,能够完美契合我们的需求。而且通过将数据备份放在云端,本地就不再需要预留任何存储空间给备份,可以大大提高本地存储空间的利用效率。 如果我们想将数据从当前主机定期备份到阿里云对象存储,有没有什么好的方法呢?我们可以利用rsync命令,rsync是linux下面的一个非常强大和高效的工具,可以在指定的源目录和目标目录之间进行数据的同步,并且能够实现增量备份。不过它的源端和目标端都是目录,而阿里云对象存储的访问协议是RESTFUL的接口,没有办法直接通过文件的协议进行访问。这时候就需要用到云存储网关了,云存储网关能够将RESTFUL的对象访问协议转换为传统的NFS/SMB文件访问协议,大大降低应用对于对象存储的适配。而且通过云存储网关提供的文件接口进行备份,源端文件的uid/gid之类的文件属性在备份到OSS之后也不会丢失。接下来我们通过具体的实践来展示整个数据备份的过程。 配置实践 我们本地有一个/working的目录,我们需要将这个目录里面的数据备份到OSS存储桶里面的/rsync/目录里面。 [root@hz1 working]# ls dir1 dir2 dir3 [root@hz1 working]# pwd /working 我们首先创建了一个云存储网关并创建了一个NFS共享。如果不熟悉云存储网关,可以参考如何在Linux上挂载OSS Bucket,里面详细描述了创建网关NFS共享以及挂载的过程。下面就是我们创建的NFS共享,这里NFS共享的数据最终会存储在OSS Bucket里面的rsync子目录里面。 在我们的主机上,云存储网关的NFS共享的挂载点位于/oss,刚开始里面什么数据都没有。 [root@hz1 /]# mount 172.16.0.241:/test-rsync /oss [root@hz1 /]# ls /oss [root@hz1 /]# 现在源端目录和目的端目录都已经有了,接下来就该使用rsync进行数据备份了。rsync功能很强大,但是使用起来却非常简单。通过下面的命令我们就可以进行备份了。-r选项表示对源目录进行递归操作。-a选项表明备份的时候保留文件uid/gid/owner/mtime等基本的文件属性,其中mtime属性会被用来后续判断增量。以/working或者/working/方式指定源目录决定了目标目录里面是否包含working这个文件夹。下面的示例是不会在目的端生成working目录的。 [root@hz1 ——]# rsync /working/ /oss -rav sending in微商如何引流别人主动加你creme深圳全网营销公司ntal file list working/dir3/ working/dir3/new_abc sent 1,557 bytes received 46 bytes 1,068.67 bytes/sec total size is 400 speedup is 0.25 执行完上面的命令之后,我们看到/oss目录下面已经包含了源目录里面的那些文件了。 [root@hz1 ——]# ls /oss dir1 dir2 dir3 new_file 那么这些文件有没有同步到OSS里面呢,我们打开阿里云OSS控制台浏览相应的目录,可以看见这些文件无一例外的都已经被上传到了对应的存储桶里面。 总结 我们前面展示了如何利用rsync将文件备份到阿里云对象存储里面。不过在实际的使用推广品牌推广中,还有一些需要关注的地方,结合下面几点相信能满足绝大多数用户的需求了,有需要的小伙伴感觉来尝试一下吧。 前面只是展示了单次的备份过程,如果想要定期备份怎么办呢?答案很简单,通过Linux Crontab定时任务就可以实现啦,网上相关的教程很多,这里就不做展开了。 rsync是单线程工作的,所以如果碰到数据的备份速度不能满足需求的时候,可以通过起多个rsync进程的方式来提升同步的速度,可以让不同的rsync进程处理不同的目录。 rsync通过扫描所有源端文件和目标端文件来比对从而发现增量。如果源端文件非常多,比如达到亿级别或者更多,扫描本身会产生非常大的负担。所以如果结合用户自身的业务能够直接导出增量文件或者目录,然后指定rsync只负责处理这部分增量文件,那么势必能大大减少备份的时间。 |
上一篇:阿里云三种存储产品该怎么选择?
下一篇:华为云DevOps敏捷60问,一定有你想了解的问题
基于对传统行业渠道的理解,对互联网行业的渠道我们可以下这样一个定义:一切...
小米应用商店的后台操作和苹果是比较相似的,因为都能填写100字符关键词,允许...
小米的规则目前是在变更中的,但是根据经验小米的搜索排名评分的高低是个很重...
为了恰饭,有时候是要接入一些广告的,所以FB也专门有一个广告的SDK,这就是A...
在 2018 年于旧金山举行的游戏开发者大会上,Amazon Web Services (AWS) 曾宣布,目前世...
关于Facebook Audience Network如何收款的问题,其实官方已经给了详细的步骤。本文主要...
本文介绍了Audience Network对广告载体的质量检查,以及它重点广告形式需要注意的问...
随着iOS开发,作为开发者或公司需要针对iOS App开发涉及的方方面面作出对应的信息...
Facebook和谷歌对出海企业广告渠道都很熟悉,但事实上,在国外还有一些渠道也很...
卖家从做号的第1分钟开始,就一定要想好变现路径是什么?一定要以变现为目的去...
小提示:您应该对本页介绍的“利用rsync和云存储网关备份文件到阿里云对象存储”相关内容感兴趣,若您有相关需求欢迎拨打我们的服务热线或留言咨询,我们尽快与您联系沟通利用rsync和云存储网关备份文件到阿里云对象存储的相关事宜。
关键词:利用rsync和云存储网关备份