腾讯云CHDFS安全便捷的大数据访问体验

小提示：您能找到这篇{腾讯云CHDFS安全便捷的大数据访问体验}绝对不是偶然，我们能帮您找到潜在客户，解决您的困扰。如果您对本页介绍的腾讯云CHDFS安全便捷的大数据访问体验内容感兴趣，有相关需求意向欢迎拨打我们的服务热线，或留言咨询，我们将第一时间联系您！

< ">

< ">一、背景

< ">云HDFS（Cloud HDFS，CHDFS）是腾讯云提供的支持标准HDFS访问协议、卓越性能、分层命名空间的分布式文件系统。

< ">CHDFS主要解决大数据场景下海量数据存储和数据分析，能够为大数据用户在无需更改现有代码的基础上，将本地自建的HDFS文件系统无缝迁移至具备高可用性、高扩展性、低成本、可靠和安全的CHDFS上。以此实现存算分离，实现计算节点可动态的扩缩容。

< ">因此CHDFS主要的用户群体是大数据体系的研发人员，为了满足用户在传统的Hadoop环境下的使用习惯，同时满足用户的权限需求，CHDFS通过以下措施，提供了安全便捷的大数据访问体验。

< ">二、来源管控公关是什么是

< ">存算分离带来了存储的云端托管，使计算节点不再依赖本地的存储，但同时也带来了存储时延的增加，因此存算分离更适合于同地域同机房的访问。CHDFS在设计之初，就假定用户的大数据集群运行在腾讯云的VPC网络(包括CVM和黑石)。

< ">因此用户只用通过以下三步，即可限制来源:

< ">1、新建权限组，并在权限组中指定VPC(必须本账户下的VPC)。

< ">2、在权限组里面添加规则，授予VPC网段里的某一个子网段的只读或者读写权限。同一个权限组中的多条规则，根据优先级来确定权限。

< ">3、在文件系统的挂载点中绑定权限组，一个文件系统可以绑定多个权限组，请求满足任何一个权限组的规则，即获得相应的访问权限。

< ">三、POSIX权限与超级用户

< ">CHDFS兼容HDFS的POSIX的权限规则，该权限规则和Linux文件系统的的规则类似。即每一层的目录和文件都有User，Group与Other权限(rwx)。整个权限规则可简述如下:

< ">1、用户执行Hadoop命令行或者运行某个大数据JOB

< ">2、Job运行中需要访问CHDFS的某个路径,即以执行进程的用户身份与组身份访问CHDFS的某个路径。

< ">3、CHDFS从根据访问的路径，从根目录开始，层层检查。如果用户名匹配文件或者目录的用户名，则拥有文件和目录的User权限，如果用户组名匹配，则拥有Group权限，否则只拥有Other权限。

< ">4、对于目录要进入下一层，必须拥有X权限，对于目录下创建删除文件必须拥有W权限，对于列出目录下的文件，必须有R权限。

< ">5、对于读取文件，必须要有R权限，对于修改文件必须有W权限。

< ">对于普通用户，使用以上的权限规则进行校验，但同时CHDFS也支持了超级用户，超级用户拥有对文件目录的一切操作权限，适用于配置管理员。

< ">POSIX的权限开关与超级用户的设置，可以在新建文件系统时，或者在后续在文件系统属性下编辑。

< ">四、接入Hadoop Ranger权限体系

< ">Hadoop Ranger作为一站式的权限体系解决方案，不仅支持存储端权限管控，还支持YARN，Hive等组件权限管控。因此，为了维持客户的使用习惯，我们提供了CHDF医药销售那些事S的Ranger接入解决方案，方便客户使用Ranger来进行CHDFS的权限管控。CHDFS接入Ranger权限体系的架构如下所示

< ">我们在Ranger Admin控制中心，注册CHDFS服务的相关信息，并配置CHDFS的服务后，即可配置CHDFS的相关权限policy，如下所示。

< ">CHDFS插件端开启进行ranger鉴权后，即会把所有访问CHDFS的请求转发给COS Ranger Service进行鉴权，COS Ranger Service根据从Ranger Admin拉取policy，进行权限检查。有关CHDFS接入Ranger权限的配置说明，请参考CHDFS控制台文档。

< ">五、总结

< ">CHDFS作为云端托管的大数据存储，从设计之初，就充分考虑了HDFS用户的使用习惯。通过提供限制来源VPC、IP网段、POSIX鉴权、超级用户等特性，并支抖音美妆品牌运营持接入Hadoop Ranger权限体系。方便客户的同时，也充分的保证了安全性与灵活性。