数据赋能,如何用华为云DLI精细化保障企业大数据安全

  • 时间:
  • 浏览:6
  • 来源:幸运快3_快3神彩_幸运快3神彩

2019-01-200 16:08   企媒在线     

我想评论(

)

字号:T|T

随着企业业务的不断发展,企业大数据资产在企业辅助决策、用户画像、推荐系统等诸多业务流程中扮演着不都可不可不能否 重要的作用,要怎样保证企业大数据在满足各业务部门数据访问需求的共同又能精细化保障数据访问安全、解决数据泄露是每个企业大数据资产管理者时要关注话语题。

结合在华为云数据湖探索服务(DLI)中的技术沉淀与丰富的企业数据安全管理经验,本文从以下几点来探讨要怎样精细化保障企业大数据安全。

1、企业大数据的安全挑战;2、数据资产权限管理的通用做法;3、以华为云数据湖探索服务(DLI)为例,对数据资产管理的实践&案例分析;4、未来展望。

企业大数据的安全挑战

企业大数据日积月累,自然面临着大数据安全的挑战:数据来源广泛,来源于不同的业务单元,又要服务于各种业务单元,还时要对不同层级的员工设置不一样的权限。要怎样防范企业数据不被未经授权的用户访问,管理数据在不同业务单元的共享,隔离企业敏感数据……企业某些面临着以下的挑战:

数据隔离:不同的项目业务数据时要隔离,如游戏运营数据,企业在设计大数据分析平台时某些期望A游戏产生的业务数据用来支撑A游戏运营分析,B游戏产生的业务数据是支撑B游戏运营分析,不都可不可不能否 时要对业务数据按项目进行隔离,A游戏运营部门员工只可访问A游戏运营数据,B游戏运营部门员工只可访问B游戏运营数据。

数据分层访问:不同层级业务部门对数据具备不同的访问权限,高层级部门都可不可不能否 访问底层级部门的数据,而低层级部门不可访问高层级部门的数据。如省级部门都可不可不能否 访问地市级数据,而地市级部门只可访问本地市数据,不可访问跨区数据,某些可访问省级部门数据。这就要求对数据的权限管理时要具备分层管理能力,不让都可不可不能否分层级授予不同的权限。

列级数据授权:不同业务部门对同一份数据的访问权限要求不同,越多要求不让都可不可不能否对数据进行精细化授权。如银行系统中,用户表中的身份证号信息是敏感信息,柜台系统都可不可不能否 查询用户的身份证号,但推荐系统就不时要身份证信息,只时要用户ID就都可不可不能否 了。你这名场景下时要对用户表不让都可不可不能否分列授权,对不同的业务单元不同的权限。

批量授权:随着企业规模的增大,企业员工某些非常庞大,分部门授权,批量授权也是很常见的业务场景。类事销售部门下面员工越多,某些单个单个的给销售人员授权,会非常麻烦,人员流动时注销授权也很比较复杂,这时就时要不让都可不可不能否批量授权某些基本角色的授权模型,来实现一次授权,部门内员工均可使用的目的。

数据资产权限管理的通用做法

目前比较流行的大数据分析平台的有HADOOP,HIVE,SPARK等,它们使用的权限模型有POSIX模型,ACL模型,SQL Standard模型和RBAC模型。其中HADOOP大数据平台使用了POSIX和ACL权限模型来管理数据,HIVE和SPARK使用了ACL和RBAC权限模型来管理数据。

POSIX权限模型是基于文件的权限模型,与Linux系统的文件系统权限类事。即有有另1个 文件有相应的OWNER和GROUP,不都可不可不能否支持设置OWNER, GROUP和某些用户的权限,可授权限也不 能读写执行权限。你这名模型不适用于企业用户,有有有另1个 明显的缺点某些它不都可不可不能否有有另1个 GROUP,不都可不可不能否实现不同的GROUP,有不同的权限,也无法实现精细化的权限管理,不都可不可不能否在文件级授权,所授权限也不 能读写与执行权限。

ACL即Access Control List, ACL权限模型都可不可不能否 弥补POSIX权限模型的过高 ,都可不可不能否 实现比较精细化的权限管理。通过设置访问控制列表,让让我们 都都让让我们 都都都可不可不能否 授予某有有另1个 用户多个权限,也都可不可不能否 授予不同的用户不同的权限。但ACL有的是明显的缺点,当用户数较大时,ACL列表会变得庞大而难以维护,这在大企业中问题尤其明显。

RBAC(Role-Based Access Control)模型也是业界常用的有有一种权限模型。是基于用户角色的权限管理模型,其首先将有有另1个 或多个权限授权某有有另1个 角色,再把角色与用户绑定,也实现了对用户的授权。有有另1个 用户都可不可不能否 绑定有有另1个 或多个角色,用户具备的权限为所绑定角色权限的并集。RBAC都可不可不能否 实现批量授权,都可不可不能否 灵活维护用户的权限,是当前比较流行的权限管理模型。

SQL Standard模型是HIVE/Spark使用权限模型之一,本质是使用SQL土妙招的授权语法来管理权限。HIVE中的权限模型也是基于ACL和RBAC模型,即都可不可不能否 给单独的用户直接授权,也某些通过角色进行授权。

以华为云DLI为例,对数据资产管理

DLI结合了ACL和RBAC有有一种权限模型来管理用户权限。DLI中涉及到的概念有:

DLI用户:DLI用户为IAM账号及其下的子用户,下面访问权限说明的用户均指IAM账号及其下的子用户。

DLI资源:DLI的资源分为数据库(Database),表(table),视图(View),作业(Job)和队列(Queue)。资源是按项目隔离的,不同项目的资源不可互相访问。表和视图是数据库(Database)下的子资源。

DLI权限:DLI权限为执行DLI相关操作所时要的权限。DLI中的权限比较细,偏离 操作对应的权限有的是一样,如创建表对应CREATE_TABLE权限,删除表对应DROP_TABLE权限, 查询对应SELECT权限等等。

DLI使用统一身份认证(IAM)的策略和DLI的访问控制列表(ACL)来管理资源的访问权限。其中统一身份认证(IAM)的策略控制项目级资源的隔离和定义用户为项目的管理员还是普通用户。访问控制列表(ACL)控制队列,数据库,表,视图,列的访问权限和授权管理。

DLI使用统一身份认证来完成用户认证和用户角色管理。DLI在IAM中预定义了几只角色:Tenant Administrator(租户管理员),DLI Service Admin(DLI管理员),DLI Service User(DLI普通用户)。其中具备租户管理员或DLI管理员角色的用户在DLI内是管理员,都可不可不能否 操作该项目的所有资源,包括创建数据库,创建队列,操作项目下的数据库,表,视图,队列,作业。普通用户不可创建数据库,不可创建队列,依赖管理员的授权,都可不可不能否 执行创建表,查询表等操作。

DLI使用ACL和RBAC有有一种模型来管理用户权限。管理员或资源的所有者都可不可不能否 授予另外有有另1个 用户单个或多个权限,也某些创建角色,授予权限给创建好的角色,某些绑定角色和用户。

DLI提供了API和SQL话语有有一种土妙招来实现以上权限管理,方便用户灵活授权。具体使用土妙招都可不可不能否 参考DLI的权限管理。

案例分析

拿银行的大数据实践来分析下要怎样利用DLI来管理数据的权限。众所周知,银行积累了几瓶的用户数据,包括用户信息,交易信息,账户信息等等数以亿计的数据。而银行业务也是非常的比较复杂,涉及到柜员系统,监管部门,运营部门,营销部门等等各个业务线,各业务线对数据的要求不同,访问的权限不同。让让我们 都都让让我们 都都拿反洗钱业务与画像业务来简单介绍下要怎样利用DLI平台实现大数分析和数据资产权限管理。

典型的反洗钱业务一般是大额预警和黑名单机制,时要从海量的交易数据中筛选出大额交易某些是黑名单人员交易数据,将哪些地方地方数据反馈给监管人员进行进一步分析,涉及到的数据是交易数据,账户信息和黑名单信息。

画像一般会分析用户的交易类型与交易数据,推断出用户的兴趣爱好,给用户画像,标记用户的兴趣点在哪些地方地方。涉及交易信息中的交易类型和账号信息。

在这两项业务中,在DLI中,由数据管理员生成生成用户信息表,交易数据表,账户信息表,黑名单信息表,并导入相应的数据。在反省钱业务,授予反洗钱业务部门或人员账户信息表的查询权限,交易数据表的查询权限,黑名单信息的查询权限,通过对账户信息表和交易数据表和黑名单表的联合查询,都可不可不能否 查找出异常交易信息及相关交易人员,反馈给反洗钱监管人员。在画像业务中,由数据管理员授予画像业务部门或人员用户信息表的查询权限,交易数据表中交易金额和交易类型,交易商户等列的查询权限,账户信息表中的账户ID和用户ID列的查询权限,经过这几张表的联合与聚合查询,找出用户常用交易信息,暗含 交易类型,金额,及相关地点等信息,描绘出用户画像信息。

未来展望

传统企业数据资产面临着几只问题。各业务部门均会产生数据,数据标准不一致,维护比较复杂。各业务部门数据居于在不同的系统中,数据容易形成孤岛,无法有效挖掘利用。部门间数据共享比较复杂,容易形成网状授权网络,维护成本巨大。

数据中台方案都可不可不能否 解决那我的问题,使用统一的数据管理平台,统一的数据存储,统一的数据标准,进行统一的数据资产管理,统一进行授权管理,这也DLI探索的有有另1个 方向。