湖仓访问控制与权限治理

┌──────────────────────────────────────────────────────────┐
│ 行/列级（Fine-grained）                                    │
│   Row Filter：只返回满足条件的行（如 tenant_id = 当前租户）  │
│   Column Mask：敏感列按角色脱敏（如手机号打码）              │
├──────────────────────────────────────────────────────────┤
│ 表层（Table-level）                                        │
│   SELECT / INSERT / UPDATE / DELETE / ALTER 授权           │
│   由 Catalog（Unity / Polaris / Lake Formation）管理        │
├──────────────────────────────────────────────────────────┤
│ 存储层（Storage-level）                                    │
│   对象存储 IAM：s3:GetObject 等，是最终的兜底                │
└──────────────────────────────────────────────────────────┘

        ┌─────────────────┐
        │  统一 Catalog    │  ← 权限、血缘、凭证的唯一来源
        └────────┬────────┘
     ┌───────────┼───────────┐
     ▼           ▼           ▼
   Spark       Trino       Flink
     │           │           │
     └───────────┴───────────┘
                 ▼
        ┌─────────────────┐
        │  对象存储（S3）  │  ← IAM 只信任 Catalog 的服务角色
        └─────────────────┘

# 授予角色对某张表的 SELECT 权限（含数据位置凭证下发）
aws lakeformation grant-permissions \
  --principal DataLakePrincipalIdentifier=arn:aws:iam::123456789012:role/AnalystRole \
  --resource '{"Table":{"DatabaseName":"sales","Name":"fct_orders"}}' \
  --permissions SELECT DESCRIBE \
  --permissions-with-grant-option ""

# 关键：撤销 IAM 对该前缀的直接访问，改为只走 LF 凭证
aws lakeformation revoke-permissions \
  --principal DataLakePrincipalIdentifier=arn:aws:iam::123456789012:role/AnalystRole \
  --resource '{"DataLocation":{"ResourceArn":"arn:aws:s3:::lake/sales/"}}' \
  --permissions DATA_LOCATION_ACCESS

{
  "service": "hive",
  "name": "pii-mask-customer",
  "resources": { "database": {"values": ["sales"]}, "table": {"values": ["dim_customer"]},
                 "column": {"values": ["phone", "id_card"]} },
  "policyItems": [
    { "groups": ["pii_full_access"], "accesses": [{"type": "select", "isAllowed": true}] },
    { "groups": ["analyst"], "accesses": [{"type": "select", "isAllowed": true}],
      "dataMaskInfo": {"dataMaskType": "MASK_SHOW_LAST_4"} }
  ]
}

-- 为多租户表建立带谓词的行过滤策略
CREATE FUNCTION tenant_filter(tenant_col STRING)
RETURNS BOOLEAN
RETURN tenant_col = current_user_tenant();

ALTER TABLE sales.fct_orders
  SET ROW FILTER tenant_filter ON (tenant_id);

CREATE FUNCTION mask_phone(phone STRING)
RETURNS STRING
RETURN CASE
  WHEN is_account_group_member('pii_full_access') THEN phone
  WHEN is_account_group_member('pii_partial')     THEN concat('***', right(phone, 4))
  ELSE '***'
END;

ALTER TABLE sales.dim_customer
  ALTER COLUMN phone SET MASK mask_phone;

-- 1. 给敏感列打标签
ALTER TABLE sales.dim_customer ALTER COLUMN phone SET TAGS ('pii' = 'high');
ALTER TABLE sales.dim_customer ALTER COLUMN id_card SET TAGS ('pii' = 'high');

-- 2. 策略绑定标签，而非具体列
CREATE POLICY pii_mask ON SCHEMA sales
  FOR SELECT USING (has_tag('pii', 'high')) APPLY mask_pii;

-- 1. 正向验证：目标角色能且只能看到该看的数据
SET ROLE analyst_tenant_a;
SELECT count(*) FROM sales.fct_orders;                 -- 应只返回本租户行数
SELECT DISTINCT phone FROM sales.dim_customer LIMIT 5; -- 应为掩码后格式

-- 2. 反向验证：越权访问必须被拒绝
SET ROLE analyst_tenant_b;
SELECT * FROM sales.fct_orders WHERE tenant_id = 'tenant_a';  -- 应返回 0 行

用户 → 引擎（带身份）→ Catalog：我要读 sales.fct_orders
Catalog → 校验表级/行级/列级权限
Catalog → STS 申请临时凭证（限该表前缀、有效期 15 分钟）
Catalog → 返回凭证 + 过滤后的元数据
引擎 → 用临时凭证读文件 → 执行行过滤与列掩码 → 返回结果

# 绕过引擎，直接读走整张表（含被掩码的敏感列）
aws s3 cp s3://lake/sales/dim_customer/ ./dump/ --recursive

必须记录的事件：
- 表/列级授权变更（谁、何时、给谁、什么权限）
- 数据访问（用户、表、列、行数、时间、来源 IP）
- 凭证下发（换取范围、有效期）
- 策略变更（行过滤/掩码规则的增删改）
- 敏感数据导出（下载、导出到外部系统）

-- 1. 僵尸授权：授权了但从未访问（候选回收对象）
SELECT principal, table_name, granted_at, last_access_at
FROM access_audit
WHERE last_access_at IS NULL OR last_access_at < now() - INTERVAL '180 days';

-- 2. 越权尝试：被拒绝的访问（可能是攻击，也可能是授权缺失）
SELECT principal, table_name, count(*) AS denied_cnt
FROM access_audit
WHERE result = 'DENIED' AND ts > now() - INTERVAL '7 days'
GROUP BY 1, 2 HAVING count(*) > 10 ORDER BY denied_cnt DESC;

-- 3. 敏感列访问异常：平时不碰 PII 的账号突然大量查询
SELECT principal, count(*) AS pii_queries
FROM access_audit
WHERE column_tag = 'pii' AND ts > now() - INTERVAL '1 day'
GROUP BY 1 HAVING count(*) > 1000;

第 1 步：收敛入口
  所有引擎接入统一 Catalog，存储桶策略拒绝直接访问
第 2 步：表级授权基线
  按域/团队建角色，杜绝个人直授；生产读写分离
第 3 步：敏感数据识别
  完成数据分级与 PII 打标，产出敏感列清单
第 4 步：细粒度策略
  对高敏表上行列级策略；用标签驱动批量覆盖
第 5 步：审计与评审
  访问审计接入 SIEM，季度权限复核，越权自动告警
第 6 步：持续运营
  新表默认继承标签策略；策略变更走代码评审