文章博客

文章博客 > 文章内容

联蔚盘云-ADF的数据采集方案-Azure Storage数据源

分类:

大数据 解决方案

发布日期: 25年12月30日

方案架构

联蔚盘云-ADF的数据采集方案-Azure Storage数据源插图

身份认证管理

身份验证方式适用场景前置要求/规范
Microsoft Entra ID – Managed identity同租户下的Blob数据采集1.ADF与Storage位于同租户下2.ADF已启用并分配Managed identity3.Blob已授权对应Managed identity所需访问权限4.完成Blob的Managed private endpoint部署
Microsoft Entra ID – ServicePrincipal同一Azure云环境下1.ServicePrincipal不支持跨云授权访问,例如Azure CN下不支持配置使用Azure Global的ServicePrincipal2.Blob已授权对应标识访问权限3.凭据托管至Azure Key vault4.Azure Key vault的Link已经建立5.完成Blob的Managed private endpoint部署 6.Blob未启用软删除
共享访问签名 (SAS)1.临时授权访问2.跨云Blob数据采集1.Blob已授权对应Token的访问权限2.SAS URI已托管至Azure Key vault4.Azure Key vault的Link已经建立
Storage Account AccessKey独享存储账户(权限范围过大,不推荐)1.AccessKey已托管至Azure Key vault2.Azure Key vault的Link已经建立
Anonymous无身份验证(不推荐)不推荐
最佳实践说明
#场景说明
同一Azure云环境或同租户下:优先使用Microsoft Entra ID认证进行统一的身份验证管理,次之选用共享访问签名 (SAS) ;
跨云Blob数据采集:不支持使用Microsoft Entra ID认证,此时优先选用共享访问签名 (SAS) ;
不推荐场景:Storage Account AccessKey和Anonymous访问不推荐,谨慎使用;
#规范要求
签发路径:必须使用HTTPS等受信任的签发途径;
周期性轮换:所有密钥必须妥善保管,并根据不同的方式定义密钥生命周期管理规范;
撤销:所有授权必须定义紧急撤销预案,如发生泄露需及时撤销;
网络:支持private endpoint的应优先使用private endpoint;

网络管理

IR类型要求/规范说明
Azure 托管运行时启用托管虚拟网络托管虚拟网络仅在与数据工厂区域相同的区域中受支持
自托管运行时自托管运行时应配置使用Private Endpoint接入Private Endpoint不支持自承载 IR 进行的交互式创作(如测试连接、浏览文件夹列表和表列表、获取架构和预览数据)通过专用链接进行
Azure-SSIS IRAzure-SSIS IR应使用虚拟网络集成并进行网络权限管控

数据安全

分类要求/规范备注
网络安全边界1.Azure-SSIS IR应使用虚拟网络集成并进行网络权限管控2.Azure集成运行时应启用托管虚拟网络3.优先使用托管Private Endpoint4.自承载运行时应配置使用ADF Private Endpoint虚拟网络集成能够优化网络链路的效率和网络边界
权限管理1.优先使用Microsoft Entra ID认证2.如使用本地身份验证的密钥需加密存储并周期性轮换3.最小特权原则1.web端管理:资源组层级”数据工厂参与者“2.powershell&sdk管理:资源层级”参与者“3.细化的权限分配:自定义角色(权限组合)Microsoft.DataFactory/factories 系列 Microsoft.Resources/deployments/ 权限
加密1.启用传输加密:HTTPS、TLS 1.2及以上2.启用存储加密:Azure托管密钥、自托管密钥
密钥管理1.所有密钥需使用受信任的密钥管理2.密钥需周期性轮转例如 Azure Key vault
数据保护1.启用Azure Policy进行数据采集出入站数据源管理2.优先使用源代码管理保护源代码数据和资源管理器模板3.实时模式管理下需要周期性导出资源管理器模板文件和参数资源管理器模板不会包含任何机密信息

运维监视

分类推荐监视项说明
Monitor##Jobs
1.PipelineFailedRuns(包含Pipeline实例分类):运行失败的Pipeline数量2.ActivityFailedRuns(包含Activity实例分类):运行失败的Activity数量3.TriggerFailedRuns(包含Trigger实例分类):运行失败的Trigger数量##Managed Vnet Azure IR1.MVNetIRPipelineCapacityUtilization(包含IR实例分类):托管网络Azure IR的Pipeline容量使用率2.MVNetIRPipelineWaitingQueueLength(包含IR实例分类):托管网络Azure IR的Pipeline队列长度3.MVNetIRExternalCapacityUtilization(包含IR实例分类):托管网络Azure IR的外部Pipeline容量使用率4.MVNetIRExternalWaitingQueueLength(包含IR实例分类):托管网络Azure IR的外部Pipeline队列长度
1.监视对应任务的运行状况2.监视IR资源使用情况
LogPipeline、Trigger、Sandbox:日志记录Pipeline、Trigger、Sandbox对应的日志输出用于Audit运行事件并为周期性Review提供重要的数据支撑
说明
Azure CN不支持Airflow IR
自承载运行时可使用instance自身的监控数据


联蔚盘云——国内领先的多云管理服务提供商

联蔚盘云秉持“帮助客户创造更多价值” 理念,基于深厚的行业经验和客户洞察,以技术创新为本,持续耕耘于云管理服务,为众多中大型行业客户提供基于自主研发基础上的FinOps 云成本优化(订阅制)、AI 大模型,平台工程全生命周期管理、信息安全- 等保、云安全、AI 安全、合规咨询、MSP- 云迁移、云运维、云灾备一站式服务、数据等多云管理全生命周期领先产品及解决方案,帮助客户降本提效、通过云能力提升驱动业务,迎接瞬息万变的挑战,赋能企业数字化转型,拥有云、SRE、安全、项目管理等各领域的专业认证,连续多年获得Gartner 等市场权威机构认可,是微软、阿里云和AWS 等公有云头部合作伙伴。

联蔚盘云20 多年成功服务了100+ 世界及中国500 强客户,基于深厚的行业经验和客户洞察,在零售、消费品、汽车、制造、房地产、金融等行业帮助客户应对数字化时代瞬息万变的商业挑战,创造共创共赢的合作模式,让多云管理更简单。


业务标签

精选文章

联蔚盘云MCP Marketplace获得软件著作权证书,引领AIOps与AI Foundation一体化革新

以OpsLab工具链与MCP管理平台为核...


联蔚盘云成为阿里云“公有云+AI”双框招合作伙伴,开启生态合作新篇章

近日,联蔚盘云正式与阿里云签署了公有云与...


铸造FinOps标杆,联蔚盘云入选信通院“铸基计划”优秀案例

在信通院公布的2025年“铸基计划”高质...


喜讯:联蔚盘云入选Gartner®《亚太区公有云IT转型服务魔力象限》报告

2025年10月16日,Gartner发...


联蔚盘云携手亿滋打造卓越DevOps平台,成功入选信通院“铸基计划”优秀案例

在中国信息通信研究院(CAICT)公布的...


联系我们

选择您关注的产品或解决方案,我们将尽快联系您!

售前咨询

400 102 7427 (周一至周五 9:30 - 18:00)