内容简介

北京捷泰天域信息技术有限公司 云GIS产品部研发总监 周宁 基于数据湖架构的时空大数据分析云平台 北京捷泰天域信息技术有限公司 周宁 数据存储选型 Simple/ Object Store NAS NFS CIFS Http Standalone Direct Access Enterprise Cloud 数据存储形态变化 数据来源多样 数据类型多样 数据海量异构 传统的数据存储和分析方法不再能满足大数据和 人工智能场景下的业务需求，为了实现更高的敏 捷性和灵活性，需要一种新的架构模式。 数据存储与分析发展阶段 1.0：基于关系型数据库的传统数据仓库 2.0 ：以Hadoop为基础的传统大数据分析（HDFS、MapReduce、YARN） 3.0 ：以数据湖为基础的支持异构技术融合的架构 什么是数据湖？ 数据湖架构可以在一个集中式存储位置 安全地存储、分类和分析所有数据，且 数据可以按照原始格式存储而无需转换 为预定义结构。 数据湖发展 2011年 概念 2016年 Amazon AWS & Microsoft Azure & Google Cloud 2018年 阿里云 华为云 地理信息领域对数据湖架构的已有应用 OpenStreetMap(Amazon AWS) Google Earth Engine(Google Cloud) Esri ArcGIS(Windows Azure) 数据仓库与数据湖 GB vs PB 数据湖并非对数据仓库的替代，而 是在应用场景上的相互补充 大数据分析与数据湖存储与计算分离 存储和计算可独立扩展 一份数据，多种计算 （传统处理分析、大数据处理分析、机器学习等） 弹性计算，资源回收 大数据分析可作为数据湖分析的手段之一

文档截图