AWS Redshift是基于PostgreSQL开发的,与官方 ...

[复制链接]
欢迎学习这篇关于CINEMA4D的文章,以下是本文内容。
AWS Redshift 是基于PostgreSQL开发的,那它与官方的PostgreSQL相比,优势在哪里?为何不能间接用官方的Postgres?
就放荡不羁就h 发表于 2022-7-25 18:46 | 显示全部楼层
10年前,第一个完全托管、PB级云数据仓库Amazon Redshift在首届亚马逊云科技re:Invent大会上发布,此后成为亚马逊云科技增长最快的服务之一。
10年后,亚马逊云科技推出Amazon Redshift流式注入功能,每秒数百兆的流数据将被直接接收到Amazon Redshift数据仓库集群并处理。它将帮助游戏运营人员实时分析来自游戏玩家的海量数据,轻松优化游戏体验;它将帮助数据工程师、大数据开发者将数据分析从“批量”转向“实时”。
时间赋予数据生命,也审视着数据的价值。
用十年持续重塑实时数仓能力再升级,欢迎大家阅读《Amazon Redshift:十年持续重塑实时数仓能力再升级》来了解关于Amazon Redshift更详细的信息。
以下为内容搬运~
十年前,2012年11月,我们在首届亚马逊云科技re:Invent大会上,发布了Amazon Redshift,这是第一个完全托管、PB级的云数据仓库。相对于传统的本地数据仓库解决方案,Amazon Redshift的发布彻底变革了行业的格局。
传统的本地数据仓库解决方案不仅成本高、缺乏弹性,而且需要很高的调整和操作技术水平。
Amazon Redshift的帮助下,使用现有商业智能工具分析数据不仅成本低廉,而且简单高效。在发布之后Amazon Redshift成为亚马逊云科技增长最快的服务之一。如今,全球范围内,数以万计的客户在亚马逊云科技的中使用Redshift,每天用来处理EB级数据。
<hr/>在过去的几年里,Amazon Redshift的用例已经发生变化。为应对这种变化,我们持续对Amazon Redsfhit进行架构改进,来保持其行业领先
通过分层存储、多集群自动扩展、跨集群数据共享以及AQUA查询加速层等创新,Redshift提高了存储和计算的可扩展性。
Amazon Redshift Serverless是云原生数据仓库架构创新的集大成者,允许客户在无需设置和管理数据仓库基础设施的情况下运行和扩展数据分析。Amazon Redshift通过独有特性(例如使用Spectrum查询数据湖、Redshift ML)与亚马逊云科技云服务进行广泛整合与集成,使得它具备承担超越传统数据仓库的使用场景对能力。
<hr/>
近日,亚马逊云科技推出Amazon Redshift流式注入(Streaming Ingestion)功能预览,让客户能够直接从Amazon Kinesis Data Streams(一项无服务器流式数据服务,可简化任何规模的数据流捕获、处理和存储)向Amazon Redshift数据仓库中注入实时数据并分析。
Amazon Redshift流式注入功能可以让客户无需在Amazon Simple Storage Service(Amazon S3)中暂存数据,直接将每秒数百兆的流数据接收到Amazon Redshift数据仓库集群并处理。
<hr/>在游戏实时数据分析、在线广告点击流分析、零售POS机数据流分析、应用日志和网络日志分析、物联网设备数据分析等应用场景中,应用或者终端设备会在短时间内持续生成巨量数据流。
这些数据流会被送到Amazon Kinesis Data Streams进行实时缓存并最终使用Amazon Redshift完成数据分析。
以往,客户如果想从Amazon Kinesis Data Streams向Amazon Redshift注入实时数据,需要先在Amazon S3中暂存数据,然后使用Copy命令加载数据来构建数据管道,这一过程通常需要几分钟才能完成。
但越来越多客户希望能够分析实时数据流以尽早获得数据洞察。

AWS Redshift是基于PostgreSQL开发的,与官方 ...-1.jpg
Amazon Redshift流式注入功能的推出,满足了客户真实数据流对数据处理规模和实时性的要求。
基于这一功能,客户可以同时连接来自多个Amazon Kinesis Data Streams的数据,将实时数据直接注入Amazon Redshift。客户使用现有工具和熟悉的SQL执行下游处理和转换,无需额外的成本,在几秒钟内从数据中获得洞察。
Amazon Redshift流式注入大幅简化流式数据管道构建,加速数据处理,支持以低延迟、高吞吐量访问数据仓库中的实时数据,帮助数据工程师、数据分析师和大数据开发者将数据分析从“批量”转向“实时”。
<hr/>目前,数以万计的客户每天使用Amazon Redshift处理EB级的数据,为高性能商业智能(BI)报告、仪表板应用程序、数据探索和实时分析等分析工作负载提供支持。
Amazon Redshift流式注入功能的推出将进一步丰富客户的使用场景。客户可将流式数据实时分析与数据仓库中的其它数据源相结合,丰富和扩展实时分析应用场景。
例如,游戏运营人员可以分析来自游戏玩家的实时数据,优化游戏体验,提高转化和留存率;营销部门可以分析在线广告的点击流数据,评估用户足迹和行为,及时向客户投放广告;分析人员可以实时分析零售POS数据,实现零售交易的实时报告、分析和可视化;开发人员和工程师可以实时分析应用程序日志和网络日志流数据,实时排除故障,采取预防措施,改善产品体验。
客户可以将Amazon Redshift流式注入功能Amazon Kinesis服务一起使用,实时分析IoT数据,获取设备状态和属性(位置和传感器数据),监控应用程序,进行欺诈检测,实现实时排行榜功能等等。
<hr/>所有企业的大数据分析需求都是动态的,而大多数企业的数据战略并不清晰。企业需要一套现代数据战略提供管理、访问、分析和处理数据的全面规划,以应对大数据分析需求的增长,并满足当前和将来的分析用例。借助亚马逊云科技智能湖仓架构,用户可以快速构建可扩展的数据湖,使用广泛而深入的专门构建数据服务组合,实现统一的数据访问,保证数据安全和治理,以低成本扩展系统的同时而不损及性能,并轻松跨组织边界共享数据,进行快速、灵活地决策与数据分析
Amazon Redshift流式注入功能的推出,进一步丰富了亚马逊云科技无服务器分析产品服务不同客户业务场景的能力,可以让客户无需配置、扩展或管理底层基础设施,即可轻松地处理实时动态的数据同步,为机器学习项目提供兼具性能和成本效益的实时特征数据准备。也为企业打造现代化数据战略,向数据驱动型企业迈进,提供了新的创新方向。
心随674 发表于 2022-7-25 18:47 | 显示全部楼层
我觉得redshift的优势是能不停加节点(钱)加速,postgresql不能
因醉鞭名马幌 发表于 2022-7-25 18:48 | 显示全部楼层
Redshift 是基于 Amazon 云平台(AWS) 的数据仓库,是基于 PoetgreSQL 为基础的,换句话说就是云环境下的 PostgreSQL。但是又有很一个根本的区别:MPP (Massively Parallel Processing)  海量并行处理,它在表的设计如存储,与PostgreSQL 是不同的,主要就是它是居于高性能多节点的存储方式,通常用来设计 PB级别的数据仓库。
Redshift 是目前我接触到的数据仓库里查询性能最快的(相同价格下),但是它的设计和优化也是相当复杂的,它与传统数据库/数据仓库的最大不同就是应为使用了 Columnar index 技术,它在建表是的分布、排序策略等都与 PostgreSQL 不同。
Redshift 适用于数据仓库,而不适用于普通的 OLTP 系统,最SQL 语句支持方面不如 PostgreSQL 丰富,如它不支持 Stored Procedures, materialized view 等。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

菜鸟C4D推荐上一条 /9 下一条

菜鸟C4D与你一起从零开始!
菜鸟C4D微信公众号

( 浙ICP备13033195号-2 )Copyright 2013-2022;菜鸟C4DPowered by Discuz! 技术支持:菜鸟C4D