这是Facebook母公司,关于元宇宙的80万亿美元豪赌
前几天,受世界科技互联网巨头平台 Facebook 母公司 Meta 的委托,著名国际咨询公司 Analysis Group ( 简称AG )发布一份关于元宇宙行业的白皮书。
这份报告,对元宇宙的未来市场发展做出了估计,并且在报告中提到,以乐观方式估计,未来元宇宙相关产业的市场规模将达到:80 万亿美元。
80 万亿美元这个数字,乍一看你可能没什么感觉,现在全球市场上市值最高的公司是苹果,有 2.55 万亿美元。
也就是说,他这个市场规模的体量,相当于:31 个苹果公司。
当然,虽然数字美妙,但这份白皮书的论证,有一个大前提:
在理论上,假设任何突破性的技术创新都可以作为元宇宙分析的基础模型,尤其是移动技术——移动设备及其相关的基础设施和生态系统。
这一点和锤子的老罗的观点不谋而合,而 AG 团队之所以有这样的假设,原因是:
手机、计算机和 PlayStation 等线下设备通过互联网进行互联,克服了地理位置的限制,从根本上改变了群体之间的连接方式。元宇宙概念也同样具备这个特性,利用现有技术,如 AR/VR、视频会议、多人游戏和数字货币等等,将世界 联动 ”。
不仅仅是联动这么简单,报告中指出:
元宇宙将进一步打破位置障碍,通过实现更无缝和沉浸式体验,以及创造一种异地共存感。同时还会改变诸多行业。与移动技术类似,元技术领域的应用预期范围是深远的,包括通信、娱乐、教育 、医疗保健、制造业和零售领域。
除去数据来源解析与估算模型构建,这份白皮书主要分为三个部分:
1.元宇宙的定义,目前的落地场景;
2.通过对上一代移动通信技术对经济影响的分析来预测元宇宙的发展;
3.通过建模来预测元宇宙将来对于 GDP 的影响,同时指出元宇宙经济的机遇和挑战。
下面,本部会将报告中的内容,给大家做一些关键点阐述。
理论支持
元宇宙作为一种革命性技术,要预估它对于经济的影响是非常不容易的。
虽然定量分析较为困难,但利用之前新技术在市场上扩散和影响的经验,以及与这些技术有关的经济理论,可以建立相关模型进行分析,进而提供有参考价值的观点。
在经济学上,有两个与新技术相关的理论是可以用来做对于元宇宙的分析预测的:
1. 炒作周期( The Hype Cycle )
2. S 型曲线( S-curves )
著名的研究和咨询公司 Gartner 每年会发布 炒作周期和优先矩阵 ” 报告,试图根据新技术上市的前景对新技术进行分析,通过多年研究,他们整理研究出了炒作周期曲线。
AG 团队认为,元宇宙技术同样适用于该曲线,根据该曲线,他们分析:
元宇宙一开始会被过度炒作,之后随着人们过度期望产生泡沫的破裂,元宇宙将出现逆向的修正,之后相关产品销量会在生产商不断改进产品和创新中稳步上升。
不过,单单依靠 Gartner 的炒作曲线是远远不够的。
因为即便知道新技术有炒作周期,但现阶段无法定义元宇宙具体行业属于炒作周期的哪个阶段,所以无法对元宇宙进行更加细致的分析预测。
于是,S 型曲线就派上了用场。
S 型曲线( S-curves )
经济学家 Clayton M. Christensen 指出:
每项新技术都倾向于遵循一个 S 形曲线。这些技术的发展,一开始都会经历一段缓慢的初始时期( 技术革新和逐渐被采用 ),随后是一段快速变化的时期, 然后随着市场的成熟而趋于平稳。但随着时间的推移,新的技术往往会开始逐渐取代之前的技术——例如,智能机取代了 MP3,MP4 等等。”
正如创新咨询公司 CEO Soren Kaplan 所说:
S 曲线通常代表了一个新的市场( 服务,技术等 )的诞生,和上一个市场的消失与死亡”。
经济学家 Carlota Perez 对每个单条 S ” 进行了具体阐述:
这更像是一场革命。在经济发达的时期,新技术会像推土机一样,破坏现有的产业结构 ,连接新的工业网络,建立新的基础设施,传播先进的工作和生活方式”。
为了好理解,本部给各位翻译了一张 S 曲线拆解图示:
基于上述理论及报告,本部认为,现阶段以元宇宙为代表的第三代计算平台所处的位置应为金融炒作期,并且在 技术爆炸点 ” 前方:
相应地,以元宇宙为代表的第三代计算平台技术,在 炒作曲线 ” 中的位置,据本部估计应为:
当然,这一切都仅为预估,对于一项新的技术及产业来讲,未来的不确定性是很大的。
但,所有研究者都不约而同地认为:
手机是那个将要被推下铁王座的国王。
而围绕元宇宙的下一代计算平台,是新王的有力竞争者。
撰写本报告的 AG 团队,也是这么认为。
模型构建与预测
AG 分析团队采用了 Waverman, Meschi, and Fuss (2005) and Andrianaivo and Kpodar (2011) 研究人均 GDP 增长和移动宽带( 手机互联网 )之间的关系的模型:
为了避免统计学上内生性的影响,他们采用了 Arellano and Bond ( 1991 ) 使用过的 GMM 估计器和特定时间的工具变量来估计模型。( 看不懂没关系,直接看下文的结论就行 )
从上述量化分析中,AG 团队得到的结论是:
移动技术采用率增加 10%,GDP 会相应地增加 0.087 。
换句话说,就是移动技术的市场普及率每增加 10%,相关市场的总收入就会增加全球总 GDP 的8.7% 。
而作为移动技术下一代的元宇宙呢?
经过进一步的建模分析,他们的结论是:
如果元宇宙在 2024 年开始采用,那么元宇宙在 2031 年对全球 GDP 的总贡献将为至少 3.01 万亿美元( 分析团队以 2015 年美金汇率价值进行推算,原因为 2015 年美金汇率较为稳定,更深层的原因能写篇论文了,本部不赘述 )。
其中 APAC( 亚太地区 )排名第一,在元宇宙核心产业的产值将达到 1.04 万亿美元。
此外,对 Canada ( 加拿大 ) 、Europe ( 欧洲 ) 、India ( 印度 ) 、 LATAM ( 拉丁美洲 )、MENAT ( 撒哈拉以及南非地区 )、和 US ( 美国 ) 的元宇宙领域产值分别为 0.02 万亿美元、0.44 万亿美元、0.24 万亿美元、0.32 万亿美元、0.36 万亿美元、0.04 万亿美元和 0.56 万亿美元。
并且,文章指出,从长远角度来看,元宇宙相关产业的整体市场规模保守估计为 3-30 万亿美元,而最乐观估计值为:
80 万亿美元。
障碍以及案例分析
虽说,元宇宙有着广阔的发展空间和前景,但目前,元宇宙还是有无法绕过的三个障碍。
技术专家 Ball, Matthew 在 2024 年发表的文章中指出,元宇宙技术的快速发展,还需要实现三个点:
1.将需要进行大规模的协作,包括对现有不同公司的协议进行整合以及为创建新的协议制定一个统一的规范。
2.需要相关元宇宙公司制造一个 爆点 ”,以不断地吸引新的用户采用元宇宙技术。
3.VR 等技术的快速革新,当做出一个类似于乔布斯的 iphone 的时候,才会将元宇宙技术推向高潮。
显然,出钱委托 AG 做这份白皮书的 Meta 公司,深刻地了解元宇宙的巨大前景和发展的障碍。
他们做这份报告,描绘美好的未来,是为现在的亏损在资本市场上讲故事撑腰。
Facebook 自从改名 Meta,并开始全力投入元宇宙相关产业后,其公司财报就开始分为传统应用和 Reality Labs( 元宇宙业务 )两块业务。
其中 Reality Labs 在本季度收入达 6.95 亿美元,同比增长35%。
与此同时,投入成本增长了 55%,因此净亏损高达 29.6 亿美元。
在这个状态下,Meta 对于元宇宙的投注只增不减,每个季度的投资平均稳定在 25 亿美金,最少为 18.27 亿美金,最多为 33.04 亿美金。
Meta 可谓是在元宇宙这场豪赌中 All In 了:
1.在 Meta 旗下的 Horizon 平台添加新的 VR 功能 —— Horizon Home( 创建了一个虚拟的空间,在这个空间想干嘛就干嘛 );
2.大笔投入,全力开发新款的高端 VR 头显 —— Project Cambria( 产品设想中,你甚至可以在虚拟空间和朋友进行眼神交流 )
3.继续加大对 VR 设备 OCULUS QUEST 2 的推广和销售。
OCULUS QUEST 2 自 2024 年发布以来,总销售额已经超过了 10 亿美元,官方并未公布该设备的销量,但多家第三方信源估计,该设备的出货量范围在 500-1000 万台的水平。
由于 OCULUS QUEST 2 是消费级 VR,现阶段消费级 VR 的主要应用场景是 VR 游戏,所以我们通过全球最大的游戏分发平台 Steam 可以粗略窥得 Meta 公司在消费级 VR 的市场占有率:
49.02 % 。
在现阶段,似乎 Meta 做得还不错,但 Meta 的 CEO 扎克伯格在今年第一季财报公布的电话会议中警告投资者,由于对元宇宙的布局,Meta 在去年的整体利润减少 100 亿美元,并且预计未来几年对于 Reality Labs 的投资规模还将继续扩大。
换句话说,Meta 认为自己在元宇宙上的发力还远远不够,他们将在这方面投入更大的资源。
为什么 Meta 如此孤注一掷?
因为现阶段,Meta 的收入结构非常单薄,抗风险程度很低,根据 Meta 财报我们可以发现,Meta 主要收入来源只有一项:Advertising ( 广告 )。
光光这一项收入能占总收入的 90% 以上。
这样的营收,是有边际的,与国内的百度类似,他们都在为广告营收的增长有限而发愁,在二级市场上,他们因此被看做是:
没有未来的公司。”
为了破局,百度选择了 All in AI。
而 Meta,选择了 All in 元宇宙。
我们很难确定 Meta 能否成功。
但,做这样一场万亿级别市场的豪赌。
无论成与不成,依然是值得敬佩的。
美股史上最大软件公司IPO诞生,数据仓库市场未来充满想象
指导 | 黄勇 调研 | 李喆 冯伟 撰写 | 冯伟
硅谷独角兽Snowflake上月创造美股史上规模最大软件公司IPO,市值一度突破700亿美元。数据仓库市场经历20余年发展变革后,在云原生浪潮下即将迎来大洗牌?回顾历史,我们试图找到一条推动数据仓库市场发展的内在逻辑。
硅谷数据仓库厂商Snowflake于2024年9月17日正式登陆纽交所,上市首日市值一度突破700亿美元。市场对于Snowflake有如此高估值,很大因素在于投资者对其云原生”模式和中立地位在云计算时代所具备的独特优势的认可,以及对其业绩持续高速增长的良好预期。
据财报数字显示,截至2024年1月31日的2024财年全年,Snowflake实现了高达174%的同比业绩增长,而2024财年上半年的业绩增长同样高达133%。
事实上,Snowflake的本次上市已经是美股史上最大规模的软件公司IPO,这无论在整个企业级软件市场,还是在数据库与数据仓库市场,都是一件足以深刻影响行业格局的重大事件。
相比于美国市场,中国市场中以云原生模式作为主打的独立数据仓库厂商处于加速发展阶段,例如诞生于Apache HAWQ开源项目的偶数科技(其核心产品为OushuDB云原生数据库)是中国市场中的佼佼者。
为了阐明云原生数据仓库的独特价值,爱分析将依次在本文中阐述以下几点问题:
· 数据库的分类逻辑与发展历程
· 分析型数据库(数据仓库)的代际演进与驱动因素
· 海外数据仓库市场的规模预测与主要玩家
· 中国数据仓库市场的规模预测与主要玩家
数据库的分类逻辑与发展历程
数据库管理系统(DBMS,一般简称数据库”)的萌芽始于1960年代。当时,随着计算机广泛地被应用于数据管理,人们对数据在计算机上的组织形式提出了越来越高的要求,传统文件系统已经不能满足需求,希望能够基于一套系统对数据进行统一管理和共享,数据库由此诞生。
经过超过半个世纪的发展,数据库形成了非常丰富而庞杂的类别,面向的应用场景也千差万别。一般而言,人们会从数据模型、应用场景两个维度对DBMS进行分类。
· 数据模型:即DBMS底层数据的组织形式,一般分为关系型和非关系型两大类别;
· 应用场景:DBMS的应用场景一般分为联机事务处理(OLTP)和联机分析处理(OLAP)两大类别,这两类DBMS也分别被称之为事务型数据库和分析型数据库(也称数据仓库”)。
从数据模型演化的视角来看,数据库市场经历了萌芽阶段、成熟阶段、丰富阶段三个主要阶段。
1960年代是数据库市场的萌芽阶段,网状模型、层次模型引领了最早的一代数据库的诞生。
1970到1990年代是数据库市场逐步走向成熟的阶段。1970年,IBM研究员E.F.Codd提出了关系模型,标志着数据库市场开始走向成熟。从1979年开始到1980年代,Oracle(1979年)、IBM(1983年)、微软(1989年)三大巨头先后推出自己的关系型数据库,Teradata也推出基于专有硬件的MPP架构的关系型数据库,关系型数据库逐步成为市场主流。到1990年代,MySQL、PostgreSQL等开源数据库的出现进一步壮大了关系型数据库的阵营。
2000年以后是数据库市场的丰富阶段。这一阶段,数据库面临的重要挑战是数据量明显增加,数据类型和应用场景越来越复杂。因此,Greenplum、Vertica等基于x86服务器的MPP架构关系型数据库,Hive、SparkSQL、HAWQ等SQL-on-Hadoop体系的关系型数据库,以及键值数据库(如HBase,Cassandra)、文档存储(如MongoDB)、图数据库(如Neo4j)等非关系型数据库纷纷出现。这使得关系型数据库阵营的类型进一步丰富,也使得非关系型数据库阵营迎来了崛起,数据库市场因此呈现出关系型、非关系数据库并存发展的局面。
分析型数据库的代际演进与驱动因素
在另一个维度上,数据库的架构也在随着应用场景的变化在演进。
在1990年代以前,应用场景以联机事务处理(OLTP)场景为主,数据库以事务型(又称交易型”)数据库为主。随着E.F.Codd于1993年正式提出联机分析处理(OLAP)的概念,数据分析的场景不断发展变化,从而推动了分析型数据库(即数据仓库”)的不断发展和成熟,并与事务型数据库呈现长期并存的局面。
数据仓库从诞生至今,经历了20余年的发展历程,大体经历了四代的演进。这一过程中,技术架构的变化是推动演进过程的内在力量,而场景与需求的变化,则是推动演进过程的外在力量。
因此,我们将从技术因素、需求因素两个主要方面,对数据仓库演进的驱动因素进行分析。
· 技术因素:包括硬件架构、软件架构、功能优化、性能优化等四个层次;
· 需求因素:包括应用场景、功能与性能要求两个层次。
1)第一代数据仓库:共享存储架构数据仓库
从1970年代末到1980年代,数据库主要应用于OLTP场景,并采用共享存储架构,因此被称为事务型数据库。这一阶段,由于OLAP场景尚不成熟,因此分析型数据库(即数据仓库”)尚未完全从事务型数据库中完全脱离出来,同样以采用Oracle、DB2等共享存储架构的事务型数据库为主。
在这一阶段,数仓存在的问题是价格昂贵,且受到共享存储架构影响,可扩展性较差,扩展到十几个节点就会遇到存储瓶颈,仅能适应面向管理层的报表分析需求,但无法适应更大规模、更多用户的数据分析场景。
驱动因素:技术
· 硬件架构/软件架构:在软硬件层面都采取共享存储架构,计算节点能够访问到任意的存储节点,由此保证对性能的良好优化;
· 功能优化:对各类SQL标准、ACID特性(指数据库事务的四个属性,包括原子性、一致性、隔离性、持久性)的支持都相当完善,因此带来了很强的稳定性。但是,共享存储架构带来的缺点是可扩展性差,一般只能扩展到十几节点就会遇到瓶颈;
· 性能优化:主导第一代数仓的Oracle、IBM等IT巨头公司具备深厚的基础研究和性能优化能力,但是由于共享存储架构在可扩展性方面的不足,使得第一代数仓尽管十分擅长传统报表分析等场景,但在大数据分析场景中的性能表现相对一般。
驱动因素:需求
· 应用场景:以传统的报表分析场景为主,主要面向企业管理层提供顶层业务数据的报表展现,数据量相对较小;
· 功能与性能要求:传统报表分析场景更看重分析的稳定性和可靠性,因此对SQL标准、ACID特性等影响分析过程的稳定性、分析结果的可靠性的技术功能与性能要求更高;第一代数仓对传统报表分析场景的满足性较好,但是随着大数据分析场景的出现和增加,扩展性不足的第一代数仓开始难以满足企业需求。
2)第二代数据仓库:MPP无共享架构数据仓库
1984年,Teradata首次推出了面向分析型场景的无共享架构的MPP数据仓库,在一定程度上解决了因共享存储架构带来的扩展性难题。但是由于它基于大型机、专有硬件,还有软件架构的限制,因此扩展性仍然难以达到数千节点级别,且扩展成本昂贵。
进入新世纪以后,随着数据分析场景的不断丰富,以及数据量的不断提升,基于专有硬件的MPP数据库已经难以满足扩展需求。到2006年,基于x86通用服务器的MPP数据仓库Greenplum、Vertica几乎同时出现,进一步降低了扩展成本。
MPP数仓在经过长期发展后,由于其对传统事务型数据库ACID特性的良好支持,以及相对较低的运维管理门槛,逐步在企业数据仓库市场中占据主导地位。但是,MPP也存在固有缺陷,一方面,无共享架构导致了其难以实现上千节点的扩展,另一方面,计算与存储节点的绑定也使得其扩展灵活性不够,难以适应工作负载变化更快的数据分析场景的需求。
驱动因素:技术
· 硬件架构:在硬件层面采取了无共享的存储架构,每个计算节点都有自己独有的存储节点;其中,Teradata采用专有硬件,而Greenplum、Vertica等则采用x86通用服务器;
· 软件架构:基于大规模并行处理(MPP)架构,数据并均匀打散到所有节点存储,并将多个并行任务分散到不同的节点上执行;
· 功能优化:无共享和MPP架构消除了在大数据场景下的性能瓶颈,提升了负载均衡能力,更加适应于大数据分析场景;无共享架构使得节点扩展变得更加容易,而不再受到共享存储架构的制约,节点数量上限一般能达到数百个;基于x86通用服务器的无共享架构,降低了扩展成本,提升了灵活性;
· 性能优化:主导第二代数仓的Teradata、EMC(收购Greenplum)、惠普(收购Vertica)等公司,在整体实力上同样较为雄厚,具备较强的基础研究和性能优化能力,再加上MPP固有的高性能数据处理优势,使得第二代数仓在大数据分析场景中有着超越第一代数仓的性能表现。
驱动因素:需求
· 应用场景:随着企业中的数据分析场景增加,分析需求的复杂度提升,面向企业各个部门的大数据分析场景成为数据仓库的主要应用场景;
· 功能与性能要求:大数据分析场景的典型特征是数据量大,而且数据量会不断增长,使得高并发、弹性扩容需求越来越强烈;第二代数仓经过长期发展,与企业核心、传统业务结合得十分紧密,因此企业对SQL标准、ACID特性等影响稳定性、可靠性的指标的要求也越来越高;第二代数仓在这两方面,一开始都能较好地满足企业需求,但随着数据量的进一步提升,MPP架构的限制使得第二代数仓难以进一步提升节点数量。
3)第三代数据仓库:SQL-on-Hadoop数据仓库
2007~2009年间,也就是几乎在Greenplum、Vertica等MPP数据库出现的同时期,以Hive开始的SQL-on-Hadoop数据仓库开始出现。尽管SQL-on-Hadoop数仓在硬件架构上仍然基于无共享架构,但在软件架构层面实现了计算与存储的完全分离。因此,相比于MPP数仓,SQL-on-Hadoop数仓进一步提升了扩展灵活性,降低了存储节点的管理难度,节点规模上限被提升到几千节点。
但是,由于底层存储系统HDFS的只读特点,SQL-on-Hadoop数仓普遍存在一系列缺点,比如对传统SQL兼容性不足,对Update/Delete等更新操作和混合工作负载(OLTP+OLAP场景)支持性较差,对事务型数据库所必备的ACID特性缺乏支持,稳定性较差。由于这些缺陷的存在,SQL-on-Hadoop数仓尽管替代了一部分MPP数仓,但仍然以支撑相对边缘的数据分析业务为主,难以撼动MPP数仓的主导地位。
对比来看,MPP与SQL-on-Hadoop各有优劣势,为此许多人希望能够将两者的优势结合在一起,并抵消两者的劣势。Apache HAWQ就是这样一个开源项目,它从2011年开始启动,脱胎于已经被EMC收购的MPP数据库Greenplum。
早期的HAWQ是将Greenplum搭载在HDFS存储系统之上的一个改进版本,从而一方面具备MPP数据库固有的SQL标准兼容、ACID特性支持等能力,另一方面又具备SQL-on-Hadoop的计算存储分离架构带来的可扩展性优势。
驱动因素:技术
· 硬件架构:与第二代数仓类似,第三代数仓在硬件层面采取了无共享的存储架构,每个计算节点都有自己独有的存储节点;
· 软件架构:与第二代数仓不同,第三代数仓基于Hadoop体系内的HDFS等存储系统,在软件层面实现了存储系统的完全独立,即计算、存储的完全分离,可以独立实现扩展;
· 功能优化:由于计算存储分离架构的特点,第三代数仓能够实现计算、存储分别扩展,因此在扩展性、在线扩容等方面有明显优势;由于计算、存储节点的独立,第三代数仓较适合迁移到云上,借助云固有的特性实现计算存储分别扩展,但是大部分厂商并未对数仓进行深度的云原生优化和改造,弹性伸缩能力未得到充分发挥;由于HDFS的只读限制,第三代数仓在对传统事务型数据库所具备的SQL标准、ACID特性支持较差;这也使得应用从事务型数据库、MPP数据库向第三代数仓迁移的过程中,存在大量不兼容的问题,即应用易迁移性较差;
· 性能优化:第三代数仓由开源项目、互联网公司、初创型公司所主导,生态相比于前两代数仓更加开放,但是由于缺乏针对性能和功能的深度优化,在传统企业客户中一直未达到能够全面取代传统数仓的要求。
驱动因素:需求
· 应用场景:随着企业数字化进程的加深,企业大数据分析场景对数据量、节点数量的要求都进一步提升;除了核心业务和传统业务场景之外,大量创新型、边缘型业务也诞生了大数据分析的需求;
· 功能与性能要求:企业中新出现的创新型、边缘型的大数据分析场景,往往与终端用户数据与行为结合紧密,因此数据量相对传统业务、核心业务的数据分析场景反而更庞大,而且工作负载的波动性也更加明显,因此对于扩展性、在线扩容、弹性扩容等灵活性指标的要求更高;第三代数仓基于计算存储分离架构,对这些要求的满足性较好,但HDFS的只读限制,使得第三代数仓在SQL标准、ACID特性等方面的支持性不足,影响了其数据一致性和易用性,在进一步向企业核心与传统业务场景延伸过程中遇到困难。
4)第四代数据仓库:云原生数据仓库
2010年之后,随着云计算的兴起,数据仓库逐步开始云化。相比于部署在物理硬件上的数仓,云数仓的优势在于能够支持云的按需取用、弹性扩容特性,有效提升数仓的扩展效率,降低扩展成本和运维难度。
但是,早期的云数仓更像是将物理硬件环境的数仓打包到云环境中,并没有基于云环境的许多特性对数仓进行深度原生优化。比如,许多基于MPP无共享架构的数仓,即使被迁移到云平台上,仍然面临计算与存储资源完全绑定,难以单独扩展的问题,无法充分利用对象存储等云计算具备的独特资源,弹性优势难以完全发挥,因此仍然难以称之为云原生数仓”。
2014年,随着Snowflake推出云原生数据仓库,实现了多集群共享数据的存储与计算分离架构,真正开始与云平台实现深度融合。
2016年,源于Apache HAWQ的OushuDB诞生,它从设计之初就定位为新一代的云原生数据仓库。OushuDB基于计算存储分离架构,多集群可以共享数据,在支持HDFS的同时,还实现了可插拔存储,支持对象存储等云存储技术,充分适应云计算时代的弹性需求。此外,OushuDB能够很好的支持Update/Delete与混合工作负载,充分克服了SQL-on-Hadoop数仓在这方面的劣势,其新一代SIMD执行器比传统MPP数仓要快5~10倍,比一般的SQL-on-Hadoop数仓要快20倍左右,进一步的满足了企业海量数据处理的需求。
驱动因素:技术
· 硬件架构:硬件架构为无共享的x86服务器,与前三代不同的是,第四代数仓原生支持云化的环境;
· 软件架构:第四代数仓一般会综合第二、三代各自的技术优势,有的是基于SQL-on-Hadoop体系融合MPP在SQL标准、ACID、负载均衡等方面的支持性优势,有的则是基于MPP架构融合SQL-on-Hadoop在扩展性等方面的优势;
· 功能优化:Snowflake、OushuDB等第四代数仓具备了前三代数仓的所有优势,而且基于云的固有特性,在扩展性、弹性伸缩、在线扩容等方面,在成本、效率上都达到了最优;
· 性能优化:Snowflake、OushuDB等数仓充分改进了SQL-on-Hadoop体系的第三代数仓在性能优化方面的不足,融合MPP架构的优势,并在其基础上进行了大量优化,性能表现超越了前三代数仓的表现。
驱动因素:需求
· 应用场景:随着企业传统业务、核心业务与创新业务、边缘业务的全面数字化转型,许多企业希望建设面向全企业、覆盖全业务线的大数据平台;随着企业的智能化水平提升,基于AI进行预测性分析,从而支持业务决策的场景越来越多;IoT技术的成熟,使得线上线下数据融合,从而共同进行决策支持的趋势也越来越明显;
· 功能与性能要求:面向全企业、全业务线的大数据平台建设,需要数据仓库在稳定性与可靠性指标,比如SQL标准、ACID特性,以及灵活性指标,比如扩展性、在线扩容、弹性扩容,都具备较强的表现;AI在预测性分析场景的落地,以及IoT带来的线下数据量的爆发式增长,都使得企业对数据仓库的性能要求进一步提升;第四代数仓在这些方面,均能够较好地满足企业需求,因此将成为未来数仓的最新发展趋势。
· 其他要求:相比于前三代数仓,推动第四代数仓的一项重要因素,还在于企业对于降本增效的诉求进一步提升,期望通过云计算固有的按需取用、灵活弹性等优势,推动IT部门在数据分析过程中敏捷转型,推动IT部门由过往的成本中心”向产生更多业务价值的价值中心”转变。
海外数据仓库市场的发展情况
IDC在2024年8月发布的《IDC全球大数据支出指南》预测,2024年全球大数据相关硬件、软件、服务市场的整体收益将达到1878.4亿美元,较2024年同比增长3.1%。爱分析推算,其中大数据相关软件市场规模约600亿美元,而软件市场中,数据仓库市场规模约为200~300亿美元。
IDC预测,2024~2024年间,全球大数据技术与服务相关收益将实现9.6%的年均复合增长率,预计2024年将达到2877.7亿美元。爱分析预测,届时全球数据仓库市场规模将达到400~500亿美元。
按照代际划分来看,海外数据仓库市场的主要厂商包括四类:
1)第一代数据仓库厂商:Oracle、IBM
作为事务型数据库市场中占据主导地位的厂商,Oracle、IBM早期并没有推出独立的数据仓库产品,而是将分析型数据库的特性融入到其事务型数据库产品中。但是,Oracle、IBM后来都分别推出独立的数据仓库产品。
Oracle Exadata是Oracle于2008年推出的数据库一体机产品,可以和Oracle数据库兼容。Exadata采取与MPP、Hadoop生态体系不同的路径,通过共享高端存储架构、高端Infiniband网络等超强硬件的融合实现了在一定数据量级下的极限性能提升,但缺点是可扩展性差等,一般只能扩展到十几节点。
IBM曾于2010年收购数据库一体机厂商Netezza,但于2024年正式停止Netezza的生产和技术支持,并将数据仓库产品IBM Db2 Warehouse作为替代方案。
2)第二代数据仓库厂商:Teradata、EMC、惠普
基于无共享MPP架构的第二代数仓,从早期基于专有硬件,发展到后来的基于x86通用服务器,跨越了约20年的发展历程。
Teradata成立于1979年,仅仅比Oracle的成立晚了两年。Teradata于1984年首次推出数据仓库产品,是最早采用无共享的MPP架构的数据仓库厂商。但是由于Teradata基于专有硬件,以及MPP架构固有的计算和存储绑定的特点,节点规模上限只能达到百级别。
Greenplum公司成立于2003年,于2006年推出了首款产品,并于2010年被EMC收购。Greenplum基于PostgreSQL开发,采取无共享的MPP架构,且基于x86通用服务器,扩展成本相对Teradata较低,但由于计算存储绑定的特点没有改变,节点规模上限仍然只能达到百级别。
Vertica是数据库先驱Stonebraker在MIT期间,基于C-Store架构开发的商业版本,首次发布于2006年,并于2011年被惠普收购。Vertica基于无共享MPP架构和列存储技术,同时与Greenplum类似,它能够部署在x86服务器上,而不依赖于专有硬件。
3)第三代数据仓库厂商:Cloudera、Facebook
第三代数仓的特点是基于Hadoop开源体系发展而来,具备天然的开放性,因此许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。
在Hadoop生态体系中,规模最大、知名度最高的公司是成立于2008年的Cloudera。Impala是Cloudera公司主导开发的SQL-on-Hadoop引擎,能够查询存储在Hadoop的HDFS和HBase中的PB级大数据,实现了计算与存储分离,扩展性较好,一般能够达到上千节点。
Presto是Facebook开发的数据查询引擎,于2012年开始开发,并于2013年宣布开源。Presto同样是一种SQL-on-Hadoop引擎,实现了计算存储的完全分离。其中,存储层采用HDFS,而计算层没有采用MapReduce,而是使用Java语言重新实现了计算引擎。
4)第四代数据仓库厂商:Snowflake、AWS、Azure
相比于前三代数仓,第四代数仓的特点是深度融合了云计算的特性,增强了数仓的弹性和扩展灵活性,降低了数仓的获取和运维成本,因此又被称为云原生数据仓库”。
Snowflake等独立厂商以及云厂商都是云原生数据仓库市场的主要玩家。其中,Snowflake将产品在云计算环境中进行了深度的优化,而且具有较强的中立性。而AWSRedshift和Azure Synapse Analytics等云厂商产品的中立性较差,而且技术路线是拿传统MPP直接在云环境部署,存储与计算耦合,和云原生的第四代数据仓库比较依然有着较大的差距。因为数据库的架构变动研发周期较长,往往需要几年的时间,难于短期追赶,Snowflake的技术优势比较明显。
中国数据仓库市场的发展情况
相比于海外市场,中国数据仓库市场存在三点特征:
1)市场规模尚小,但发展潜力巨大,未来增速可期
IDC在2024年8月发布的《IDC全球大数据支出指南》预测,中国大数据相关市场的总体收益将达到104.2亿美元,其中硬件、软件、服务占比分别为41.0%、25.4%和33.6%,即大数据相关软件市场规模约26亿美元,而软件市场中,数据仓库市场约为10亿美元,仅占全球市场的3%~5%。
IDC预测,2024-2024年间,中国大数据相关技术与服务市场将实现19.0%的年均复合增长率,即2024年将达到209亿美元。爱分析预测,到2024年,软件、硬件、服务三个细分市场在大数据市场中占比将各自趋近于三分之一,即大数据相关软件市场规模将达约70亿美元,其中数据仓库市场将达30~35亿美元,占全球市场的比例将提升到7%左右。
此外,在美国数据库市场中,分析型数据库的份额已经达到40%~50%,但中国市场的这一数字仅是10%左右。但相比于美国,中国企业的数字化场景更加丰富,数字化的需求也更加迫切。
整体来看,中国数据仓库市场的发展潜力十分巨大,在未来较长时间内将经历快速增长。
2)厂商发展历史较短,产品以第二、三代数仓为主
由于中国企业级IT市场的发展较晚,本土厂商中尚没有产生像Oracle、IBM这样的在传统的事务型数据库市场中占据垄断地位的巨头,因此也跳过了第一代数仓的发展阶段,而是以第二、三代数仓产品为主。
基于无共享MPP架构的本土厂商有华为、南大通用等,华为GaussDB、南大通用GBase都是类Greenplum的产品,优势和缺点也与Greenplum类似。基于SQL-on-Hadoop引擎的典型本土厂商是星环科技,其数据仓库产品Inceptor是从SparkSQL演化而来。
3)上云进程相对美国滞后,但未来趋势不可改变
目前,中国尚未出现和Snowflake一样体量的云原生数仓独角兽公司。这背后的原因之一在于中国企业,尤其是传统型企业的云化进程相对滞后,使得大量业务数据仍然停留在传统IT环境中,进一步延后了企业对于云原生数据仓库的需求。
与美国市场类似,中国市场中主要的云原生数据仓库玩家,既包括阿里云、华为云这样的云厂商,也存在偶数科技等独立厂商。阿里云和华为云和AWS和Azure类似,采用了传统MPP搬上云的方式。
偶数科技的OushuDB起源于Apache开源项目HAWQ,采用了存储与计算分离的架构,多集群可以共享数据,计算节点之间通过高速互联网络连接,可以进行大规模并行处理,存储层独立可插拔,使用云对象存储、HDFS、或者自研的本地存储来存储数据,实现了云原生。
爱分析认为,以下几点因素将推动中国本土的独立云原生数据仓库厂商的快速发展,中国出现类似Snowflake百亿美金级的中立型数据仓库独角兽只是时间问题:
· 国家层面对信创产业空前重视,中国企业对于国产化替代的需求也日益增加,迫切需要本土厂商来满足企业数字化转型过程中的数据平台建设需求;
· 中国企业上云和数字化转型不断推进,两者互相融合,因此企业需要能够适应高弹性的云计算环境的数据仓库;
· 多云策略的逐步普及,企业为了在多云之上的数据仓库的功能、体验与管理的一致性,需要数据仓库厂商具备一定的中立性。
科技巨头砸盘”美股集体低开 微软超苹果成全球市值第一公司
金融界网10月29日消息,投资者关注日内经济数据,同时苹果和亚马逊等科技巨头业绩不及预期及欧洲主要股市走弱打压了投资者做多信心,美股集体低开大型科技股多数低开;苹果跌3.6%,微软平开市值超过苹果成全球最具价值上市公司”;百世集团同意以68亿元出售中国的快递业务给极兔速递开盘涨逾15%。
道琼斯指数下跌64.15点,跌幅0.18%报35666.33点,标普500指数下跌24.17点,跌幅0.53%报4572.25点;纳斯达克综合指下跌112.7点,跌幅0.73%报15335.4点。
英国富时100指数下跌了0.3%,德国DAX指数下跌0.7%,法国CAC-40指数下跌0.3%。美元指数有所回升,日内最高触及93.60,意大利国债收益率重拾升势,上日欧洲央行在政策会议上发出鸽派音调。现货黄金回到1800关口下方,不过有望录得周线三连阳,投资者关注下周的FED决议对通胀压力和经济增长乏力的担忧做出何种反应。
美财长耶伦:支出法案能遏制通胀,并降低重要成本
当地时间周五(10月29日),美国财政部长耶伦表示,政府的基础设施支出提案不会推高通胀。耶伦在接受采访时再次为拜登政府的基础设施提案站台。美国的通胀水平已接近30年高点,增加支出引发了人们对通胀进一步推高的烦忧,但耶伦表示,刺激计划不会使问题恶化,将会提高经济的增长和供应潜力,这往往会降低通胀,而不是推高。耶伦指出,基础设施支出计划将降低一些最重要的成本,例如民众支付的医疗保健和儿童保育费用,从这个意义上来看,它也是反通胀的。
美液化天然气商Tellurian警告:能源需求破坏恐导致全球经济衰退
尽管高盛将需求破坏视为解决当前能源危机的最终解决方案,但这也可能会令经济陷入困境。美国液化天然气开发商Tellurian董事长谢里夫·苏基(Charif Souki)在近日的一场论坛上就对此发出警告,称天然气价格高企引发的需求破坏可能导致全球经济衰退。
能源危机再升级!美国明年煤炭产量接近售罄,抢煤大战一触即发
随着天然气价格的飙升,迫使电力公司增加燃煤发电,美国的煤炭库存跌至至少24年来的最低水平。据报道,煤炭生产商们纷纷表示,明年的产量几乎都已经售罄。据了解,美国最大的煤炭供应商皮博迪能源公司(Peabody Energy Corp.)明年在粉河盆地(Powder River Basin)的超过90%的产量,以及其他矿场的所有产量现已售罄。皮博迪首席执行官Jim Grech本周四在电话会议上表示,几乎全部售罄。我们只剩下一小部分在2024年和2024年出售。
缺芯冲击汽车巨头业绩!小摩:当下正是买入好时机
芯片短缺持续对全球汽车行业造成破坏,包括大众等几家汽车巨头都将Q3惨淡业绩归咎于芯片危机。尽管如此,摩根大通和瑞银分析师认为,现在正是增加汽车行业敞口的理想时机。
在我们看来,是时候增加对汽车股的敞口了,瑞银分析师帕特里克·哈梅尔(Patrick Hummel)在10月一份报告中称。摩根大通欧洲汽车股票研究主管何塞·阿苏曼迪(Jose Asumendi)周三对媒体表示,他和他的团队一个月来,一直建议投资者增加对汽车的敞口。阿苏曼迪称,他们对股票价值方面的挑选十分严格,戴姆勒、雷诺和Stellantis是他们最看好的一些欧洲车企。
先锋领航11月展望:美经济放缓之势似消退,但这一危机恐于12月再现……
全球第二大资产管理公司先锋领航(Vanguard)在《11月市场展望报告》中表示,随着Delta变体的影响逐渐消退,美国第三季度初的增长放缓迹象看似趋于稳定。但供应短缺,尤其劳动力市场,可能仍将有碍于经济在第三季度实现潜在增长。先锋领航还在报告中特别指出,尽管国会新通过的债务上限数额将支撑政府至少到12月3日之前能够偿付债务,避免了眼前的政府停摆和债务违约危机,但危机可能会在12月初再次浮现。不过,违约的可能性不大。
金矿巨头Agnico:通胀将持续,金价未来一年将刷新历史最高点
能源危机持续,全球通胀也愈演愈烈,加拿大黄金生产商Agnico-Eagle Mines Ltd.首席执行官Sean Boyd近日表示,通胀问题并非暂时性的,为了对冲通胀,投资者可能在未来12个月将金价推至新高——突破去年历史最高点2,075.47美元/盎司。
特斯拉向宁德时代预订45GWh电池,明年销量有望增一倍
据媒体,特斯拉已经向宁德时代为明年的销量计划预订45GWh磷酸铁锂电池,主要用于Model 3和Model Y车型。根据特斯拉官方信息,搭载磷酸铁锂电池的Model 3和Model Y均为标准续航版本,前者电池容量为55度(kWh),后者为60度。以此初步计算,45GWh的电池订单,将对应近80万辆汽车。这已经超越特斯拉今年前三季度全球总销量,截至今年三季度,特斯拉全球销售62.735万辆汽车。截至发稿,特斯拉盘前涨近1%。
甩掉社交媒体标签发力元宇宙!Facebook官宣更名为Meta
在北京时间29日凌晨Facebook Connect 2024增强现实和虚拟现实发布会上,Facebook宣布改名为Meta,股票代码也将从FB改为MVRS,12月1日开始生效。$Meta Platforms(FB.US)$盘前涨超1%。
微软盘前微升,今晚冲击美股一哥之位
近日微软发布了截至2024年9月30日的2024财年第一季度财报。财报显示,微软第一财季总营收为453亿美元,较上年同期增长22%;净利润为205亿美元,较上年同期增长48%。截至周四美股收盘,微软市值达到24352亿美元,距离苹果市值25260亿美元仅一步之遥,今晚开盘微软有望挑战美股一哥之位。
苹果季度营收四年来首逊预期!供应限制或损失60亿美元
财报显示,苹果在2024财年的收官季度录得营收833.6亿美元,同比增29%,至9月季度的公司史上最高,但逊于分析师预期的846.9亿美元,环比增2.4%。第四财季(即2024自然年第三季度业绩)iPhone和整体销售都不及预期,蒂姆·库克估计供应限制的负面影响高达60亿美元。
库克在财报中说道,我们估计供应限制的负面影响约为60亿美元。主要是由于人们经常讨论到的‘半导体短缺’,以及东南亚地区因新冠限制时常出现的芯片制造中断。不过,整体而言,我们的表现还是非常强劲。
亚马逊财报大幅逊于预期,绩后杰富瑞将其目标价下调至4000美元
亚马逊公布三季度财报以及四季度指引,营收1108亿美元,净利润31.56亿美元,每股收益EPS为6.12美元,主要财务指标均低于市场预期甚至大幅不及预期。截至发稿,亚马逊盘前跌超4%。
英特尔CEO:将在2025年超越摩尔定律,并赶超竞争对手
近日,英特尔CEO表示,公司将努力超越摩尔定律,创造新的处理器,然后争取在2024年赶上竞争对手,2025年超越他们。摩尔定律内容为当价格不变时,集成电路上可容纳的元器件的数目,约每隔18-24个月便会增加一倍,性能也将提升一倍。
Meta最快明年推出智能手表,挑战下一代Apple Watch
据媒体报道,技术开发者从Meta Platforms平台手机应用Facebook View内发现一张照片,媒体称Meta正在研发一款带有前置摄像头的智能手表,计划最快明年推出。此前消息人士透露,Facebook曾经计划在2024年推出首款智能手表,还表示Facebook正在开发共计三代产品。虽然图中的手表可能不是最终发布版本,但该图片也首次正式公司正开发手表项目。而据此前报道,苹果也将在同期发布最多三款手表产品,两家公司可能会形成同期竞争。
Piper Sandler:更名是一场大胆而冒险的豪赌,维持Meta中性评级
Piper Sandler分析师Thomas Champion认为,Facebook更名Meta Platforms意义重大。此举强调了该公司对AR/VR计划的深度承诺,代表了对未来的一次大胆而冒险的豪赌。他称这是一个值得称赞的雄心,但对该股保持中性评级,目标价为385美元。
大摩微降苹果目标价,韦德布什维持其跑赢大市评级
韦德布什维持苹果跑赢大市评级,目标价185美元。分析师Daniel Ives表示,来自供应链的挑战对每个行业都造成了影响。苹果的业绩表明他们也无法置身事外。供应链短缺对苹果的营收(主要是iPhone的营收)产生了约60亿美元的负面影响,这个问题也影响了目前(2024财年Q2)iPhone 13的销售,并且将延续到第二财季。不过分析师认为这是暂时的,并不影响他对苹果在2024年市值达到3万亿美元的长期乐观看法。此外,大摩将苹果目标价由166美元下调至164美元,维持增持评级。
68亿!极兔速递收购百世集团国内快递业务
百世集团和J&;;;;T极兔速递共同宣布达成战略合作意向,百世集团同意其在国内的快递业务以约68亿元人民币(合11亿美元)的价格转让给极兔。目前,双方就转让相关事宜正在稳步推进中。截至发稿,百世集团盘前涨超22%。
中石化与京东集团在京签署战略合作协议,拓展新能源领域合作空间
中国石化销售股份有限公司与京东10月29日在北京签署战略合作协议。双方将从以下五个方面开展战略合作:一是持续拓展成品油和相关产品供应,以及在氢能、电动汽车等新能源领域的合作空间;二是通过消费场景融合、数据资源支持以及平台能力打通等方式,提升非油品供应链效率;三是共同探讨适用未来各种业态的物流中台、智能仓储管理、智能预测补货等系统的建设;四是推进会员互认、权益共享、积分互通、联合营销等方面合作,更好优化客户消费体验;五是在双碳战略、乡村振兴、环境保护等公益领域展开合作,切实履行社会责任。