1 分布式缓存服务DCS
分布式缓存服务(Distributed Cache Service,简称DCS)是华为云提供的一款内存数据库服务,兼容了Redis和Memcached两种内存数据库引擎,为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,满足用户高并发及数据快速访问的业务诉求。
华为云DCS支持的实例类型有单机、主备、集群,不同的实例类型,特点和架构不一样。
2 微服务引擎CSE
微服务引擎(Cloud Service Engine,CSE),是用于微服务应用的云中间件,为用户提供注册发现、服务治理、配置管理等高性能和高韧性的企业级云服务能力
3 分布式数据库中间件DDM
分布式数据库中间件(Distributed Database Middleware,简称DDM),是一款分布式关系型数据库。它兼容MySQL协议,采用存储计算分离架构的模式,使得存储层、计算层可以无限扩展,从而拥有了海量数据高并发访问能力。
4 分布式消息服务DMS
分布式消息服务(Distributed Message Service,简称DMS)是一项基于高可用分布式集群技术的消息中间件服务,提供了可靠且可扩展的托管消息队列,用于收发消息和存储消息。
使用DMS,您可以创建消息队列,将消息队列作为一个传输消息的中转站,存储应用程序不同组件间传递的消息,从而做到在应用程序的不同组件之间传输消息时,不要求各个组件同时处于可用状态。
5 数据快递服务DES
数据快递服务(Data Express Service,DES)是面向TB到数百TB级数据上云的传输服务,它使用物理存储介质(Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等)向华为云传输大量数据。使用DES可解决海量数据传输的难题(包括高昂网络成本、较长传输时间等),DES传输数据的速度可达到1000Mbps,相当于高速Internet传输速度的10倍,但是成本却低至高速Internet费用的五分之一。使用DES不占用用户公网带宽,不与主营业务争抢带宽资源。
DES目前支持Teleport和磁盘两种数据传输方式。磁盘方式适用于30TB以下的数据量迁移,Teleport方式适用于30TB~500TB的数据量迁移,500TB以上的数据量建议通过专线迁移。另外Teleport方式由华为数据中心邮寄Teleport设备给用户使用,而磁盘方式用户需自己准备磁盘。
6 Region和AZ
Region指不同的物理区域,如上海区、北京区等。
AZ指某个特定的Region里能提供服务的区域。
7 分布式消息队列Kafka
Kafka是一个开源流处理软件平台,用Scala和Java编写。该项目旨在提供统一、高吞吐量、低延迟的平台,用于处理实时数据馈送。它的存储层本质上是一个大规模可扩展设计为分布式事务日志的发布/订阅消息队列。
Kafka主要设计目标如下:
(1) 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能。
(2) 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。
(3) 支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输。
(4) 同时支持离线数据处理和实时数据处理。
(5) Scale out:支持在线水平扩展
Kafka主要特点:
(1) 同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。
(2) 可进行持久化操作。将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。
(3) 分布式系统,易于向外扩展。所有的producer、broker和consumer都会有多个,均为分布式的。无需停机即可扩展机器。
(4) 消息被处理的状态是在consumer端维护,而不是由server端维护。当失败时能自动平衡。
(5) 支持online和offline的场景。
Kafka应用场景:
(1) 日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer;
(2) 消息系统:解耦生产者和消费者、缓存消息等;
(3) 用户活动跟踪:kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后消费者通过订阅这些topic来做实时的监控分析,亦可保存到数据库;
(4) 运营指标:kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告;
(5) 流式处理:比如spark streaming和storm。
8 Flink
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。
9 图引擎服务GES
图引擎服务(Graph Engine Service,简称GES),使用华为自研的EYWA内核,是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务。广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。
10 区块链服务BCS
华为云区块链服务支持SOLO、Kafka、POW、PB FT共识算法。
11 ROMA
企业在向数字化转型的过程中会面临诸多难题:缺少统一的设备信息集成途径;数据格式多样化,难以传输和集成;缺少与合作伙伴分享数据和后端服务的便捷途径;缺少云上云下跨网络的安全信息通道。
ROMA Connect主要包含四个组件:数据集成(FDI)、服务集成(APIC)、消息集成(MQS)、设备集成(LINK)
ROMA解决方案总结来说就是ABCD,围绕着联接这个概念,大做文章。
A2A,A代表Application,应用到应用的集成,跨应用数据、消息、API集成;
B2B,B代表Business,企业到企业,跨企业数据交换,如德电、富士康等,我们的订单要从外部传递进来,我们的制造要实现协同;
C2C,C代表Cloud,云到云,多云之间的协同,如ROMA早在16年就支持e+集成Salesforce;
D2D,D代表Digital,也可以理解为Device,设备到设备,OT和IT互联互通,如制造产线上的数据,集成到IT系统。
12 高性能计算HPC
13 数据湖探索DLI
数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
14 多云容器平台MCP
多云容器平台(Multi-Cloud Container Platform,MCP)是华为云基于多年容器云领域实践经验和社区先进的集群联邦技术(Karmada),提供的容器多云和混合云的解决方案,为您提供跨云的多集群统一管理、应用在多集群的统一部署和流量分发,为您彻底解决多云灾备问题的同时,还可以在业务流量分担、业务与数据分离、开发与生产分离、计算与业务分离等多种场景下发挥价值。