Doris-StarRocks数据库培训 (PB级实时数仓大数据分析平台、大规模分布式集群架构)

教程发布:风哥 教程分类:Doris 更新日期:2024-03-14 浏览学习:289

Apache Doris是一个高性能、大规模、实时的SQL分布式分析型数据库,可以支持10PB以上的超大数据集,具有亚秒级的查询响应时间,在实时分析场景中得到了广泛应用,其发展历程如下:

2008年诞生于百度广告报表业务,用于解决百度凤巢报表的专用系统。 2012年百度内部全面推广使用,改名为PALO(OLAP的反写)。 2017年正式在GitHub开源。 2018 年7月百度将PALO核心引擎捐赠给Apache进行孵化,并命名为Apache Doris。  2021年在百度PALO团队及社区的努力下快速发展。 2022年6月Apache Doris成功从Apache 孵化器毕业,正式成为Apache顶级项目。

一、风哥Doris/StarRocks数据库培训 (PB级实时数仓大数据分析平台、大规模分布式集群架构)

本课程由风哥发布的Doris+StarRocks大数据技术课程,学完本课程可以掌握Doris/StarRocks数据库基础知识,Doris+StarRocks数据库基础知识,Doris+StarRocks系统架构,Doris+StarRocks项目实战环境准备,Doris分布式集群项目建设与维护,Doris分布式集群配置规划,Doris分布式集群系统环境配置,Doris分布式集群配置,Doris数据库集群管理与使用入门,Doris数据库集群扩容与收缩,Doris数据库集群FE节点故障处理,StarRocks分布式集群项目建设与维护,StarRocks分布式集群配置规划,StarRocks分布式集群系统环境配置,StarRocks数据库集群安装与配置,StarRocks数据库集群使用入门,StarRocks数据库集群扩容与收缩,starrocks数据库集群FE节点故障处理,Doris-StarRocks分布式集群日常操作管理,Doris-StarRocks,SQL语句基础,Doris-StarRocks数据库使用规范,Doris-StarRocks表设计,StarRocks用户和权限管理,StarRock备份恢复说明,StarRock参数管理,Doris/SelectDB/StarRocks监控管理,Doris/StarRocks日志与故障排查,Doris-StarRock集群负载均衡配置,通过Nginx实现节点负载均衡,通过ProxySQL实现节点负载均衡,Doris-StarRocks数据导入与同步,Doris数据导入方案,StarRocks数据导入方案,从本地文件系统导入数据至StarRocks,MySQL+Flink CDC实时同步至StarRocks,StarRocks数据库性能测试,通过SSB Flat Table基准进行StarRocks性能测试,通过TPC-H基准进行StarRocks性能测试,通过TPC-DS基准进行StarRocks性能测试等技术内容,适合运维人员/数据库/开发人员,可以用于业务生产环境。

Doris/StarRocks/SelectDB产品栈市场定位于OLAP数据库,专注于100%的数据分析业务场景,主要应用于数据仓库、数据湖、数据湖仓相关业务,同时也有20%的事务处理功能,不擅长转帐、支付、交易、汇款的业务场景。  Doris/StarRocks/SelectDB擅长的领域:

OLAP 多维分析、实时数据仓库、高并发查询、统一分析 用户画像、风险管控、精准营销、资源投放、商业智能、生产监控 决策支持、故障预测、提供即席查询、漏斗分析、统计分析 实时大屏、固定报表、自助分析、固定经营报表平台、经营分析系统 大数据平台、数据/挖掘分析平台、系统中台、经营驾驶舱系统

学习地址:  https://edu.51cto.com/course/35613.html

基于商业发展支持的需要,一部分原来Apache Doris工程师在Doris的基础上延伸了DorisDB,后面改名为StarRocks,分为开源免费版本、企业商用版本。  StarRocks是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。  StarRocks既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。StarRocks兼容MySQL 协议,可使用MySQL客户端和常用 BI 工具对接,广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。

SelectDB是基于Apache Doris构建的现代化数据仓库,支持大规模实时数据上的极速查询分析。SelectDB是一家致力于为Apache Doris社区提供开源技术支持的商业公司;在产品方面,SelectDB提供SelectDB Cloud和SelectDB Enterprise。  SelectDB Cloud 是新一代多云原生实时数据仓库,聚焦于满足企业级大数据实时分析需求,为客户提供极致性价比、简单易用的数据分析服务。  SelectDB Enterprise是SelectDB为Apache Doris 提供的商业化版本 ,以获得比社区版本更好的运维、开发体验,以及更强的安全、稳定性支持。

二、风哥Doris/StarRocks数据库培训大纲

1.Doris/StarRocks数据库基础知识

(*)Doris+StarRocks数据库基础知识

(*)Doris+StarRocks系统架构

(*)Doris+StarRocks项目实战环境准备

2.Doris分布式集群项目建设与维护

(*)Doris分布式集群配置规划

(*)Doris分布式集群系统环境配置

(*)Doris分布式集群配置

(*)Doris数据库集群管理与使用入门

(*)Doris数据库集群扩容与收缩

(*)Doris数据库集群FE节点故障处理

3.StarRocks分布式集群项目建设与维护

(*)StarRocks分布式集群配置规划

(*)StarRocks分布式集群系统环境配置

(*)StarRocks数据库集群安装与配置

(*)StarRocks数据库集群使用入门

(*)StarRocks数据库集群扩容与收缩

(*)starrocks数据库集群FE节点故障处理

4.Doris-StarRocks分布式集群日常操作管理

(*)Doris-StarRocks SQL语句基础

(*)Doris-StarRocks数据库使用规范

(*)Doris-StarRocks表设计

(*)StarRocks用户和权限管理

(*)StarRock备份恢复说明

(*)StarRock参数管理

(*)Doris/SelectDB/StarRocks监控管理

(*)Doris/StarRocks日志与故障排查

5.Doris-StarRock集群负载均衡配置

(*)通过Nginx实现节点负载均衡

(*)通过ProxySQL实现节点负载均衡

6.Doris-StarRocks数据导入与同步

(*)Doris数据导入方案

(*)StarRocks数据导入方案

(*)从本地文件系统导入数据至StarRocks

(*)MySQL+Flink CDC实时同步至StarRocks

7.StarRocks数据库性能测试

(*)通过SSB Flat Table基准进行StarRocks性能测试

(*)通过TPC-H基准进行StarRocks性能测试

(*)通过TPC-DS基准进行StarRocks性能测试

网站声明:本文由风哥整理发布,转载请保留此段声明,本站所有内容将不对其使用后果做任何承诺,请读者谨慎使用!
【上一篇】
【下一篇】