Doris分区、分片、副本的基本命令、修复副本思路
关于副本的一些操作查看建表语句1SHOW CREATE TABLE my_table
关闭动态分区123ALTER TABLE my_table SET ( "dynamic_partition.enable" = "false" );
123ALTER TABLE my_table SET ( "dynamic_partition.enable" = "true" );
删除分区1ALTER TABLE my_table DROP PARTITION p202309;
添加分区(顺便设置副本数)1ALTER TABLE my_table ADD PARTITION p1 VALUES LESS THAN ("2015-01-01") ("replication_num"="1");
查看分区1SHOW [TEMPORARY] PARTITIONS FROM [db_name.]table_name [WHERE] [OR ...
Doris索引小总结
在Doris中,添加索引是提升查询性能的重要手段。Doris支持两种类型的索引:内置智能索引和用户创建的二级索引。以下是关于如何在Doris中添加索引的详细步骤和注意事项:
内置智能索引
前缀索引:
基于排序键以有序的方式存储数据,为每1024行数据创建一个前缀索引。
索引中的键是当前1024行组的第一行中已排序列的值。
查询时,通过前缀索引可以快速定位到相关的1024行组,并从那里开始扫描。
特别注意:Doris只有前36个字节能走前缀索引。因此,在创建表时,需要手动指定key,并且索引字段的类型和长度要尽可能精确,以增大索引范围。
ZoneMap索引:
在列存格式上,对每一列自动维护的索引信息,包括Min/Max值、null值个数等。
查询时,会根据范围条件过滤的字段按照ZoneMap统计信息选取扫描的数据范围。
ZoneMap索引对用户是透明的,无需额外操作。
用户创建的二级索引
倒排索引:
用于文本类型的全文检索和普通数值日期类型的等值范围查询。
可以从海量数据中快速过滤出满足条件的行。
不同数据模型下的创建规则:
Aggregate KEY表模型:只能为K ...
Doris SQL 特技
group_concatdescriptionSyntax<font style="color:rgb(76, 87, 108);background-color:rgb(237, 242, 250);">VARCHAR GROUP_CONCAT([DISTINCT] VARCHAR str[, VARCHAR sep] [ORDER BY { col_name | expr} [ASC | DESC])</font>该函数是类似于 sum() 的聚合函数,group_concat 将结果集中的多行结果连接成一个字符串。第二个参数 sep 为字符串之间的连接符号,该参数可以省略。该函数通常需要和 group by 语句一起使用。
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849mysql> select value from test;+-------+| value |+------- ...
G2图使用-创建简单的柱状图
g2plot 是一套简单、易用、并具备一定扩展能力和组合能力的统计图表库,基于图形语法理论搭建而成,”g2plot”中的 g2 即意指图形语法 (the Gramma of Graphics),同时也致敬了 ggplot2。
下面是一个简单的是用例子
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697<template> <div ref="chartRef"></div></template><script setup>import { onMounted, ref, defineProps, toRefs } from 'vue';impo ...
Hadoop与hive版本对应
https://blog.csdn.net/qq_33772352/article/details/132234919
Hadoop与Hbase版本对应
Hadoop与Hive版本对应
Hadoop安装和启用
Hadoop简介Hadoop是Apache软件基金会的一个开源分布式计算平台,主要由HDFS(分布式文件系统)、MapReduce(分布式计算框架)和YARN(资源管理系统)三个核心组件构成。它允许使用简单的编程模型在由多台计算机组成的大型集群上分布式处理大数据集。Hadoop具有高可靠性、高扩展性、高容错性和高效性等特点,已成为大数据处理的标准平台。
前提条件在安装Hadoop之前,请确保:
已安装JDK(推荐JDK 8或更高版本)
配置了SSH无密码登录(对于集群环境)
分配了足够的系统资源(内存、存储空间)
环境配置设置Hadoop环境变量环境变量配置是使用Hadoop的第一步,它使系统能够找到Hadoop的可执行文件和库。
123456789# 编辑~/.bashrc或/etc/profile文件vim ~/.bashrc# 添加以下内容export HADOOP_HOME=/soft/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin# 使配置生效source ~/.bashrc
说明:
HADOOP_ ...
MAVEN打包
Maven打包简介Maven是Java项目中最流行的构建工具之一,它提供了标准化的项目结构、依赖管理和构建流程。Maven的打包功能允许开发者将项目代码、资源文件和依赖项打包成可分发的格式(如JAR、WAR或EAR文件)。本文将介绍Maven打包的基本概念、常用配置和最佳实践。
Maven打包基础打包类型Maven支持多种打包类型,在pom.xml中通过<packaging>标签指定:
1<packaging>jar</packaging> <!-- 默认值,生成JAR包 -->
常见的打包类型包括:
jar: Java应用程序或库
war: Web应用程序
pom: 父模块项目
ear: 企业级应用
基本打包命令1234567891011# 打包项目mvn package# 打包并跳过测试mvn package -DskipTests# 清理并打包mvn clean package# 安装到本地仓库mvn install
Spring Boot应用打包配置Spring Boot应用通常需要打包成可执行的JAR文件,这需要使用s ...
Sharding-jdbc 分片
所需依赖
12345678910<dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc-core</artifactId> <version>5.3.0</version></dependency><dependency> <groupId>org.yaml</groupId> <artifactId>snakeyaml</artifactId> <version>1.33</version></dependency>
application.yml 文件添加
12345main: allow-bean-definition-overriding: truedatasource: driver-class-name: org.apache.shardings ...
Springboot映射图片
在application.yml里面添加图片存放的位置
123user: file: path: D:/home/data/schoolNews/
自己写上传和下载的方法
例如
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576package com.controller;/** * 上传文件映射表 */@RestController@RequestMapping("file")@SuppressWarnings({"unchecked","rawtypes"})public class FileController{ @Value("${user.file.path}") private Strin ...
MySQL分区建表例子
以下为MySQL分区建表的例子
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153CREATE TABLE `mz_mjzcfxxmx` ( `SERIALNUM_ID` varchar(96) NOT NULL COMMENT '业务角度唯一性ID', `DATAGENERATE_DATE` datetime NOT N ...





