淘宝数据库OceanBase SQL编译器部分源码阅读--Schema模式

什么是Database，什么是Schema，什么是Table，什么是列，什么是行，什么是User？我们可以可以把Database看作是一个大仓库，仓库分了很多很多的房间，Schema就是其中的房间，一个Schema代表一个房间，Table可以看作是每个Schema中的柜子，行和列就是柜子中的格子。User就是房间的主人。简单来说，Schema是包括表，列，索引，视图等数据库对象的集合。

OceanBase中的强Schema

OceanBase要求schema强类型约束，也就是要预先定义好schema。这与传统的数据库基本相同，与很多nosql的schema-free大相径庭。
也就是说，OceanBase的数据模式是基于关系模型的。关系模型通过关系分解消除数据结构的复杂性，获得了对数据查询的能力和灵活性。而关系模型的缺点也是因为关系分解，使得在需要“组装”的数据时要进行join操作，而join则是相当耗时的操作。
大部分的NoSQl产品以MongoDb为代表，是基于文档模型的，类似json的bjson格式，因此可以存储比较复杂的数据类型，并且可以避免了join操作。在获得数据结构的可扩展性的同时，则失去了对通用数据查询语言（SQL）的支持。你需要重新学习这些NoSQL产品的查询语言。
关于关系数据库与NoSQL的对比，这里有一篇好文推荐给大家：

自由模式的MySQL vs NoSQL。

OceanBase中Schema的格式

根据OceanBase官方文档的介绍:
OceanBase 中的schema 表示为纯文本的ASCII码文件, 采用常见的配置文件的形式. 分成各个 section. 每个section 下有多个配置项, 配置项名称和配置值之间用”=”连接.

OceanBase 中 schema 是以应用为单位的, 一个应用一个schema文件. 一个应用中可以包含多张表, 每张表中可以包含多个列, 以及多个联表(join)关系.

我们以下面一个例子test1.ini文件来逐个梳理Schema的各个部分。文件内容如下：

[app_name]       
name=collect
max_table_id=1003

[u_collect_item_id]      
table_id=1001
table_type=1
column_info=1,2,item_name,int
column_info=1,3,new_price,varchar,20
rowkey_split=0
rowkey_max_length=9
max_column_id=3

[collect_info]
table_id=1002
table_type=2
column_info=1,2,item_name,int
column_info=1,3,item_price,varchar,20
rowkey_split=8
join=rowkey[8,16]%u_collect_item_id:item_name$item_name,item_price$new_price
rowkey_max_length=17
max_column_id=3

[collect_item_id]
table_id=1003
table_type=2
column_info=0,2,item_name,varchar,20
column_info=0,3,new_price,int
rowkey_split=0
rowkey_max_length=9
max_column_id=3

应用的信息

[app_name] section为应用的信息。其他section每一个代表一张表。
目前主要有两个配置项:
name :用来配置应用的名称, 是一个长度不超过128位的字符串.
max_table_id :用来记录当前已经使用的最大的table_id. 在OceanBase中, 每个表都由table_id唯一标识, 且table_id不可以被重复使用. max_table_id 这个配置项, 主要是为了方便 schema 生成程序记录已经使用过的table_id.

表的信息

Schema定义文件中，除了[app_name]外的其他section都是一张表的信息。 section名就是表名，因此上面文件中定义了3张表u_collect_item_id，collect_info，collect_item_id.
table_id :配置项配置了这张表在OceanBase系统中的唯一id, 由schema 生成工具自动生成. 在OceanBase系统中, id的取值范围是0-65535.系统会保留0-1000的table_id供系统自身使用.

table_type :用来配置表是内存表还是磁盘表. 因为一张表的动态数据存储在UpdateServer上,动态部分不受table_type影响, 所以table_type实际上表示了ChunkServer上的静态部分是放到内存中还是放到磁盘上. 该配置项取值为 1 的时候, 表示静态部分放到磁盘上, 为2的时候, 表示静态部分放到内存中.

rowkey_max_length :用来配置表中主键的最大长度.

rowkey_split :配置表在存储的时候的拆分限制. 因为一个表的数据可能放到多个tablet上存储, 这个值告诉ChunkServer, 在分裂数据到不同tablet时哪些数据是不应该被分开的, 比如, 当这个值为9的时候, 表示主键前9个字节完全相同的记录不应该被分到两个不同的tablet中.

max_column_id :配置本表中已经使用过的最大的列id, 由schema 生成程序维护并使用, 防止对列id的重用.

compress_func_name :可选项, 配置这个表在存储时使用的压缩算法名字.

block_size :可选项, 配置表在存储成sstable时,采用的block大小.

use_bloomfilter :可选项, 配置表是否使用布隆过滤器, 非零值为使用.

rowkey_is_fixed_length :可选项, 配置主键是否是固定长度值. 非零值表示主键是固定长度的. 如果不配置该项, 默认主键为固定长度.

列的配置

column_info :配置项中的内容是具体描述一列的, 用”,”分开, 其内容包含列属性, 列id, 列名, 列类型.

列的属性：取值为0或者1. 为0表示该列只有动态数据(只存在于UpdateServer); 为1表示该列既有动态数据又有静态数据(既存在于UpdateServer 又存在于 ChunkServer).
列id：是这个列在表中的唯一标识, 该值由schema生成程序生成, 不可以被重用. 列id必须大于1, 系统保留id为1的用于表示主键.
列名：是一个长度不超过128位的字符串.
类型：列的数据类型.

所以例子中的
column_info=1,3,item_price,varchar,20
表示 : 列名字是 item_price; id 是3; 静态数据放在磁盘上; 类型是 varchar, 长度是20个字符.

因为OceanBase的联表(join)设计,使得某些只有动态数据的列是有意义的, 这种列一般在转储过程中会通过join运算转储到其它表中.

联表(J

淘宝数据库OceanBaseSQL编译器部分源码阅读--Schema模式(一)

淘宝数据库OceanBase SQL编译器部分 源码阅读--Schema模式