淘宝数据库OceanBaseSQL编译器部分源码阅读--Schema模式(二)

2015-01-21 11:58:44 · 作者: · 浏览: 22
oin)关系的配置

联表(join)关系是OceanBase提供的简化关联查询的有力手段.
join :这个配置项里描述的是join关系的具体内容
我们看一个例子:
join=rowkey[8,16]% collect_item_info:item_name$item_name,item_price$new_price
这一行表示当前表的一个join关系.
join=rowkey[8,16]%collect_item_info 是表示用当前记录的主键的第8-16字节(闭区间) 与表collect_item_info 进行join操作. “:”后的内容表示具体发生join的列.
用”$”分开的两个列分别被称为参与join操作的左列和右列. join操作总是用右列的值合并到左列的值上, 然后将合并的结果返给用户(左列和右列的值都不发生变化, 合并只体现在反给用户的结果中).
所以上述的表达是说, 当访问当前表的时候, 如果访问到列 item_name 或者 item_price. 则需要以当前主键的 8-16 字节为主键查找表 collect_item_info. 如果查到记录, 则用其item_name 列的值与当前记录的item_name的值做合并, 用其new_price列的值与当前记录的item_price的值做合并, 将合并的结果作为最终值返给客户.

以上的格式介绍出自OceanBase的官方文档 doc/OceanBase的schema.docx

Schema的管理

以下讨论基于OceanBase0.3版本。
Schema由RootServer进行管理,包括Schema配置文件合Schema管理器两部分。RootServer可以通过 switch_schema 和 switch_schema_manager 来切换不同的schema配置文件和不同的schema管理器 ObSchemaManagerV2 。

    bool ObRootServer2::get_schema(ObSchemaManagerV2& out_schema) const;
    /* 从本地读取新schema, 判断兼容性 */
    int ObRootServer2::switch_schema(int64_t time_stamp, ObArray &deleted_tables);
    void ObRootServer2::switch_schema_manager(ObSchemaManagerV2 *schema_manager);

Schema的代码组织

与配置文件的结构类似,表、列和join联表分别对应了3个类。

class ObJoinInfo;
class ObColumnSchemaV2;
class ObTableSchema;

应用信息[app_name]的相关代码在哪?
这三个类主要功能就是对配置文件中的各个属性进行get和set。各种属性在上节已经有较详细的介绍,不再重复。

Schema管理器

Schema管理器ObSchemaManagerV2负责管理每个Schema中的TableSchema,ColumnSchema,JoinInfo。拥有TableSchema,ColumnSchema,JoinInfo的get和set函数。
Schema管理器ObSchemaManagerV2对应了一个完整的Schema配置文件。可以从配置文件解析生成相应的TableSchema,ColumnSchema,JoinInfo。一个配置文件中可以配置多对张表,每个表有多个列,体现在数组table_infos_和columns上。,此外,还有两个ObHashMap结构以列Id和列名作为key,用于加速列的查询。

class ObSchemaManagerV2
{
public:
    /*省略其他方法,成员变量*/
    bool parse_from_file(const char* file_name, tbsys::CConfig& config);
    bool parse_one_table(const char* section_name, tbsys::CConfig& config, ObTableSchema& schema);
    bool parse_column_info(const char* section_name, tbsys::CConfig& config, ObTableSchema& schema);
    bool parse_join_info(const char* section_name, tbsys::CConfig& config, ObTableSchema& schema);
    bool parse_expire_info(const char* section_name, tbsys::CConfig& config, ObTableSchema& schema);
};
private:
    char app_name_[OB_MAX_APP_NAME_LENGTH];

    ObTableSchema    table_infos_[OB_MAX_TABLE_NUMBER];
    ObColumnSchemaV2* columns_;

    hash::ObHashMap column_hash_map_;
    hash::ObHashMap id_hash_map_;

    int64_t join_table_nums_;
    uint64_t join_tables_[OB_MAX_TABLE_NUMBER];

其他涉及Schema管理的模块

在OceanBase系统中,用户的读写事务都会发给MergeServer。MergeServer解析这些读写事务的内容,例如词法和语法分析、schema检查等。对于只读事务,由MergeServer发给相应的ChunkServer分别执行后再合并每个ChunkServer的执行结果;对于读写事务,由MergeServer进行预处理后,发送给UpdateServer执行。
因此在MergeServer中也存在一个Schema管理的接口ObMergerSchemaManage.

ObMergerSchemaManager管理SchemaManager,可以获取,添加和释放ObSchemaManagerV2,schema manager 最多有 MAX_VERSION_COUNT(默认为4)个 SchemaManager的实例。我们可以通过get_schema来获取Schema管理器ObSchemaManagerV2。还可以通过add_schema,release_schema来添加或释放ObSchemaManagerV2。如果实例到达上限时继续添加,则会删除最旧的一个实例,然后在添加新的SchemaManager实例。

const ObSchemaManagerV2 * get_schema(const ObString & table_name);
const ObSchemaManagerV2 * get_schema(const uint64_t table_id);

int add_schema(const ObSchemaManagerV2 & schema, const ObSchemaManagerV2 ** manager = NULL);
int release_schema(const ObSchemaMana