夜雨聆风学习资料网

ARTICLE · 1392186

MongoDB|怎样在 .wt 文件里读出一条文档?(下)

MongoDB|怎样在 .wt 文件里读出一条文档?(下)

《数据库灾难恢复丛书》MongoDB 卷

1.1 单条数据的结构

BSON 文档的字节边界

我们将页内第 0x2B 字节的位置的 BSON〔1〕 起点重新记为文档内第 0 字节的位置。BSON 开头的四字节保存文档总长度,末尾是 00,中间依次保存各元素。图 1.1-7 标出这三个区域。

图 1.1-7 确定样本 BSON 的结束位置

这条 BSON 的 39 字节完整列在下面,左侧两列同时标出页内偏移和文档内偏移,便于在叶页中找到同一个字节。

页内偏移  文档内偏移  十六进制字节                                       字符0000002B  00000000    27 00 00 00 10 5F 69 64 00 2A 00 00 00 02 6E 61  |'...._id.*....na|0000003B  00000010    6D 65 00 03 00 00 00 41 42 00 0A 6E 00 10 71 74  |me.....AB..n..qt|0000004B  00000020    79 00 07 00 00 00 00                             |y......|

前四字节 27 00 00 00 按照小端字节序读为 39,与短值的长度相同。这 39 字节包括长度字段和最后的 00,因此,文档结束字节应在文档内第 38 字节的位置(0x26)。在读取总长度之后,MongoDB 会将它与最小长度 5 比较,并算出文档结束后的第一个位置。

/* 书注 从文档起点加上总长度,得到结束后的第一个位置。 */const char* _updateFrame(Cursor cursor) {    auto obj = cursor.ptr;    auto len = cursor.template read<int32_t>();    uassert(        ErrorCodes::InvalidBSON,        fmt::format("Nested BSON object has to be at least 5 bytes (decoded length: {})", len),        len >= 5);    _currFrame->end = obj + len;

源码 1.1-5 MongoDB 8.0.16 · src/mongo/bson/bson_validate.cpp · 第 551–558 行。

BSON 元素从文档内第 0x04 字节的位置开始排列,每个元素先保存一字节的类型,再保存以 00 结束的字段名。字段名之后是该类型规定的值;值读到哪里,由类型及其长度信息决定。

图 1.1-8 按照 BSON 元素顺序读取字段

第一个元素在文档内第 0x04 字节的位置保存类型 10,即 32 位有符号整数。接下来的 5F 69 64 00 是字段名 _id 和终止字节。字段值从第 0x09 字节的位置开始,2A 00 00 00 按小端读为 42。因为四字节值到第 0x0C 字节的位置为止,所以下一个元素从第 0x0D 字节的位置开始。

图 1.1-9 BSON 的 _id 元素

第二个元素的类型为 02,字段名是 name。值从第 0x13 字节的位置开始。先读取四字节长度 03 00 00 00,再读 41 42 00。因为这三个字节包含字符串终止字节,所以字符串本身是 AB。

图 1.1-10 BSON 的 name 元素

接着在文档内第 0x1A 字节的位置读到 0A,字段名为 n。BSON Null 在字段名的结束字节之后不占值字节,于是文档内第 0x1D 字节的位置已是下一元素的类型。这个元素再次使用 10,字段名为 qty,其四字节值解为 7。

类型字节
确定值的范围
0x10
从字段名的结束字节之后读取四字节有符号整数。
0x02
先读取四字节的小端长度,长度至少为 1。再按该长度读到字符串字节,末尾应为 00。
0x03
、0x04
从值的起点读取嵌套文档或数组自身的四字节总长度,其范围必须在外层文档内。
0x0A
BSON Null 只使用类型和字段名,字段名之后直接到下一元素或文档末尾。

在逐项读取之后,我们恰好在文档内第 0x26 字节的位置读到文档结束字节。在跳过结束字节之后,内核会比较当前位置和文档声明的末端。只有当各元素的类型、字段名和值都能按其范围读取,且结束位置相符时,才可以将这份值作为完整 BSON 导出。

/* 书注 在越过文档结束字节之后检查长度。 */MONGO_COMPILER_NOINLINE void _validateIterative(Cursor cursor) {    do {        // Use the fact that the EOO byte is 0, just like the end of string, so checking for EOO        // is same as finding len == 0. The cursor cannot point past EOO, so the strlen is safe.        uassert(InvalidBSON, "BSON size is larger than buffer size", cursor.ptr < cursor.end);        while (size_t len = cursor.strlen()) {            uint8_t type = *cursor.ptr;            _currElem = cursor.ptr;            // In case _currElem is moved (for instance when the type is CodeWScope).            auto elemStart = cursor.ptr;            cursor.ptr += len + 1;            cursor.ptr = _validateElem<true>(cursor, type);// …    // Got the EOO byte: skip it and compare its location with the expected frame end.    uassert(InvalidBSON, "incorrect BSON length", ++cursor.ptr == _currFrame->end);    _maybePopCodeWithScope(cursor);} while (_popFrame());  // Finished when there are no frames left.

源码 1.1-6 MongoDB 8.0.16 · src/mongo/bson/bson_validate.cpp · 第 665–676、690–693 行。

文档不完整时的字段保留

BSON 的 Null、空字符串和字段不存在是三种不同情况。本例的 n 在文档内第 0x1A 字节的位置有类型字节 0A,后面还有字段名 6E 00,因此它是明确保存的 Null。如果值为空字符串,元素就仍使用类型 02,长度字段应为 1,只保留字符串末尾的 00。如果文档根本没有某个字段,就没有该字段的类型字节和名称;不能因为未读到这个名称,就在输出中自行补一个 Null。

图 1.1-11 Null 元素与后续字段

文件截短会使已经确定的 BSON 长度超过现有字节。作为截短演算,文件只保留到文档内第 0x23 字节的位置,共 36 字节。因为文档声明的长度仍为 39,所以最后三个字节尚未读到。_id、name 和 n 都已完整;qty 的值应占文档内第 0x22 至第 0x25 字节,现在只有其中前两个字节,不能将它们当作完整整数 7。

图 1.1-12 截短文档与已读字段

在这种情况下,您可以保留三个完整字段,并记录 qty 缺少文档内第 0x24、第 0x25 字节,文档内第 0x26 字节的结束标志也缺失。原来的 RecordId〔2〕 1、集合文件名、叶块文件内第 0x1000 字节的位置和文档页内第 0x2B 字节的位置应与这些结果一起保存。它们可以用于寻找另一份同记录的材料;已有字段应标为部分文档,不能因为前三个字段看似正常就声称整条 BSON 已通过验证。

字段名中的 00、字符串末尾的 00 和文档末尾的 00 由所在结构区分。您应先按类型与长度移动到下一个元素,再检查最后一个结束字节;不能在文件中碰到任意一个零就结束文档。当长度字段损坏、类型无法解释或字段范围越过外层文档时,应保留当前原始字节和读取位置,等待完整材料或同版本的其他记录。

术语详解

正文中术语首次出现时的编号,对应下方同号词条。

〔1〕BSON

BSON 是 Binary JSON(二进制 JSON)的缩写,用于表示 MongoDB 文档。文档开头的四字节小端整数记录包含末尾零字节的总长度。

每个元素先保存类型和以零字节结尾的字段名,再按类型保存值。字符串值自己的四字节长度包含字符串末尾的零字节。如果记录截断在字符串内,您就可以保留已读前缀并记录缺失字节的位置。

〔2〕RecordId

RecordId 是 MongoDB 在记录存储中定位一条记录的键。普通集合可以使用整数键,聚集集合的记录存储使用字节串键。

RecordId 的编码由存储表的键格式决定。文档中的 _id 是 BSON 字段,普通集合的二级索引可以用 RecordId 查找记录值。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料