參加 Hackathon 可以接觸到內(nèi)核、工具、生態(tài)各個領(lǐng)域中志同道合的小伙伴，通過他們的項(xiàng)目學(xué)習(xí)到非常好的創(chuàng)意。大家的想法都很奇妙，充滿了創(chuàng)新力，在平時的研發(fā)過程中，很少能接觸到這些，Hackathon 能夠幫助我們打開思維，讓我們知道原來 TiDB 還可以這么玩。
—— He3 團(tuán)隊(duì)
TiDB 在使用過程中，隨著用戶數(shù)據(jù)量的持續(xù)增長，存儲成本在數(shù)據(jù)庫總成本中的占比將會越來越高。如何有效降低數(shù)據(jù)庫存儲成本擺在了許多用戶面前。
在眾多解決方案中，有一種方法是將冷熱數(shù)據(jù)實(shí)現(xiàn)分層存儲。在絕大部分場景中，數(shù)據(jù)其實(shí)都可以分為 “冷數(shù)據(jù)” 和 “熱數(shù)據(jù)”。數(shù)據(jù)劃分的原則，可以根據(jù)時間遠(yuǎn)近、熱點(diǎn)/非熱點(diǎn)用戶等等。用戶通常只訪問一段時間之內(nèi)的數(shù)據(jù)，例如近一周或一個月。如果數(shù)據(jù)不做劃分，必然會導(dǎo)致一定程度上的性能、成本損耗。
在剛剛收官的 TiDB Hackathon 2021 中， He3 團(tuán)隊(duì)就選擇了冷熱數(shù)據(jù)分層存儲來降低 TiDB 的存儲成本。他們在設(shè)計(jì)中將熱數(shù)據(jù)存放在 TiKV 上，將查詢和分析幾率比較少的冷數(shù)據(jù)存放到便宜通用的云存儲 S3，同時使 S3 存儲引擎支持 TiDB 部分算子下推，實(shí)現(xiàn) TiDB 基于 S3 冷數(shù)據(jù)的分析查詢。項(xiàng)目獲得了評委的一致好評，力奪本屆賽事的一等獎。
這個項(xiàng)目為后面 TiDB 與 S3 的整合打下不錯的基礎(chǔ)，在這次 Hackathon 驗(yàn)證了可行性。它的原理其實(shí)很簡單，將冷的數(shù)據(jù)放到 S3，將算子盡量下推到 S3，通過 S3 原生的 select 功能加速查詢。當(dāng)然，如果數(shù)據(jù)已經(jīng)在 S3，還可以通過 Cloud 上其他的服務(wù)，譬如 Athena， 來做更多的查詢聚合操作，加速查詢。這次大家都是在通過 partition 做文章，畢竟根據(jù)時間片來分的 partition 是非常常用的一種操作。我們內(nèi)部現(xiàn)在也在通過 LSM 做一些跟 S3 整合的研究，我還是很期待這些都能在今年看到不少的成果產(chǎn)出。譬如 TiDB Cloud dev tier 集群就可以完全用這套機(jī)制來驗(yàn)證。
—— 評委唐劉點(diǎn)評
為什么選擇冷熱數(shù)據(jù)分層存儲這個方向？
He3 團(tuán)隊(duì)的隊(duì)長薛港，隊(duì)員時丕顯、沈政，都是來自移動云數(shù)據(jù)庫團(tuán)隊(duì)的研發(fā)工程師，三人平時的工作就是從事云數(shù)據(jù)庫服務(wù)的開發(fā)，降低用戶在云上使用數(shù)據(jù)庫的成本是他們一直追求的目標(biāo)。
在去年 7 月份的 Hacking Camp 中，He3 就曾基于 TiDB 實(shí)現(xiàn)了提供 Serverlessdb 服務(wù)的 Serverlessdb for HTAP 項(xiàng)目。用戶在使用 TiDB 時可以按使用量付費(fèi)，不用再像傳統(tǒng) RDS 需要包年包月，大大降低了用戶使用 TiDB 的成本。該項(xiàng)目也因此獲得了 Hacking Camp 優(yōu)秀畢業(yè)生和最佳應(yīng)用獎。
隨著產(chǎn)品在移動云上的落地，很多用戶在使用了一段時間后發(fā)現(xiàn)隨著數(shù)據(jù)量的增加，存儲成本越來越高。薛港解釋道，在公有云上，塊存儲收費(fèi)比 S3 對象存儲要高很多，用戶部分場景的數(shù)據(jù)其實(shí)很多是冷數(shù)據(jù)，完全可以存放在 S3 上。于是在去年 12 月份時，他們就開始思考如何降低 TiDB 的存儲成本。恰好這時 TiDB Hackathon 2021 啟動了，薛港和時丕顯、沈政一商量，就決定將冷熱數(shù)據(jù)分層存儲作為今年的比賽項(xiàng)目。在答辯時，他們專門用了一頁 PPT 分析了運(yùn)用該項(xiàng)目后的成本變化：
項(xiàng)目方向定了，接下來就該報(bào)名了。隊(duì)長薛港在看電視的時候?qū)?-3 這種元素產(chǎn)生了興趣，經(jīng)過了解，發(fā)現(xiàn)它可以用作核聚變?nèi)剂希痊F(xiàn)有的核燃料能量更大，并且只有很少的放射性，是一種清潔高效安全的發(fā)電燃料。這種特性和他們對分布式云數(shù)據(jù)庫的期望完全一致 —— 安全、高性能、易用、價格便宜，于是 He3 便成了隊(duì)名。
在接下來不到一個月的時間中，薛港作為隊(duì)長負(fù)責(zé)整體需求的確認(rèn)、架構(gòu)設(shè)計(jì)、方案驗(yàn)證以及具體框架的開發(fā)。其他隊(duì)員主要負(fù)責(zé)功能開發(fā)，時丕顯負(fù)責(zé)算子下推與數(shù)據(jù)類型支持，沈政重點(diǎn)在性能優(yōu)化以及 TPC-H 測試。
該項(xiàng)目解決了什么問題？
He3 開發(fā)的 TiDB 冷熱數(shù)據(jù)分層存儲項(xiàng)目，能夠以極簡的方式實(shí)現(xiàn)冷熱數(shù)據(jù)分離：
針對普通表：實(shí)現(xiàn) insert into select 的方式完成冷熱數(shù)據(jù)分離：
支持創(chuàng)建 S3 外部表；支持通過 insert into s3_table select from tikv_table where ... ，把 TiKV 內(nèi)部表的數(shù)據(jù)轉(zhuǎn)儲到 S3 對象存儲上；支持通過 insert into tikv_table select from s3_table where ... ，把 S3 外部表的數(shù)據(jù)轉(zhuǎn)儲到 TiKV 內(nèi)部表。
針對分區(qū)表：自動完成分片表轉(zhuǎn)化成 S3 外部表，保留主表和 S3 外部表的主從關(guān)系。
支持通過 Alter 分區(qū)表操作，把 TiKV 內(nèi)部分區(qū)表的數(shù)據(jù)自動轉(zhuǎn)儲到對應(yīng)的 S3 外部表中，自動完成以下幾件事：
內(nèi)部 TiKV 分區(qū)表數(shù)據(jù)轉(zhuǎn)存到 S3 對象存儲中；更改分區(qū)表元數(shù)據(jù)，把 TiKV 內(nèi)部分區(qū)表轉(zhuǎn)化成 S3 外部表，核心要點(diǎn)保留 S3 外部表和主表的分區(qū)關(guān)系；刪除 TiKV 內(nèi)部分區(qū)表數(shù)據(jù)。
轉(zhuǎn)換后 S3 外部分區(qū)表對用戶完全透明，對用戶來說，S3 外部表就是主表的一個分片表。例如針對主表的查詢結(jié)果包含部分 TiKV 內(nèi)部分片表以及部分 S3 外部表對應(yīng)的分片表數(shù)據(jù)，那么返回的結(jié)果就會來自兩部分：TiKV 內(nèi)部分片表，以及 S3 外部表。
保證用戶使用 S3 外部表和 TiKV 內(nèi)部表沒有任何區(qū)別：
S3 外部表支持所有的數(shù)據(jù)類型；S3 外部表支持所有的算子；優(yōu)化 S3 外部表操作性能在用戶可接受的范圍內(nèi)。
通過支持謂詞(邏輯運(yùn)算、比較運(yùn)算、數(shù)值運(yùn)算），聚合函數(shù)、Limit 等算子下推到 S3 節(jié)點(diǎn)，利用 S3 的計(jì)算能力提升查詢性能。
為了達(dá)到期望所有效果，He3 在此次 Hackathon 中開發(fā)修改了 TiDB 一些模塊：
SQL Parser 模塊、系統(tǒng)表模塊
增加一個新的系統(tǒng)表，用于保存 S3 元數(shù)據(jù)， 每一條記錄對應(yīng)一個 S3 存儲元數(shù)據(jù)：包含 S3 的 endpoint, access key, secret key， s3 bucket。insert into mysql.serverobject values("s3object","http://192.168.117.220:9000","minioadmin", "minioadmin","s3bucket")；支持創(chuàng)建外部表，相比普通表增加了 s3option 選型，對應(yīng) S3 元數(shù)據(jù)對象，外部表對應(yīng) S3 的存儲路徑：Bucketname/DBName/TableName create table s3_table(id1 int8,id2 char(30)) s3options s3object；支持分片表自動轉(zhuǎn)換成 S3 外部表
執(zhí)行器模塊
能夠區(qū)分操作表是否是 S3 外部表，如果是外部表，寫入時，數(shù)據(jù)以 256M 為粒度保存到 S3 的一個對象中 , 當(dāng)查詢 S3 外部表時，S3 對象會被以流式的方式裝配到 chunk 中，以支持上層算子操作；支持算子下推到 S3 節(jié)點(diǎn)，利用 S3 節(jié)點(diǎn)的計(jì)算能力加速 S3 外部表的性能；S3 外部表支持所有的數(shù)據(jù)類型，存儲在 S3 的數(shù)據(jù)按 S3 外部表的 schema 對應(yīng)的數(shù)據(jù)類型保存到 chunk 里，相關(guān)列都會基于數(shù)據(jù)類型編碼；支持 Alter 實(shí)現(xiàn)內(nèi)部分片表數(shù)據(jù)自動轉(zhuǎn)儲到 S3 外部表中，同時保留主表和 S3 外部表的主從關(guān)系不變。
優(yōu)化器模塊
少量無法下推 S3 的算子，He3 修改了優(yōu)化器阻止這部分算子下推。當(dāng)前不支持的算子，主要就是包含 TopN 算子。
來自性能測試的挑戰(zhàn)
He3 最初設(shè)定的目標(biāo)有兩個：一是希望數(shù)據(jù)能夠以比較簡單的方式直接實(shí)現(xiàn)冷熱數(shù)據(jù)分離；二是希望冷數(shù)據(jù)分離到 S3 后，它的查詢性能能夠在合理的時間范圍內(nèi)。所以一開始就把跑通 TPC-H 作為目標(biāo)。
項(xiàng)目的冷熱數(shù)據(jù)分離功能很快就完成了開發(fā)，但是接下來他們遇到了一個最大的問題——性能總是無法達(dá)標(biāo)。一開始的方案設(shè)計(jì)是將全部數(shù)據(jù)都讀取到 TiDB 上集中處理，但在測試中發(fā)現(xiàn)即使只有 10GB 的數(shù)據(jù)，TPC-H 也跑不出來。三名隊(duì)員通過討論、調(diào)研、分析，發(fā)現(xiàn) S3 其實(shí)也具備一定的計(jì)算能力，是否可以把部分計(jì)算下推到 S3 ，讓 S3 和 TiKV 一樣能夠承載部分計(jì)算？
改變方案后通過幾個場景算子下推，He3 發(fā)現(xiàn)性能提升非常明顯，在之后的開發(fā)中就將能下推的算子全部下推，項(xiàng)目的整個性能優(yōu)化每天都會以 20% 的幅度在提升。最終在比賽日上，他們跑通了整個 TPC-H 測試。
He3 在 Hackathon 中的 TPC-H 測試成績
此次 Hackathon 中，其實(shí)還有另一支賽隊(duì) Interstellar 也選擇了分層存儲，這也給 He3 隊(duì)員們留下了一個有趣的畫面：在 Interstellar 開始答辯時，He3 以為是自己在投屏，手忙腳亂地到處找關(guān)閉投屏按鈕，直到對方開始答辯了，他們才意識到原來是兩個隊(duì)伍的題目撞衫了。
本次參賽的心路歷程
He3 隊(duì)員們其實(shí)在去年也參加了 TiDB Hackathon，因?yàn)閯偨佑| TiDB ，并沒有碰內(nèi)核。當(dāng)時心中就埋下一個想法，下次參賽一定要做夠硬的項(xiàng)目。這也是薛港在畢業(yè)后就給自己樹立的目標(biāo) —— 做數(shù)據(jù)庫內(nèi)核，并認(rèn)為這是一件很酷的事情。于是在今年比賽中， He3 選擇了最硬核的賽道 —— 內(nèi)核組。
過去一年的工作對他們幫助非常大，由于三人平時的工作和 TiDB 結(jié)合非常多，在碰到問題的時候就會去想有什么解決方案，這個過程中很容易產(chǎn)生各種好的 idea。例如這次如何降低 TiDB 存儲成本的問題，他們當(dāng)時就想出了至少三種方案：第一種是將 TiDB 底層的編碼方式做一些改變，讓 TiDB 的整個壓縮比能夠再下降 50% - 60%；第二種也是一種冷熱數(shù)據(jù)分離方案，將 LSM-tree 和 S3 集成；第三種就是現(xiàn)在的冷熱數(shù)據(jù)存儲分層方案。但前兩種方案在 Hackathon 如此短的周期內(nèi)很難完成，于是他們就采用了第三種方案。
未來， He3 還會從三個方向?qū)⒃擁?xiàng)目持續(xù)演進(jìn)、迭代：
通過新的編碼方式以及加速算法，降低數(shù)據(jù)在 S3 的存儲容量，基于本次比賽中實(shí)現(xiàn)的效果再降低 50% 的存儲容量；持續(xù)優(yōu)化 TiDB 對接 S3 的存儲差異性能，在這次比賽的后期，這塊性能每天都有 20% 的性能提升，He3 認(rèn)為這里其實(shí)還有很大的提升空間；進(jìn)一步簡化用戶的冷熱數(shù)據(jù)分離方式。對這次項(xiàng)目的最終實(shí)現(xiàn)， He3 其實(shí)還有一些遺憾，一開始設(shè)計(jì)的時候他們想過現(xiàn)在冷熱數(shù)據(jù)分離還需要 DBA 來做一些操作，如果能將這個工作進(jìn)一步實(shí)現(xiàn)自動化操作，就可以讓冷熱數(shù)據(jù)分離應(yīng)用性再上一個臺階，不過由于時間比較有限的原因沒能實(shí)現(xiàn)。
此外，除了項(xiàng)目本身繼續(xù)完善外，He3 還希望在迭代到一定程度后就將整個產(chǎn)品的代碼提交給社區(qū)，用開源的方式回饋社區(qū)，大家一起共創(chuàng)。
