四大國(guó)產(chǎn)數(shù)據(jù)庫(kù) htap數(shù)據(jù)庫(kù)是什么?
htap數(shù)據(jù)庫(kù)是什么?Gartner給出了HTAP數(shù)據(jù)庫(kù)的清晰定義。HTAP數(shù)據(jù)庫(kù)需要同時(shí)支持OLTP和OLAP場(chǎng)景。基于創(chuàng)新的計(jì)算和存儲(chǔ)框架,可以保證事務(wù)在同一數(shù)據(jù)上進(jìn)行,同時(shí)支持實(shí)時(shí)分析,節(jié)省了耗
htap數(shù)據(jù)庫(kù)是什么?
Gartner給出了HTAP數(shù)據(jù)庫(kù)的清晰定義。HTAP數(shù)據(jù)庫(kù)需要同時(shí)支持OLTP和OLAP場(chǎng)景。基于創(chuàng)新的計(jì)算和存儲(chǔ)框架,可以保證事務(wù)在同一數(shù)據(jù)上進(jìn)行,同時(shí)支持實(shí)時(shí)分析,節(jié)省了耗時(shí)的ETL過程。
支撐日活百萬(wàn)用戶的高并發(fā)系統(tǒng),應(yīng)該如何設(shè)計(jì)其數(shù)據(jù)庫(kù)架構(gòu)? ?
以MySQL為列:
1:要支持高并發(fā)系統(tǒng),必須涉及事務(wù),所以數(shù)據(jù)庫(kù)引擎必須選擇InnoDB。InnoDB支持事務(wù),事務(wù)級(jí)別取決于業(yè)務(wù)。如果業(yè)務(wù)數(shù)據(jù)一致性要求非常高,事務(wù)將開啟序列化級(jí)別,這將完全隔離事務(wù),但會(huì)導(dǎo)致對(duì)鎖資源的競(jìng)爭(zhēng)加劇。MySQL的性能在一定程度上降低了。
2:數(shù)據(jù)庫(kù)分為主數(shù)據(jù)庫(kù)和從數(shù)據(jù)庫(kù)。主數(shù)據(jù)庫(kù)負(fù)責(zé)寫入數(shù)據(jù),集群數(shù)據(jù)庫(kù)負(fù)責(zé)讀取數(shù)據(jù)。注意主從數(shù)據(jù)庫(kù)的數(shù)據(jù)一致性。
3:冷熱數(shù)據(jù)分離,美團(tuán)、饑餓部分設(shè)計(jì)采用冷熱數(shù)據(jù)分離。以訂單為例,出庫(kù)單的主要業(yè)務(wù)場(chǎng)景是查詢。數(shù)據(jù)查詢?cè)较蚯?,概率越低。這是冷數(shù)據(jù)。正在交易的訂單是熱點(diǎn)數(shù)據(jù),需要隨時(shí)查詢和更新。冷數(shù)據(jù)可以放入redis緩存。這將提高查詢效率。
4:數(shù)據(jù)表設(shè)計(jì),充分利用索引查詢。businesssql避免返回?zé)o用的行和列,禁止使用select*query,在查詢時(shí)增加限制,并盡可能返回滿足要求的行。對(duì)于復(fù)雜的SQL,請(qǐng)考慮拆分SQL。拆分SQL有一個(gè)優(yōu)點(diǎn)。對(duì)于重復(fù)查詢SQL,將第二次查詢放入MySQL緩沖區(qū),避免重復(fù)磁盤操作,提高訪問性能。
5:子數(shù)據(jù)庫(kù)和子表。例如,業(yè)務(wù)數(shù)據(jù)按月份分類。在一定程度上,增加、刪除、修改和檢查的壓力將得到緩解。
希望對(duì)您有所幫助。謝謝您。
大數(shù)據(jù)時(shí)代需要哪些數(shù)據(jù)庫(kù)技術(shù)?
Tidb是一款面向在線事務(wù)處理(HTAP)的融合數(shù)據(jù)庫(kù)產(chǎn)品:混合事務(wù)/分析處理。實(shí)現(xiàn)了一鍵水平擴(kuò)展、多拷貝數(shù)據(jù)安全性強(qiáng)、分布式事務(wù)、實(shí)時(shí)OLAP等重要特性。同時(shí),它與MySQL協(xié)議和ecolog兼容,易于移植,運(yùn)行維護(hù)成本低。更重要的是,它是一個(gè)開源的分布式數(shù)據(jù)庫(kù),在大數(shù)據(jù)時(shí)代不可或缺。
大數(shù)據(jù)時(shí)代其實(shí)就是數(shù)據(jù)集成和分析的時(shí)代,傳統(tǒng)的數(shù)據(jù)庫(kù)是分不開的,比如MySQL和Hadoop。不過,目前各大廠商都在自己研究,比如阿里就有單獨(dú)的研發(fā)。騰訊也是如此。當(dāng)然,標(biāo)題的分析速度也要提高,否則就無法實(shí)現(xiàn)準(zhǔn)確的推薦。
大數(shù)據(jù)時(shí)代,每個(gè)大工廠都有自己的核心計(jì)算分析模型。當(dāng)然,一定是在海量數(shù)據(jù)之后。不需要小公司,只需要幾個(gè)mysql。Tidb也不錯(cuò)。