python mysql mysql表數(shù)據(jù)量太大,達到了1億多條數(shù)據(jù),除了分庫分表之外,還有沒有其他的解決方式?
mysql表數(shù)據(jù)量太大,達到了1億多條數(shù)據(jù),除了分庫分表之外,還有沒有其他的解決方式?在正常配置下,MySQL只能承載2000萬數(shù)據(jù)(同時讀寫,表中有大文本字段,單服務(wù)器)?,F(xiàn)在已經(jīng)超過1億,而且還在
mysql表數(shù)據(jù)量太大,達到了1億多條數(shù)據(jù),除了分庫分表之外,還有沒有其他的解決方式?
在正常配置下,MySQL只能承載2000萬數(shù)據(jù)(同時讀寫,表中有大文本字段,單服務(wù)器)?,F(xiàn)在已經(jīng)超過1億,而且還在增加,建議按以下方式處理:
1子表。它可以按時間或一定的規(guī)則進行拆分,以便盡可能地查詢子表中的數(shù)據(jù)庫。這是最有效的方法。特別是寫,放入一個新表,并定期同步。如果記錄不斷更新,最好將寫入的數(shù)據(jù)放在redis中,并定期同步表3的大文本字段,將它們分隔成一個新的獨立表。對于較大的文本字段,可以使用NoSQL數(shù)據(jù)庫
4優(yōu)化體系結(jié)構(gòu),或者優(yōu)化SQL查詢,避免聯(lián)合表查詢,盡量不要使用count(*)、in、recursion等性能消耗語句
5使用內(nèi)存緩存,或者在前端讀取時增加緩存數(shù)據(jù)庫。重復(fù)讀取時,直接從緩存中讀取。
以上是一種低成本的管理方法,基本上幾個服務(wù)器就可以做到,但是管理起來有點麻煩。
當然,如果總體數(shù)據(jù)量特別大,并且您不關(guān)心投資成本,請使用cluster和tidb
1。優(yōu)化SQL語句、索引和表結(jié)構(gòu)。
2. 打開查詢緩存時,查詢緩存緩存選擇查詢及其結(jié)果數(shù)據(jù)集。當執(zhí)行同一個select查詢時,MySQL將直接從內(nèi)存中檢索結(jié)果,這加快了查詢的執(zhí)行速度,減少了對數(shù)據(jù)庫的壓力。執(zhí)行show變量,比如“have”uqueryucache,您可以檢查MySQL查詢緩存是否打開。要打開查詢緩存,只需配置我的.cnf具體如下:
querycacheuuutype=1
querycacheuusize=128M
querycacheulimit=1m
保存后重新啟動mysql。
3. 選擇InnoDB存儲引擎。MySQL常用的存儲引擎是MyISAM和InnoDB。它們之間的區(qū)別如下:
MyISAM
查詢速度快;
支持表級鎖,在此期間不能對表執(zhí)行其他操作;
支持全文檢索;
支持數(shù)據(jù)壓縮、自復(fù)制、查詢緩存和數(shù)據(jù)加密;
不支持外鍵;
不支持事務(wù),因此沒有提交和回滾操作;
不支持群集數(shù)據(jù)庫。
InnoDB
支持行級鎖;
支持外鍵和外鍵約束強制執(zhí)行;
支持事務(wù),可以執(zhí)行提交和回滾操作;
支持數(shù)據(jù)壓縮、自復(fù)制、查詢緩存和數(shù)據(jù)加密;
可以在群集環(huán)境中使用,但不完全支持。InnoDB表可以轉(zhuǎn)換為NDB存儲引擎,可以在集群環(huán)境下使用。
mysql優(yōu)化教程?
Java可以實現(xiàn)與大多數(shù)主流數(shù)據(jù)庫的連接和操作。
大多數(shù)日常企業(yè)開發(fā)都使用開源數(shù)據(jù)庫。
1)MySQL數(shù)據(jù)庫是目前應(yīng)用最廣泛、最好的免費開源數(shù)據(jù)庫
2)MariaDB數(shù)據(jù)庫是MySQL的一個分支,與MySQL保持著高度的兼容性,保證了數(shù)據(jù)庫二進制奇偶校驗的直接替換功能,以及與MySQL的兼容性3)PostgreSQL數(shù)據(jù)庫采用了經(jīng)典的C/S(client/server)結(jié)構(gòu),即一個客戶端對應(yīng)一個服務(wù)器端守護程序模式。PostgreSQL有一個完美的驅(qū)動程序,并支持標準的ansi sql和擴展函數(shù)
其他高薪產(chǎn)品,如Oracle和sql server。