mysql雙機(jī)熱備和負(fù)載均衡 大量寫入操作的mysql,用什么樣的負(fù)載均衡技術(shù)好?
大量寫入操作的mysql,用什么樣的負(fù)載均衡技術(shù)好?不建議使用負(fù)載平衡,但建議使用緩存。緩存使用redis,內(nèi)存數(shù)據(jù)庫(kù),網(wǎng)民每次訪問(wèn)的寫操作都先存儲(chǔ)在redis中。另外一個(gè)程序控制redis到MySQ
大量寫入操作的mysql,用什么樣的負(fù)載均衡技術(shù)好?
不建議使用負(fù)載平衡,但建議使用緩存。緩存使用redis,內(nèi)存數(shù)據(jù)庫(kù),網(wǎng)民每次訪問(wèn)的寫操作都先存儲(chǔ)在redis中。另外一個(gè)程序控制redis到MySQL每1min的數(shù)據(jù)同步,這種方法有兩個(gè)優(yōu)點(diǎn):提高寫入速度和降低讀寫壓力。即使redis數(shù)據(jù)丟失,也只會(huì)在1分鐘內(nèi)丟失少量數(shù)據(jù)。
mysql表數(shù)據(jù)量太大,達(dá)到了1億多條數(shù)據(jù),除了分庫(kù)分表之外,還有沒(méi)有其他的解決方式?
在正常配置下,MySQL只能承載2000萬(wàn)數(shù)據(jù)(同時(shí)讀寫,表中有大文本字段,單服務(wù)器)?,F(xiàn)在已經(jīng)超過(guò)1億,而且還在增加,建議按以下方式處理:
1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分,以便盡可能地查詢子表中的數(shù)據(jù)庫(kù)。這是最有效的方法。特別是寫,放入一個(gè)新表,并定期同步。如果記錄不斷更新,最好將寫入的數(shù)據(jù)放在redis中,并定期同步表3的大文本字段,將它們分隔成一個(gè)新的獨(dú)立表。對(duì)于較大的文本字段,可以使用NoSQL數(shù)據(jù)庫(kù)
4優(yōu)化體系結(jié)構(gòu),或者優(yōu)化SQL查詢,避免聯(lián)合表查詢,盡量不要使用count(*)、in、recursion等性能消耗語(yǔ)句
5使用內(nèi)存緩存,或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí),直接從緩存中讀取。
以上是一種低成本的管理方法,基本上幾個(gè)服務(wù)器就可以做到,但是管理起來(lái)有點(diǎn)麻煩。
當(dāng)然,如果總體數(shù)據(jù)量特別大,并且您不關(guān)心投資成本,請(qǐng)使用cluster和tidb
1。優(yōu)化SQL語(yǔ)句、索引和表結(jié)構(gòu)。
2. 打開(kāi)查詢緩存時(shí),查詢緩存緩存選擇查詢及其結(jié)果數(shù)據(jù)集。當(dāng)執(zhí)行同一個(gè)select查詢時(shí),MySQL將直接從內(nèi)存中檢索結(jié)果,這加快了查詢的執(zhí)行速度,減少了對(duì)數(shù)據(jù)庫(kù)的壓力。執(zhí)行show變量,比如“have”uqueryucache,您可以檢查MySQL查詢緩存是否打開(kāi)。要打開(kāi)查詢緩存,只需配置我的.cnf具體如下:
querycacheuuutype=1
querycacheuusize=128M
querycacheulimit=1m
保存后重新啟動(dòng)mysql。
3. 選擇InnoDB存儲(chǔ)引擎。MySQL常用的存儲(chǔ)引擎是MyISAM和InnoDB。它們之間的區(qū)別如下:
MyISAM
查詢速度快;
支持表級(jí)鎖,在此期間不能對(duì)表執(zhí)行其他操作;
支持全文檢索;
支持?jǐn)?shù)據(jù)壓縮、自復(fù)制、查詢緩存和數(shù)據(jù)加密;
不支持外鍵;
不支持事務(wù),因此沒(méi)有提交和回滾操作;
不支持群集數(shù)據(jù)庫(kù)。
InnoDB
支持行級(jí)鎖;
支持外鍵和外鍵約束強(qiáng)制執(zhí)行;
支持事務(wù),可以執(zhí)行提交和回滾操作;
支持?jǐn)?shù)據(jù)壓縮、自復(fù)制、查詢緩存和數(shù)據(jù)加密;
可以在群集環(huán)境中使用,但不完全支持。InnoDB表可以轉(zhuǎn)換為NDB存儲(chǔ)引擎,可以在集群環(huán)境下使用。