mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？mysql在常規(guī)配置下，一般只能承受2000萬(wàn)的數(shù)據(jù)量(同時(shí)讀寫(xiě)，且表中有大文本字段，單臺(tái)服務(wù)器)?，F(xiàn)在超過(guò)1億，

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？

mysql在常規(guī)配置下，一般只能承受2000萬(wàn)的數(shù)據(jù)量(同時(shí)讀寫(xiě)，且表中有大文本字段，單臺(tái)服務(wù)器)。現(xiàn)在超過(guò)1億，并不斷增加的情況下，建議如下處理：

1 分表?？梢园磿r(shí)間，或按一定的規(guī)則拆分，做到查詢某一條數(shù)據(jù)庫(kù)，盡量在一個(gè)子表中即可。這是最有效的方法

2 讀寫(xiě)分離。尤其是寫(xiě)入，放在新表中，定期進(jìn)行同步。如果其中記錄不斷有update，最好將寫(xiě)的數(shù)據(jù)放在 redis中，定期同步

3 表的大文本字段分離出來(lái)，成為獨(dú)立的新表。大文本字段，可以使用NOSQL數(shù)據(jù)庫(kù)

4 優(yōu)化架構(gòu)，或優(yōu)化SQL查詢，避免聯(lián)表查詢，盡量不要用count(*)， in，遞歸等消耗性能的語(yǔ)句

5 用內(nèi)存緩存，或在前端讀的時(shí)候，增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

上面是低成本的管理方法，基本幾臺(tái)服務(wù)器即可搞定，但是管理起來(lái)麻煩一些。

當(dāng)然，如果整體數(shù)據(jù)量特別大的話，也不在乎投入費(fèi)用的話，用集群吧，用TIDB吧

MySQL分庫(kù)分表之后，id主鍵如何處理？

我從分庫(kù)分表存在的問(wèn)題和怎么做來(lái)回答一下這個(gè)問(wèn)題。。

一，分庫(kù)分表的ID主鍵不能依賴于數(shù)據(jù)庫(kù)的自增，因?yàn)槎鄮?kù)中會(huì)重復(fù)！

通常使用外接的數(shù)據(jù)組件獲取全局唯一的ID：比如加強(qiáng)型UUID（根據(jù)Ip，時(shí)間戳等得到）和使用Redis(RedisAtomicLong)和zookeeper的API獲取，Twitter的雪花算法等等！

二，分庫(kù)分表之后的連接查詢比較困難！

問(wèn)題沒(méi)法避免，通常拆分SQL，使用多次查詢，用查到的結(jié)果再分別查別的結(jié)果！

三，分布式事務(wù)的數(shù)據(jù)一致性很難保證！

可以使用TCC編程模型保證兩處的事務(wù)都能正確提交，但是這種方式對(duì)代碼的侵入比較重！也可以使用基于消息的數(shù)據(jù)一致性保證！

四，多數(shù)據(jù)的排序，分組，統(tǒng)計(jì)會(huì)比較困難！

1，用多線程，對(duì)多個(gè)節(jié)點(diǎn)分別查詢，然后匯總！

2，也可以提前冗余查詢表，將所有的經(jīng)常查詢的重點(diǎn)數(shù)據(jù)提前統(tǒng)一到個(gè)庫(kù)表里！

分庫(kù)分表涉及到的知識(shí)點(diǎn)比較多，建議使用專(zhuān)門(mén)的分庫(kù)分表組件！本人有mycat使用經(jīng)驗(yàn)，如果您有相關(guān)問(wèn)題，歡迎前來(lái)探討！