mysql主主同步 Facebook用戶量十分龐大,為什么還使用MySQL數(shù)據(jù)庫?
Facebook用戶量十分龐大,為什么還使用MySQL數(shù)據(jù)庫?盡管Facebook使用MySQL,但它們并不是一成不變的使用它。 事實上,他們的團隊已經(jīng)提交了許多MySQL核心和Innodb插件的高性
Facebook用戶量十分龐大,為什么還使用MySQL數(shù)據(jù)庫?
盡管Facebook使用MySQL,但它們并不是一成不變的使用它。 事實上,他們的團隊已經(jīng)提交了許多MySQL核心和Innodb插件的高性能增強。 他們的主要重點是增加性能計數(shù)器到Innodb。 其他更改集中在IO子系統(tǒng)上,包括以下新功能:
1 innodb_io_capacity:設(shè)置服務(wù)器的IO容量以確定后臺IO的速率限制
2 innodb_read_io_threads, innodb_write_io_threads:設(shè)置后臺IO線程
3 innodb_max_merged_io:設(shè)置可能合并到一個大IO請求中的相鄰IO請求的最大數(shù)量
Facebook使用MySQL作為鍵值存儲,其中數(shù)據(jù)隨機分布在一大組邏輯實例中。 這些邏輯實例分散在物理節(jié)點之間,負載均衡在物理節(jié)點級完成。 Facebook已經(jīng)開發(fā)了一個分區(qū)方案,其中全局ID被分配給所有的用戶數(shù)據(jù)。 他們也有一個自定義的歸檔方案,它基于每個用戶的頻繁和最近的數(shù)據(jù)。 大部分數(shù)據(jù)是隨機分布的。 令人驚訝的是,據(jù)傳Facebook有1800個MySQL服務(wù)器,但只有3個全職DBA
Facebook主要將MySQL用于結(jié)構(gòu)化數(shù)據(jù)存儲,例如墻貼,用戶信息等。這些數(shù)據(jù)在各個數(shù)據(jù)中心之間復(fù)制。 對于blob存儲(照片,視頻等),F(xiàn)acebook使用一個自定義的解決方案,涉及外部的CDN和內(nèi)部的NFS
同樣重要的是,F(xiàn)acebook大量使用Memcache,這是一種內(nèi)存緩存系統(tǒng),通過在RAM中緩存數(shù)據(jù)和對象來加速動態(tài)數(shù)據(jù)庫驅(qū)動的網(wǎng)站,以減少閱讀時間。 Memcache是Facebook的主要緩存形式,大大減少了數(shù)據(jù)庫的負載。 擁有一個緩存系統(tǒng)可以使Facebook的速度與調(diào)用數(shù)據(jù)一樣快。 如果不需要訪問數(shù)據(jù)庫,則只需根據(jù)用戶標(biāo)識從緩存中獲取數(shù)據(jù)
所以,“Facebook使用什么數(shù)據(jù)庫”似乎是一個簡單的問題,你可以看到他們已經(jīng)添加了各種其他系統(tǒng),使其真正的具有網(wǎng)絡(luò)可擴展性。 但是,仍然可以自由地使用這樣一個觀點:“MySQL和Oracle或者MS SQL Server一樣好或者更好,因為就算只有Facebook使用它,它也有5億用戶!”
mysql表數(shù)據(jù)量太大,達到了1億多條數(shù)據(jù),除了分庫分表之外,還有沒有其他的解決方式?
mysql在常規(guī)配置下,一般只能承受2000萬的數(shù)據(jù)量(同時讀寫,且表中有大文本字段,單臺服務(wù)器)?,F(xiàn)在超過1億,并不斷增加的情況下,建議如下處理:
1 分表。可以按時間,或按一定的規(guī)則拆分,做到查詢某一條數(shù)據(jù)庫,盡量在一個子表中即可。這是最有效的方法
2 讀寫分離。尤其是寫入,放在新表中,定期進行同步。如果其中記錄不斷有update,最好將寫的數(shù)據(jù)放在 redis中,定期同步
3 表的大文本字段分離出來,成為獨立的新表。大文本字段,可以使用NOSQL數(shù)據(jù)庫
4 優(yōu)化架構(gòu),或優(yōu)化SQL查詢,避免聯(lián)表查詢,盡量不要用count(*), in,遞歸等消耗性能的語句
5 用內(nèi)存緩存,或在前端讀的時候,增加緩存數(shù)據(jù)庫。重復(fù)讀取時,直接從緩存中讀取。
上面是低成本的管理方法,基本幾臺服務(wù)器即可搞定,但是管理起來麻煩一些。
當(dāng)然,如果整體數(shù)據(jù)量特別大的話,也不在乎投入費用的話,用集群吧,用TIDB吧