新聞中心
mysql表太大怎么解決?
解決方法如下:

第一優(yōu)化你的sql和索引;
第二加緩存,memcached,redis;
第三以上都做了后,還是慢,就做主從復(fù)制或主主復(fù)制,讀寫分離,可以在應(yīng)用層做,效率高,也可以用三方工具,第三方工具推薦360的atlas,其它的要么效率不高,要么沒人維護(hù);
第四如果以上都做了還是慢,不要想著去做切分,mysql自帶分區(qū)表,先試試這個,對你的應(yīng)用是透明的,無需更改代碼,但是sql語句是需要針對分區(qū)表做優(yōu)化的,sql條件中要帶上分區(qū)條件的列,從而使查詢定位到少量的分區(qū)上,否則就會掃描全部分區(qū),另外分區(qū)表還有一些坑,在這里就不多說了;
第五如果以上都做了,那就先做垂直拆分,其實就是根據(jù)你模塊的耦合度,將一個大的系統(tǒng)分為多個小的系統(tǒng),也就是分布式系統(tǒng);
第六才是水平切分,針對數(shù)據(jù)量大的表,這一步最麻煩,最能考驗技術(shù)水平,要選擇一個合理的sharding key,為了有好的查詢效率,表結(jié)構(gòu)也要改動,做一定的冗余,應(yīng)用也要改,sql中盡量帶sharding key,將數(shù)據(jù)定位到限定的表上去查,而不是掃描全部的表;
怎么把mysql的數(shù)據(jù)緩存進(jìn)redis?
1,redis是一種內(nèi)存性的數(shù)據(jù)存儲服務(wù),所以它的速度要比mysql快。
2,redis只支持String,hashmap,set,sortedset等基本數(shù)據(jù)類型,但是不支持聯(lián)合查詢,所以它適合做緩存。
3,有時候緩存的數(shù)據(jù)量非常大,如果這個時候服務(wù)宕機(jī)了,且開啟了redis的持久化功能,重新啟動服務(wù),數(shù)據(jù)基本上不會丟。
4,redis可以做內(nèi)存共享,因為它可以被多個不同的客戶端連接。
5,做為mysql等數(shù)據(jù)庫的緩存,是把部分熱點數(shù)據(jù)先存儲到redis中,或第一次用的時候加載到redis中,下次再用的時候,直接從redis中取。
6,redis中的數(shù)據(jù)可以設(shè)置過期時間expire,如果這個數(shù)據(jù)在一定時間內(nèi)沒有被延長這個時間,那個一定時間之后這個數(shù)據(jù)就會從redis清除。所以,redis只是用來緩存數(shù)據(jù)庫中經(jīng)常被訪問的數(shù)據(jù),可以增加訪問速度和并發(fā)量。而mysql只是提供一種數(shù)據(jù)備份和數(shù)據(jù)源的作用。
redis怎么實現(xiàn)數(shù)據(jù)庫的緩存?
大致為兩種措施:
一、腳本同步:1、自己寫腳本將數(shù)據(jù)庫數(shù)據(jù)寫入到redis/memcached。2、這就涉及到實時數(shù)據(jù)變更的問題(mysql row binlog的實時分析),binlog增量訂閱Alibaba 的canal ,以及緩存層數(shù)據(jù) 丟失/失效 后的數(shù)據(jù)同步恢復(fù)問題。
二、業(yè)務(wù)層實現(xiàn):1、先讀取nosql緩存層,沒有數(shù)據(jù)再讀取mysql層,并寫入數(shù)據(jù)到nosql。2、nosql層做好多節(jié)點分布式(一致性hash),以及節(jié)點失效后替代方案(多層hash尋找相鄰替代節(jié)點),和數(shù)據(jù)震蕩恢復(fù)了。
redis實現(xiàn)數(shù)據(jù)庫緩存的分析:
對于變化頻率非常快的數(shù)據(jù)來說,如果還選擇傳統(tǒng)的靜態(tài)緩存方式(Memocached、File System等)展示數(shù)據(jù),可能在緩存的存取上會有很大的開銷,并不能很好的滿足需要,而Redis這樣基于內(nèi)存的NoSQL數(shù)據(jù)庫,就非常適合擔(dān)任實時數(shù)據(jù)的容器。
但是往往又有數(shù)據(jù)可靠性的需求,采用MySQL作為數(shù)據(jù)存儲,不會因為內(nèi)存問題而引起數(shù)據(jù)丟失,同時也可以利用關(guān)系數(shù)據(jù)庫的特性實現(xiàn)很多功能。所以就會很自然的想到是否可以采用MySQL作為數(shù)據(jù)存儲引擎,Redis則作為Cache。
MySQL到Redis數(shù)據(jù)復(fù)制方案,無論MySQL還是Redis,自身都帶有數(shù)據(jù)同步的機(jī)制,比較常用的MySQL的Master/Slave模式,就是由Slave端分析Master的binlog來實現(xiàn)的,這樣的數(shù)據(jù)復(fù)制其實還是一個異步過程,只不過當(dāng)服務(wù)器都在同一內(nèi)網(wǎng)時,異步的延遲幾乎可以忽略。那么理論上也可用同樣方式,分析MySQL的binlog文件并將數(shù)據(jù)插入Redis。
因此這里選擇了一種開發(fā)成本更加低廉的方式,借用已經(jīng)比較成熟的MySQL UDF,將MySQL數(shù)據(jù)首先放入Gearman中,然后通過一個自己編寫的PHP Gearman Worker,將數(shù)據(jù)同步到Redis。比分析binlog的方式增加了不少流程,但是實現(xiàn)成本更低,更容易操作。
到此,以上就是小編對于怎么清除mysql主機(jī)緩存數(shù)據(jù)的問題就介紹到這了,希望這3點解答對大家有用。
文章題目:mysql表太大怎么解決?(怎么清除mysql主機(jī)緩存)
瀏覽路徑:http://m.fisionsoft.com.cn/article/djsgeeh.html


咨詢
建站咨詢
