CephFS內(nèi)核客戶端的性能如何？問(wèn)題描述測(cè)試3cephfs內(nèi)核客戶端的吞吐性能，direct寫(xiě)時(shí)單個(gè)客戶端性能有上限，只能靠近150mb/s:查找網(wǎng)卡流量，卻沒(méi)打滿:查找集群負(fù)載也不高，osd磁盤(pán)很

CephFS內(nèi)核客戶端的性能如何？

問(wèn)題描述測(cè)試3cephfs內(nèi)核客戶端的吞吐性能，direct寫(xiě)時(shí)單個(gè)客戶端性能有上限，只能靠近150mb/s:

查找網(wǎng)卡流量，卻沒(méi)打滿:

查找集群負(fù)載也不高，osd磁盤(pán)很空閑，驗(yàn)證多臺(tái)機(jī)器同樣心內(nèi)膜炎測(cè)試，總吞吐這個(gè)可以上來(lái)，不相信單個(gè)客戶端的上限有瓶頸。

源碼分析集群就沒(méi)打滿，網(wǎng)絡(luò)也不是瓶頸，那么沒(méi)有辦法從內(nèi)核客戶端cephfs的寫(xiě)IO何練起，這里有問(wèn)題的根源。cephfs內(nèi)核客戶端寫(xiě)IO的代碼在文件fs/ceph/file.c:

從代碼利用看，主要流程是fifth_request,start_request,wait_request三個(gè)步驟。本能說(shuō)說(shuō)我這里的wait會(huì)被block住，跟蹤監(jiān)視下這里的wait利用:

先看已超時(shí)的時(shí)間，傳來(lái)的是0，終于結(jié)果是LONG_MAX，差不多吧那是總是idle:

接下來(lái)看條件的滿足:

從kernel的注釋看，函數(shù)schedule_timeout是sleep待到timeout:

從源碼結(jié)論看，已經(jīng)比較比較明確，四次只是請(qǐng)求下發(fā)文件后，唯有等幫忙能夠完成了才會(huì)進(jìn)行下三次只是請(qǐng)求，IO并不是并發(fā)的下發(fā)給后端的集群。

下一步的問(wèn)題是，每次幫忙的size如何能確定？這個(gè)和文件的layout屬性和當(dāng)前寫(xiě)的位置去相關(guān)，如果從文件offset0結(jié)束寫(xiě)的話，以及常規(guī)默認(rèn)屬性，最大那就是cephobjectsize的大小，即4MB。ceph的layout回答可以建議參考官方文檔。

實(shí)驗(yàn)證明調(diào)閱監(jiān)控文件屬性目的是更很明顯的觀察延時(shí)，我們將文件的屬性決定幫一下忙，即從4m到64m:

資源文件inode

文件對(duì)應(yīng)的對(duì)象

欄里點(diǎn)兩個(gè)對(duì)象不對(duì)應(yīng)的osd信息，共有按osd121和130:

再次先執(zhí)行剛才的dd命令，并在兩個(gè)primaryosd(121,130)上仔細(xì)的觀察op的情況，并同時(shí)用ftrace，仔細(xì)觀察kernel客戶端寫(xiě)的過(guò)程。

osd機(jī)器OP幫忙通過(guò)200以內(nèi)命令一欄osd的op信息，ID為上面的121和130:

cephdaemondump_historic_ops

上面是osd121的信息，操作的對(duì)象是10000000388.00000000，op減弱了426.153ms，通常承受時(shí)間在網(wǎng)絡(luò)讀數(shù)據(jù)的延時(shí)和副本操作的延時(shí)。op開(kāi)始時(shí)間16:04:19.049346，結(jié)束時(shí)間16:04:19.475499。

這是osd130的信息，操作的對(duì)象是10000000388.00000001，op短短了439.539ms。op開(kāi)始時(shí)間16:04:19.491627，結(jié)束時(shí)間16:04:19.931166。

也可以很不清楚的一眼就看到，先寫(xiě)第一個(gè)對(duì)象，再寫(xiě)第二個(gè)對(duì)象，對(duì)象之間是沒(méi)有并發(fā)寫(xiě)的，這區(qū)別于塊存儲(chǔ)，塊存儲(chǔ)的實(shí)現(xiàn)，起碼librbd的實(shí)現(xiàn)，如果一次io不對(duì)應(yīng)多個(gè)object，多個(gè)請(qǐng)求是而嘶嘶的，而應(yīng)該不會(huì)等第一個(gè)對(duì)象完成了才下發(fā)第二個(gè)對(duì)象的IO，謝妃娘娘:代碼:

寫(xiě)文件的客戶端ftrace信息enableftrace步驟:

觀察日志:

這里用差不多500xd才正在下一個(gè)請(qǐng)求，而上面從osd端的分析看，第一個(gè)IO我用426xd才能夠完成，osd結(jié)束IO后通知kernel客戶端有網(wǎng)絡(luò)延遲現(xiàn)象，然后把算上kernel指揮和調(diào)度的延時(shí)，應(yīng)該差不多還能夠不兼容。

結(jié)論源碼講，然后把各從集群osd端和kernel客戶端進(jìn)行驗(yàn)證驗(yàn)證，real-time的情況，cephfs性能雖然有限制。只不過(guò)，用戶也你不過(guò)多擔(dān)心那性能跟不上，只不過(guò)通常情況下，絕對(duì)不會(huì)是direct寫(xiě)，kernel客戶端有pagecache，寫(xiě)會(huì)相當(dāng)快，

更加接近真實(shí)的使用場(chǎng)景，用戶先寫(xiě)數(shù)據(jù)，之后調(diào)用一次passthrough能操作:

希望我的回答是可以對(duì)你有不助益！

蘋(píng)果kernelcache卡住刷不了機(jī)怎么辦？

1.

愛(ài)思你的郵箱kernelcache失敗的話要重起保持設(shè)備處于關(guān)機(jī)后模式或可以恢復(fù)模式,插入到數(shù)據(jù)線。

2.

先按過(guò)設(shè)備的HOME鍵千萬(wàn)不能慢慢松開(kāi),再按動(dòng)設(shè)備的開(kāi)機(jī)鍵別松開(kāi)手,等他設(shè)備屏幕慢慢熄滅再過(guò)4秒左右抬起設(shè)備的開(kāi)機(jī)鍵,但別松開(kāi)手HOME鍵,待到軟件電腦提示成功就好