建站
咨詢
售后
建站咨詢
新聞中心
今天線上的應(yīng)用出問(wèn)題了。
創(chuàng)新互聯(lián)建站專注于企業(yè)網(wǎng)絡(luò)營(yíng)銷推廣、網(wǎng)站重做改版、綦江網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5、商城網(wǎng)站定制開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為綦江等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。
問(wèn)題現(xiàn)象是
| 待渲染的頁(yè)面一共要請(qǐng)求兩個(gè)接口。這兩個(gè)接口一直在請(qǐng)求，基本上要一分鐘多響應(yīng)完成，但完成并不是正常顯示，而是返回500的錯(cuò)誤服務(wù)器錯(cuò)誤。 |
聽到PM反饋問(wèn)題后，經(jīng)驗(yàn)主意上身，二話不說(shuō)，上手開始分析。
第一步從線上服務(wù)器的日志開始入手。在線上日志查看時(shí)發(fā)現(xiàn)日志文件中最新的內(nèi)容并不是附近的時(shí)間，而是一個(gè)小時(shí)前 -- 后續(xù)的日志都沒(méi)有輸出到文件中。
發(fā)現(xiàn)這個(gè)現(xiàn)象后，感覺(jué)日志輸出不了，可能是和磁盤空間有關(guān)， 使用 df 命令開始查看空間。
果然，Tomcat 所在的目錄，磁盤使用已經(jīng)達(dá)到了100%。再切換回 Tomcat 日志目錄發(fā)現(xiàn)大量的日志文件，果斷把前面一些舊的已經(jīng)數(shù)據(jù)分析統(tǒng)計(jì)過(guò)的刪除。應(yīng)用開始正常。
此時(shí)以為已經(jīng)解決了問(wèn)題，在群里和相關(guān)同學(xué)說(shuō)是因?yàn)榇疟P滿導(dǎo)致的，一切OK。
中午吃個(gè)飯的時(shí)間，應(yīng)用又出問(wèn)題了，還是老樣子。心想剛清的磁盤，空間還有一些，就開始使用上一篇?jiǎng)倢戇^(guò)的 jstack，打出 stackTrace 之后，分析內(nèi)容中的Tomcat線程工作情況，又隔一段時(shí)間再打一個(gè)互相對(duì)比，自己感覺(jué)該比的都比了，也沒(méi)發(fā)現(xiàn)任何有阻塞或者死鎖的情況，此時(shí)應(yīng)用的情況是偶爾一次頁(yè)面會(huì)渲染成功，但也是比較慢的，大部分時(shí)候都不成功。
以前遇到過(guò)一次頁(yè)面渲染慢是因?yàn)楹笈_(tái)存放到云上的文件在保存完之后，沒(méi)有進(jìn)行 close 操作，把連接點(diǎn)滿了，導(dǎo)致后面的請(qǐng)求都超時(shí)，當(dāng)時(shí)通過(guò) jstack 發(fā)現(xiàn)了問(wèn)題之后快速解決了問(wèn)題。所以這一次因循老路，還按這個(gè)思路來(lái)分析。
線上服務(wù)是部署在四臺(tái)機(jī)器上，還分析了四臺(tái)機(jī)器上的日志，也沒(méi)看到請(qǐng)求的信息到達(dá)過(guò)其他機(jī)器上，所以一直在之前磁盤滿的那一臺(tái)機(jī)器上分析。
此時(shí) QA 同學(xué)告知，另外三臺(tái)機(jī)器上的日志一直沒(méi)有刷出來(lái)，很長(zhǎng)時(shí)間了。這時(shí)才想到可能是另外三臺(tái)機(jī)器的磁盤空間也滿了，日志輸出不出來(lái)，在請(qǐng)求分配到這些節(jié)點(diǎn)上時(shí)分導(dǎo)致頁(yè)面渲染不成功，而如果請(qǐng)求到達(dá)了第一臺(tái)刪除過(guò)的機(jī)器上，頁(yè)面會(huì)渲染。
把另外三臺(tái)機(jī)器的磁盤也清理了一下，果然，應(yīng)用可能正常且快速的響應(yīng)了。
這個(gè)問(wèn)題分析時(shí)，在應(yīng)用頁(yè)面渲染慢時(shí)，分析了第一臺(tái)機(jī)器的磁盤問(wèn)題，之后就一根筋的順著性能響應(yīng)這條路去分析了，一會(huì) jstack， 一會(huì)看下 GC 的執(zhí)行是否正常 ...
忘了請(qǐng)求會(huì)分發(fā)到另外三臺(tái)機(jī)器上，也沒(méi)有在清理第一臺(tái)機(jī)器磁盤時(shí)順便上去看一下。
真的是手里拿著錘子，眼里就只能看到釘子。 甚至有些內(nèi)容，即使和過(guò)往經(jīng)驗(yàn)有類似的地方，也不見(jiàn)得就一定是同樣的問(wèn)題。有時(shí)候真需要放下錘子仔細(xì)看看，不能埋頭就上啊。
想起之前暗時(shí)間的作者劉未鵬寫過(guò)一次這樣的經(jīng)歷：
說(shuō)當(dāng)時(shí)和他老婆一起到銀行取錢。走到銀行門前，發(fā)現(xiàn)需要刷卡才能進(jìn)去，刷了下銀行卡進(jìn)去了。取完錢出來(lái)，未鵬拿了一張不是銀行卡的普通卡，刷了一次也把門打開了，這時(shí)他認(rèn)定是這門鎖有問(wèn)題，只有刷個(gè)卡就能進(jìn)，不停的刷了好幾張卡。
這時(shí)他老婆提醒道：萬(wàn)一是這門壞了呢，可能都不用卡。
未鵬伸手一推，門開了。
未鵬在寫這個(gè)經(jīng)歷時(shí)說(shuō)，有時(shí)候我們?nèi)菀仔纬伤季S定勢(shì)，更愿意從自己熟悉的角度去考慮問(wèn)題，而忽視本來(lái)已經(jīng)暴露出的現(xiàn)象。
有些時(shí)候，遇到問(wèn)題時(shí)，放下手里的錘子，站遠(yuǎn)些看一看，可能會(huì)有新的認(rèn)識(shí)。軟件開發(fā)中還有一條著名的橡皮鴨法則，就是在陷入自己的思路時(shí)，向放在桌上的橡皮鴨講一講，可能在講的過(guò)程中自己就明白了。不套用經(jīng)驗(yàn)，多搜集信息，再分析，而不陷入思維定勢(shì)中，也許才是解決問(wèn)題的好方法。
【本文為專欄作者“侯樹成”的原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)通過(guò)作者微信公眾號(hào)『Tomcat那些事兒』獲取授權(quán)】
戳這里，看該作者更多好文
分享標(biāo)題：手里拿著錘子時(shí)眼里只能看到釘子
文章起源：http://m.5511xx.com/article/djpjgic.html
