鍍金池/ 教程/ Java/ 如何定位問(wèn)題
定時(shí)任務(wù)
函數(shù)的參數(shù)
超時(shí)
一個(gè) openresty 內(nèi)存“泄漏”問(wèn)題
獲取 uri 參數(shù)
局部變量
sleep
灰度發(fā)布
TIME_WAIT
代碼覆蓋率
連接池
CentOS 平臺(tái)安裝
稀疏數(shù)組
如何只啟動(dòng)一個(gè) timer 工作?
變量的共享范圍
break,return 關(guān)鍵字
Nginx
SQL 注入
如何引用第三方 resty 庫(kù)
不同階段共享變量
獲取請(qǐng)求 body
動(dòng)態(tài)生成的 lua-resty-redis 模塊方法
動(dòng)態(tài)加載證書和 OCSP stapling
repeat 控制結(jié)構(gòu)
編碼為 array 還是 object
Nginx 靜態(tài)文件服務(wù)
執(zhí)行階段概念
Lua 函數(shù)
日期時(shí)間函數(shù)
健康監(jiān)測(cè)
與其他 location 配合
for 控制結(jié)構(gòu)
函數(shù)定義
HTTPS 時(shí)代
點(diǎn)號(hào)與冒號(hào)操作符的區(qū)別
String 庫(kù)
文件操作
OpenResty 最佳實(shí)踐
<code>ngx.shared.DICT</code> 非隊(duì)列性質(zhì)
使用動(dòng)態(tài) DNS 來(lái)完成 HTTP 請(qǐng)求
代碼規(guī)范
什么是 JIT?
Windows 平臺(tái)安裝
正確的記錄日志
LuaNginxModule
不用標(biāo)準(zhǔn)庫(kù)
C10K 編程
控制結(jié)構(gòu)
請(qǐng)求中斷后的處理
Lua 環(huán)境搭建
Test::Nginx 能指定現(xiàn)成的 nginx.conf,而不是自動(dòng)生成一個(gè)嗎
Lua 基礎(chǔ)數(shù)據(jù)類型
動(dòng)態(tài)限速
PostgresNginxModule
簡(jiǎn)單API Server框架
API 測(cè)試
location 匹配規(guī)則
虛變量
單元測(cè)試
防止 SQL 注入
select + set_keepalive 組合操作引起的數(shù)據(jù)讀寫錯(cuò)誤
阻塞操作
全動(dòng)態(tài)函數(shù)調(diào)用
Web 服務(wù)
典型應(yīng)用場(chǎng)景
Nginx 新手起步
TLS session resumption
輸出響應(yīng)體
調(diào)用代碼前先定義函數(shù)
module 是邪惡的
怎樣理解 cosocket
模塊
Socket 編程發(fā)展
如何對(duì) Nginx Lua module 添加新 api
如何在后臺(tái)開啟輕量級(jí)線程完成定時(shí)任務(wù)?
如何定位問(wèn)題
table 庫(kù)
json 解析的異常捕獲
如何安裝火焰圖生成工具
lua 中如何 continue
if 是邪惡的
為什么我們的域名不能被解析
抵制使用 module() 定義模塊
測(cè)試
body 在 location 中的傳遞
Lua 入門
子查詢
pipeline 壓縮請(qǐng)求數(shù)量
如何發(fā)起新 HTTP 請(qǐng)求
Lua 簡(jiǎn)介
緩存失效風(fēng)暴
Ubuntu 平臺(tái)安裝
日志輸出
緩存
Lua 面向?qū)ο缶幊?/span>
Nginx 陷阱和常見錯(cuò)誤
Redis 接口的二次封裝(發(fā)布訂閱)
日志
訪問(wèn)有授權(quán)驗(yàn)證的 Redis
正則表達(dá)式
lock
熱裝載代碼
調(diào)用 FFI 出現(xiàn) &quot;table overflow&quot;
數(shù)據(jù)合法性檢測(cè)
禁止某些終端訪問(wèn)
控制結(jié)構(gòu) if-else
調(diào)試
與 Docker 使用的網(wǎng)絡(luò)瓶頸
PostgresNginxModule 模塊的調(diào)用方式
用 do-end 整理你的代碼
FFI
什么時(shí)候使用
簡(jiǎn)介
環(huán)境搭建
Mac OS X 平臺(tái)安裝
火焰圖
負(fù)載均衡
while 型控制結(jié)構(gòu)
如何定位 openresty 崩潰 bug
使用 Nginx 內(nèi)置綁定變量
判斷數(shù)組大小
請(qǐng)求返回后繼續(xù)執(zhí)行
Redis 接口的二次封裝
KeepAlive
反向代理
協(xié)議無(wú)痛升級(jí)
數(shù)學(xué)庫(kù)
元表
Vanilla 介紹
HelloWorld
LuaCjsonLibrary
持續(xù)集成
代碼靜態(tài)分析
網(wǎng)上有大量對(duì) Lua 調(diào)優(yōu)的推薦,我們應(yīng)該如何看待?
script 壓縮復(fù)雜請(qǐng)求
非空判斷
性能測(cè)試
函數(shù)返回值
API 的設(shè)計(jì)
kong 介紹
表達(dá)式
不支持事務(wù)
LuaRestyDNSLibrary 簡(jiǎn)介

如何定位問(wèn)題

一個(gè)正常的火焰圖,應(yīng)該呈現(xiàn)出如官網(wǎng)給出的樣例(官網(wǎng)的火焰圖是抓 C 級(jí)別函數(shù)): http://wiki.jikexueyuan.com/project/openresty/images/Flame-Graphic.svg" alt="正常" />

從上圖可以看出,正常業(yè)務(wù)下的火焰圖形狀類似的“山脈”,“山脈”的“海拔”表示 worker 中業(yè)務(wù)函數(shù)的調(diào)用深度,“山脈”的“長(zhǎng)度”表示 worker 中業(yè)務(wù)函數(shù)占用 cpu 的比例。

下面將用一個(gè)實(shí)際應(yīng)用中遇到問(wèn)題抽象出來(lái)的示例(CPU 占用過(guò)高)來(lái)說(shuō)明如何通過(guò)火焰圖定位問(wèn)題。

問(wèn)題表現(xiàn),Nginx worker 運(yùn)行一段時(shí)間后出現(xiàn) CPU 占用 100% 的情況,reload 后一段時(shí)間后復(fù)現(xiàn),當(dāng)出現(xiàn) CPU 占用率高情況的時(shí)候是某個(gè) worker 占用率高。

問(wèn)題分析,單 worker cpu 高的情況一定是某個(gè) input 中包含的信息不能被 Lua 函數(shù)以正確地方式處理導(dǎo)致的,因此上火焰圖找出具體的函數(shù),抓取的過(guò)程需要抓取 C 級(jí)別的函數(shù)和 Lua 級(jí)別的函數(shù),抓取相同的時(shí)間,兩張圖一起分析才能得到準(zhǔn)確的結(jié)果。

抓取步驟:

  • 安裝SystemTap
  • 獲取 CPU 異常的 worker 的進(jìn)程 ID :

    ps -ef | grep nginx

  • 使用 lj-lua-stacks.sxx抓取棧信息,并用 fix-lua-bt 工具處理:

    # making the ./stap++ tool visible in PATH:
    $ export PATH=$PWD:$PATH
    # assuming the nginx worker process pid is 6949:
    $ ./samples/lj-lua-stacks.sxx --arg time=5 --skip-badvars -x 6949 > tmp.bt
    Start tracing 6949 (/opt/nginx/sbin/nginx)
    Please wait for 5 seconds
    $ ./fix-lua-bt tmp.bt > a.bt
  • 使用 stackcollapse-stap.pl 和 flamegraph.pl

    ./stackcollapse-stap.pl a.bt > a.cbt ./flamegraph.pl a.cbt > a.svg

  • a.svg 即是火焰圖,拖入瀏覽器即可: http://wiki.jikexueyuan.com/project/openresty/images/flame_graphic_problem.svg" alt="problem" />

  • 從上圖可以清楚的看到 get_serial_id 這個(gè)函數(shù)占用了絕大部分的 CPU 比例,問(wèn)題的排查可以從這里入手,找到其調(diào)用棧中異常的函數(shù)。

PS:一般來(lái)說(shuō)一個(gè)正常的火焰圖看起來(lái)像一座座連綿起伏的“山峰”,而一個(gè)異常的火焰圖看起來(lái)像一座“平頂山”。