鍍金池/ 教程/ Java/ 使用動(dòng)態(tài) DNS 來(lái)完成 HTTP 請(qǐng)求
定時(shí)任務(wù)
函數(shù)的參數(shù)
超時(shí)
一個(gè) openresty 內(nèi)存“泄漏”問(wèn)題
獲取 uri 參數(shù)
局部變量
sleep
灰度發(fā)布
TIME_WAIT
代碼覆蓋率
連接池
CentOS 平臺(tái)安裝
稀疏數(shù)組
如何只啟動(dòng)一個(gè) timer 工作?
變量的共享范圍
break,return 關(guān)鍵字
Nginx
SQL 注入
如何引用第三方 resty 庫(kù)
不同階段共享變量
獲取請(qǐng)求 body
動(dòng)態(tài)生成的 lua-resty-redis 模塊方法
動(dòng)態(tài)加載證書和 OCSP stapling
repeat 控制結(jié)構(gòu)
編碼為 array 還是 object
Nginx 靜態(tài)文件服務(wù)
執(zhí)行階段概念
Lua 函數(shù)
日期時(shí)間函數(shù)
健康監(jiān)測(cè)
與其他 location 配合
for 控制結(jié)構(gòu)
函數(shù)定義
HTTPS 時(shí)代
點(diǎn)號(hào)與冒號(hào)操作符的區(qū)別
String 庫(kù)
文件操作
OpenResty 最佳實(shí)踐
<code>ngx.shared.DICT</code> 非隊(duì)列性質(zhì)
使用動(dòng)態(tài) DNS 來(lái)完成 HTTP 請(qǐng)求
代碼規(guī)范
什么是 JIT?
Windows 平臺(tái)安裝
正確的記錄日志
LuaNginxModule
不用標(biāo)準(zhǔn)庫(kù)
C10K 編程
控制結(jié)構(gòu)
請(qǐng)求中斷后的處理
Lua 環(huán)境搭建
Test::Nginx 能指定現(xiàn)成的 nginx.conf,而不是自動(dòng)生成一個(gè)嗎
Lua 基礎(chǔ)數(shù)據(jù)類型
動(dòng)態(tài)限速
PostgresNginxModule
簡(jiǎn)單API Server框架
API 測(cè)試
location 匹配規(guī)則
虛變量
單元測(cè)試
防止 SQL 注入
select + set_keepalive 組合操作引起的數(shù)據(jù)讀寫錯(cuò)誤
阻塞操作
全動(dòng)態(tài)函數(shù)調(diào)用
Web 服務(wù)
典型應(yīng)用場(chǎng)景
Nginx 新手起步
TLS session resumption
輸出響應(yīng)體
調(diào)用代碼前先定義函數(shù)
module 是邪惡的
怎樣理解 cosocket
模塊
Socket 編程發(fā)展
如何對(duì) Nginx Lua module 添加新 api
如何在后臺(tái)開(kāi)啟輕量級(jí)線程完成定時(shí)任務(wù)?
如何定位問(wèn)題
table 庫(kù)
json 解析的異常捕獲
如何安裝火焰圖生成工具
lua 中如何 continue
if 是邪惡的
為什么我們的域名不能被解析
抵制使用 module() 定義模塊
測(cè)試
body 在 location 中的傳遞
Lua 入門
子查詢
pipeline 壓縮請(qǐng)求數(shù)量
如何發(fā)起新 HTTP 請(qǐng)求
Lua 簡(jiǎn)介
緩存失效風(fēng)暴
Ubuntu 平臺(tái)安裝
日志輸出
緩存
Lua 面向?qū)ο缶幊?/span>
Nginx 陷阱和常見(jiàn)錯(cuò)誤
Redis 接口的二次封裝(發(fā)布訂閱)
日志
訪問(wèn)有授權(quán)驗(yàn)證的 Redis
正則表達(dá)式
lock
熱裝載代碼
調(diào)用 FFI 出現(xiàn) &quot;table overflow&quot;
數(shù)據(jù)合法性檢測(cè)
禁止某些終端訪問(wèn)
控制結(jié)構(gòu) if-else
調(diào)試
與 Docker 使用的網(wǎng)絡(luò)瓶頸
PostgresNginxModule 模塊的調(diào)用方式
用 do-end 整理你的代碼
FFI
什么時(shí)候使用
簡(jiǎn)介
環(huán)境搭建
Mac OS X 平臺(tái)安裝
火焰圖
負(fù)載均衡
while 型控制結(jié)構(gòu)
如何定位 openresty 崩潰 bug
使用 Nginx 內(nèi)置綁定變量
判斷數(shù)組大小
請(qǐng)求返回后繼續(xù)執(zhí)行
Redis 接口的二次封裝
KeepAlive
反向代理
協(xié)議無(wú)痛升級(jí)
數(shù)學(xué)庫(kù)
元表
Vanilla 介紹
HelloWorld
LuaCjsonLibrary
持續(xù)集成
代碼靜態(tài)分析
網(wǎng)上有大量對(duì) Lua 調(diào)優(yōu)的推薦,我們應(yīng)該如何看待?
script 壓縮復(fù)雜請(qǐng)求
非空判斷
性能測(cè)試
函數(shù)返回值
API 的設(shè)計(jì)
kong 介紹
表達(dá)式
不支持事務(wù)
LuaRestyDNSLibrary 簡(jiǎn)介

使用動(dòng)態(tài) DNS 來(lái)完成 HTTP 請(qǐng)求

其實(shí)針對(duì)大多應(yīng)用場(chǎng)景,DNS 是不會(huì)頻繁變更的,使用 Nginx 默認(rèn)的 resolver 配置方式就能解決。

對(duì)于部分應(yīng)用場(chǎng)景,可能需要支持的系統(tǒng)眾多:win、centos、ubuntu 等,不同的操作系統(tǒng)獲取 DNS 的方法都不太一樣。再加上我們使用 Docker,導(dǎo)致我們?cè)谌萜鲀?nèi)部獲取 DNS 變得更加難以準(zhǔn)確。

如何能夠讓 Nginx 使用隨時(shí)可以變化的 DNS 源,成為我們急待解決的問(wèn)題。

當(dāng)我們需要在某一個(gè)請(qǐng)求內(nèi)部發(fā)起這樣一個(gè) http 查詢,采用 proxy_pass 是不行的(依賴 resolver 的 DNS,如果 DNS 有變化,必須要重新加載配置),并且由于 proxy_pass 不能直接設(shè)置 keepalive,導(dǎo)致每次請(qǐng)求都是短鏈接,性能損失嚴(yán)重。

使用 resty.http,目前這個(gè)庫(kù)只支持 ip :port 的方式定義 url,其內(nèi)部實(shí)現(xiàn)并沒(méi)有支持 domain 解析。resty.http 是支持 set_keepalive 完成長(zhǎng)連接,這樣我們只需要讓他支持 DNS 解析就能有完美解決方案了。

local resolver = require "resty.dns.resolver"
local http     = require "resty.http"

function get_domain_ip_by_dns( domain )
  -- 這里寫死了google的域名服務(wù)ip,要根據(jù)實(shí)際情況做調(diào)整(例如放到指定配置或數(shù)據(jù)庫(kù)中)
  local dns = "8.8.8.8"

  local r, err = resolver:new{
      nameservers = {dns, {dns, 53} },
      retrans = 5,  -- 5 retransmissions on receive timeout
      timeout = 2000,  -- 2 sec
  }

  if not r then
      return nil, "failed to instantiate the resolver: " .. err
  end

  local answers, err = r:query(domain)
  if not answers then
      return nil, "failed to query the DNS server: " .. err
  end

  if answers.errcode then
      return nil, "server returned error code: " .. answers.errcode .. ": " .. answers.errstr
  end

  for i, ans in ipairs(answers) do
    if ans.address then
      return ans.address
    end
  end

  return nil, "not founded"
end

function http_request_with_dns( url, param )
    -- get domain
    local domain = ngx.re.match(url, [[//([\S]+?)/]])
    domain = (domain and 1 == #domain and domain[1]) or nil
    if not domain then
        ngx.log(ngx.ERR, "get the domain fail from url:", url)
        return {status=ngx.HTTP_BAD_REQUEST}
    end

    -- add param
    if not param.headers then
        param.headers = {}
    end
    param.headers.Host = domain

    -- get domain's ip
    local domain_ip, err = get_domain_ip_by_dns(domain)
    if not domain_ip then
        ngx.log(ngx.ERR, "get the domain[", domain ,"] ip by dns failed:", err)
        return {status=ngx.HTTP_SERVICE_UNAVAILABLE}
    end

    -- http request
    local httpc = http.new()
    local temp_url = ngx.re.gsub(url, "http://"..domain.."/", string.format("http://%s/", domain_ip))

    local res, err = httpc:request_uri(temp_url, param)
    if err then
        return {status=ngx.HTTP_SERVICE_UNAVAILABLE}
    end

    -- httpc:request_uri 內(nèi)部已經(jīng)調(diào)用了keepalive,默認(rèn)支持長(zhǎng)連接
    -- httpc:set_keepalive(1000, 100)
    return res
end

動(dòng)態(tài) DNS,域名訪問(wèn),長(zhǎng)連接,這些都具備了,貌似可以安穩(wěn)一下。在壓力測(cè)試中發(fā)現(xiàn)這里面有個(gè)機(jī)制不太好,就是對(duì)于指定域名解析,每次都要和 DNS 服務(wù)會(huì)話詢問(wèn) IP 地址,實(shí)際上這是不需要的。普通的瀏覽器,都會(huì)對(duì) DNS 的結(jié)果進(jìn)行一定的緩存,那么這里也必須要使用了。

對(duì)于緩存實(shí)現(xiàn)代碼,請(qǐng)參考 ngx_lua 相關(guān)章節(jié),肯定會(huì)有驚喜等著你挖掘碰撞。