日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間:8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
什么?C語(yǔ)言動(dòng)態(tài)庫(kù)免費(fèi)大放送了?

看到有同學(xué)說(shuō) Lua 庫(kù)少, 需要自己造輪子. 其實(shí)不是這樣的, 今天給大家看一個(gè)魔法, 這個(gè)魔法可以讓你非常方便的在 luajit 里面使用高性能的 C/CPP 庫(kù), 從而避免自己造輪子的痛苦.

海州網(wǎng)站制作公司哪家好,找創(chuàng)新互聯(lián)公司!從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)公司等網(wǎng)站項(xiàng)目制作,到程序開(kāi)發(fā),運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)公司自2013年創(chuàng)立以來(lái)到現(xiàn)在10年的時(shí)間,我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn),來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)公司。

這個(gè)魔法是 FFI ( Foreign function interface ), 我并不打算仔細(xì)講 FFI 原理, 所以簡(jiǎn)單來(lái)說(shuō), FFI 實(shí)現(xiàn)了跨語(yǔ)言的二進(jìn)制接口. 它的優(yōu)點(diǎn)是高效方便. 直接調(diào)用 ABI, 缺點(diǎn)也很明顯, 出了問(wèn)題直接會(huì)掛掉, 因此數(shù)據(jù)跨臨界區(qū)前仔細(xì)檢查就可以了.

我們今天直接找個(gè) C 語(yǔ)言庫(kù), 然后利用 FFI 在 luajit 里面調(diào)用這個(gè)函數(shù)庫(kù)作為個(gè)大家的演示.

什么? 這里竟然躺著一個(gè)高性能 base64 庫(kù)?

我們以這個(gè) repo 為例: https:// github.com/aklomp/base6 4 . 這是一個(gè) C 編寫(xiě)的 Base64 編碼/解碼庫(kù), 而且支持SIMD.

可以簡(jiǎn)單運(yùn)行下這個(gè)庫(kù)的 benchmark:

 
 
 
  1. karminski@router02:/data/works/base64$ make clean && SSSE3_CFLAGS=-mssse3 AVX2_CFLAGS=-mavx2 make && make -C test
  2. ...
  3. Testing with buffer size 100 KB, fastest of 10 * 100
  4. AVX2    encode  12718.47 MB/sec
  5. AVX2    decode  14542.81 MB/sec
  6. plain   encode  3657.40 MB/sec
  7. plain   decode  3433.23 MB/sec
  8. SSSE3   encode  7269.55 MB/sec
  9. SSSE3   decode  8173.10 MB/sec
  10. ...

我的 CPU 是 Intel(R) Xeon(R) CPU E3-1246 v3 @ 3.50GHz, 可以看到CPU如果支持 AVX2 的話, 可以達(dá)到 12GB/s 以上, 這個(gè)性能非常強(qiáng)悍, 甚至連普通的SSD都跟不上了.

我們需要的第一步是把這個(gè) repo 編譯為動(dòng)態(tài)庫(kù). 但是這個(gè) repo 并沒(méi)有提供動(dòng)態(tài)庫(kù)的編譯選項(xiàng), 所以我們魔改下這個(gè)項(xiàng)目的 Makefile.

 
 
 
  1. CFLAGS += -std=c99 -O3 -Wall -Wextra -pedantic
  2. # Set OBJCOPY if not defined by environment:
  3. OBJCOPY ?= objcopy
  4. OBJS = \
  5.   lib/arch/avx2/codec.o \
  6.   lib/arch/generic/codec.o \
  7.   lib/arch/neon32/codec.o \
  8.   lib/arch/neon64/codec.o \
  9.   lib/arch/ssse3/codec.o \
  10.   lib/arch/sse41/codec.o \
  11.   lib/arch/sse42/codec.o \
  12.   lib/arch/avx/codec.o \
  13.   lib/lib.o \
  14.   lib/codec_choose.o \
  15.   lib/tables/tables.o
  16. SOOBJS = \
  17.   lib/arch/avx2/codec.so \
  18.   lib/arch/generic/codec.so \
  19.   lib/arch/neon32/codec.so \
  20.   lib/arch/neon64/codec.so \
  21.   lib/arch/ssse3/codec.so \
  22.   lib/arch/sse41/codec.so \
  23.   lib/arch/sse42/codec.so \
  24.   lib/arch/avx/codec.so \
  25.   lib/lib.so \
  26.   lib/codec_choose.so \
  27.   lib/tables/tables.so
  28. HAVE_AVX2   = 0
  29. HAVE_NEON32 = 0
  30. HAVE_NEON64 = 0
  31. HAVE_SSSE3  = 0
  32. HAVE_SSE41  = 0
  33. HAVE_SSE42  = 0
  34. HAVE_AVX    = 0
  35. # The user should supply compiler flags for the codecs they want to build.
  36. # Check which codecs we're going to include:
  37. ifdef AVX2_CFLAGS
  38.   HAVE_AVX2 = 1
  39. endif
  40. ifdef NEON32_CFLAGS
  41.   HAVE_NEON32 = 1
  42. endif
  43. ifdef NEON64_CFLAGS
  44.   HAVE_NEON64 = 1
  45. endif
  46. ifdef SSSE3_CFLAGS
  47.   HAVE_SSSE3 = 1
  48. endif
  49. ifdef SSE41_CFLAGS
  50.   HAVE_SSE41 = 1
  51. endif
  52. ifdef SSE42_CFLAGS
  53.   HAVE_SSE42 = 1
  54. endif
  55. ifdef AVX_CFLAGS
  56.   HAVE_AVX = 1
  57. endif
  58. ifdef OPENMP
  59.   CFLAGS += -fopenmp
  60. endif
  61. .PHONY: all analyze clean
  62. all: bin/base64 lib/libbase64.o lib/libbase64.so
  63. bin/base64: bin/base64.o lib/libbase64.o lib/libbase64.so
  64.     $(CC) $(CFLAGS) -o $@ $^
  65. lib/libbase64.o: $(OBJS)
  66.     $(LD) -r -o $@ $^
  67.     $(OBJCOPY) --keep-global-symbols=lib/exports.txt $@
  68. lib/libbase64.so: $(SOOBJS)
  69.     $(LD) -shared -fPIC -o $@ $^
  70.     $(OBJCOPY) --keep-global-symbols=lib/exports.txt $@
  71. lib/config.h:
  72.     @echo "#define HAVE_AVX2   $(HAVE_AVX2)"    > $@
  73.     @echo "#define HAVE_NEON32 $(HAVE_NEON32)" >> $@
  74.     @echo "#define HAVE_NEON64 $(HAVE_NEON64)" >> $@
  75.     @echo "#define HAVE_SSSE3  $(HAVE_SSSE3)"  >> $@
  76.     @echo "#define HAVE_SSE41  $(HAVE_SSE41)"  >> $@
  77.     @echo "#define HAVE_SSE42  $(HAVE_SSE42)"  >> $@
  78.     @echo "#define HAVE_AVX    $(HAVE_AVX)"    >> $@
  79. $(OBJS): lib/config.h
  80. $(SOOBJS): lib/config.h
  81. # o
  82. lib/arch/avx2/codec.o:   CFLAGS += $(AVX2_CFLAGS)
  83. lib/arch/neon32/codec.o: CFLAGS += $(NEON32_CFLAGS)
  84. lib/arch/neon64/codec.o: CFLAGS += $(NEON64_CFLAGS)
  85. lib/arch/ssse3/codec.o:  CFLAGS += $(SSSE3_CFLAGS)
  86. lib/arch/sse41/codec.o:  CFLAGS += $(SSE41_CFLAGS)
  87. lib/arch/sse42/codec.o:  CFLAGS += $(SSE42_CFLAGS)
  88. lib/arch/avx/codec.o:    CFLAGS += $(AVX_CFLAGS)
  89. # so
  90. lib/arch/avx2/codec.so:   CFLAGS += $(AVX2_CFLAGS)
  91. lib/arch/neon32/codec.so: CFLAGS += $(NEON32_CFLAGS)
  92. lib/arch/neon64/codec.so: CFLAGS += $(NEON64_CFLAGS)
  93. lib/arch/ssse3/codec.so:  CFLAGS += $(SSSE3_CFLAGS)
  94. lib/arch/sse41/codec.so:  CFLAGS += $(SSE41_CFLAGS)
  95. lib/arch/sse42/codec.so:  CFLAGS += $(SSE42_CFLAGS)
  96. lib/arch/avx/codec.so:    CFLAGS += $(AVX_CFLAGS)
  97. %.o: %.c
  98.     $(CC) $(CFLAGS) -o $@ -c $<
  99. %.so: %.c
  100.     $(CC) $(CFLAGS) -shared -fPIC -o $@ -c $<
  101. analyze: clean
  102.     scan-build --use-analyzer=`which clang` --status-bugs make
  103. clean:
  104.     rm -f bin/base64 bin/base64.o lib/libbase64.o lib/libbase64.so lib/config.h $(OBJS)

看不懂沒(méi)關(guān)系, Makefile 是如此的復(fù)雜, 我也看不懂, 僅僅是憑著感覺(jué)修改的, 然后他就恰好能運(yùn)行了... 注意 Makefile 的縮進(jìn)一定要用 "\t", 否則不符合語(yǔ)法會(huì)報(bào)錯(cuò).

然后我們進(jìn)行編譯:

 
 
 
  1. AVX2_CFLAGS=-mavx2 SSSE3_CFLAGS=-mssse3 SSE41_CFLAGS=-msse4.1 SSE42_CFLAGS=-msse4.2 AVX_CFLAGS=-mavx make lib/libbase64.so

這樣我們就得到了libbase64.so 動(dòng)態(tài)庫(kù) (在 lib 里面). 這里還順便開(kāi)啟了各種 SIMD 選項(xiàng). 如果不需要的話可以關(guān)閉.

魔改開(kāi)始

當(dāng)然這只是魔法, 不是煉金術(shù), 所以是需要付出努力的, 我們要手動(dòng)實(shí)現(xiàn)動(dòng)態(tài)庫(kù)的橋接, 首先我們需要查看我們要調(diào)用的函數(shù)需要什么參數(shù). 這兩個(gè)定義很簡(jiǎn)單, 我們需要傳入:

 
 
 
  1. const char *src
  2. size_t srclen
  3. char *out
  4. size_t *outlen
  5. int flags
 
 
 
  1. void base64_encode(const char *src, size_t srclen, char *out, size_t *outlen, int flags);
  2. int  base64_decode(const char *src, size_t srclen, char *out, size_t *outlen, int flags);

然后我們就可以開(kāi)始編寫(xiě) ffi 橋接程序了. 首先把需要的庫(kù)全都包含進(jìn)來(lái), 注意, 多用 local 沒(méi)壞處, 使用 local 可以有效從局部查詢, 避免低效的全局查詢. 甚至其他包中的函數(shù)都可以 local 一下來(lái)提升性能.

動(dòng)態(tài)庫(kù)的話用專用的 ffi.load 來(lái)引用.

然后定義一個(gè) _M 用來(lái)包裹我們的庫(kù). 這里跟 JavaScript 很像, JavaScript 在瀏覽器里有 window, Lua 有 _G. 我們要盡可能避免封裝好的庫(kù)直接扔給全局, 因此封裝起來(lái)是個(gè)好辦法.

 
 
 
  1. -- init
  2. local ffi        = require "ffi"
  3. local floor      = math.floor
  4. local ffi_new    = ffi.new
  5. local ffi_str    = ffi.string
  6. local ffi_typeof = ffi.typeof
  7. local C          = ffi.C
  8. local libbase64  = ffi.load("./libbase64.so") -- change this path when needed.
  9. local _M = { _VERSION = '0.0.1' }

然后是用 ffi.cdef 聲明 ABI 接口, 這里更簡(jiǎn)單, 直接把源代碼的頭文件中的函數(shù)聲明拷過(guò)來(lái)就完事了:

 
 
 
  1. -- cdef
  2. ffi.cdef[[
  3. void base64_encode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
  4. int  base64_decode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
  5. ]]

接下來(lái)是最重要的類型轉(zhuǎn)換:

 
 
 
  1. -- define types
  2. local uint8t    = ffi_typeof("uint8_t[?]") -- uint8_t *
  3. local psizet    = ffi_typeof("size_t[1]")  -- size_t *
  4. -- package function
  5. function _M.base64_encode(src, flags)
  6.     local dlen   = floor((#src * 8 + 4) / 6)
  7.     local out    = ffi_new(uint8t, dlen)
  8.     local outlen = ffi_new(psizet, 1)
  9.     libbase64.base64_encode(src, #src, out, outlen, flags)
  10.     return ffi_str(out, outlen[0])
  11. end 
  12. function _M.base64_decode(src, flags)
  13.     local dlen   = floor((#src + 1) * 6 / 8)
  14.     local out    = ffi_new(uint8t, dlen)
  15.     local outlen = ffi_new(psizet, 1)
  16.     libbase64.base64_decode(src, #src, out, outlen, flags)
  17.     return ffi_str(out, outlen[0])
  18. end

我們用 ffi_typeof 來(lái)定義需要映射的數(shù)據(jù)類型, 然后用 ffi_new 來(lái)將其實(shí)例化, 分配內(nèi)存空間. 具體來(lái)講:

我們定義了2種數(shù)據(jù)類型, 其中, local uint8t = ffi_typeof("uint8_t[?]") 類型用來(lái)傳輸字符串, 后面的問(wèn)號(hào)是給 local out = ffi_new(uint8t, dlen) 中的 ffi_new 函數(shù)準(zhǔn)備的, 它的第二個(gè)參數(shù)可以指定實(shí)例化該數(shù)據(jù)類型時(shí)的長(zhǎng)度. 這樣我們就得到了一個(gè)空的字符串?dāng)?shù)組, 用來(lái)裝 C 函數(shù)返回的結(jié)果. 這里的 dlen 計(jì)算出了源字符串 base64 encode 之后的長(zhǎng)度, 分配該長(zhǎng)度即可.

同樣, local psizet = ffi_typeof("size_t[1]") 指定了一個(gè) size_t * 類型. C 語(yǔ)言里面數(shù)組就是指針, 即 size_t[0] 與 site_t* 是等價(jià)的. 因此我們分只有一個(gè)元素的 size_t 數(shù)組就得到了指向 size_t 類型的指針. 然后在 local outlen = ffi_new(psizet, 1) 的時(shí)候后面的參數(shù)寫(xiě)的也是1, 不過(guò)這里寫(xiě)什么已經(jīng)無(wú)所謂了, 它只是不支持傳進(jìn)去空, 所以我們相當(dāng)于傳了個(gè) placeholder.

在使用這個(gè)值的時(shí)候, 我們也是按照數(shù)組的模式去使用的: return ffi_str(out, outlen[0]) .

需要注意的是, 一定要將 require "ffi" 以及 ffi.load 放在代碼最底層, 否則會(huì)出現(xiàn) table overflow 的情況.

最后, 這個(gè)文件是這樣子的:

 
 
 
  1. --[[
  2.  
  3.     ffi-base64.lua
  4.     
  5.     @version    20201228:1
  6.     @author     karminski 
  7. ]]--
  8. -- init
  9. local ffi        = require "ffi"
  10. local floor      = math.floor
  11. local ffi_new    = ffi.new
  12. local ffi_str    = ffi.string
  13. local ffi_typeof = ffi.typeof
  14. local C          = ffi.C
  15. local libbase64  = ffi.load("./libbase64.so") -- change this path when needed.
  16. local _M = { _VERSION = '0.0.1' }
  17. -- cdef
  18. ffi.cdef[[
  19. void base64_encode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
  20. int  base64_decode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
  21. ]]
  22. -- define types
  23. local uint8t    = ffi_typeof("uint8_t[?]") -- uint8_t *
  24. local psizet    = ffi_typeof("size_t[1]")  -- size_t *
  25. -- package function
  26. function _M.base64_encode(src, flags)
  27.     local dlen   = floor((#src * 8 + 4) / 6)
  28.     local out    = ffi_new(uint8t, dlen)
  29.     local outlen = ffi_new(psizet, 1)
  30.     libbase64.base64_encode(src, #src, out, outlen, flags)
  31.     return ffi_str(out, outlen[0])
  32. end 
  33. function _M.base64_decode(src, flags)
  34.     local dlen   = floor((#src + 1) * 6 / 8)
  35.     local out    = ffi_new(uint8t, dlen)
  36.     local outlen = ffi_new(psizet, 1)
  37.     libbase64.base64_decode(src, #src, out, outlen, flags)
  38.     return ffi_str(out, outlen[0])
  39. end 
  40. return _M

好了, 大功告成, 我們寫(xiě)個(gè) demo 調(diào)用一下試試:

 
 
 
  1. -- main.lua
  2. local ffi_base64 = require "ffi-base64" 
  3. local target = "https://cdxwcx.com"
  4. local r = ffi_base64.base64_encode(target, 0)
  5. print("base64 encode result: \n"..r)
  6. local r = ffi_base64.base64_decode(r, 0)
  7. print("base64 decode result: \n"..r)
 
 
 
  1. root@router02:/data/works/libbase64-ffi# luajit -v
  2. LuaJIT 2.1.0-beta3 -- Copyright (C) 2005-2020 Mike Pall. https://luajit.org/
  3. root@router02:/data/works/libbase64-ffi# luajit ./main.lua 
  4. base64 encode result: 
  5. aHR0cHM6Ly9leGFtcGxlLmNvbQ==
  6. base64 decode result: 
  7. https://cdxwcx.com

搞定! 是不是很簡(jiǎn)單? 類似的 FFI 庫(kù)還有很多, 各個(gè)語(yǔ)言也有不同程度的支持. 大家都可以嘗試一下.

最后, 當(dāng)你遇到類似的問(wèn)題的時(shí)候, 就可以回憶起來(lái), 還有 FFI 這樣一件趁手的兵(魔)器(法)在你的武器庫(kù)里面.


文章名稱:什么?C語(yǔ)言動(dòng)態(tài)庫(kù)免費(fèi)大放送了?
文章鏈接:http://m.5511xx.com/article/ccdegpp.html