建站
咨詢
售后
建站咨詢
新聞中心
[[423778]]
10年積累的網(wǎng)站建設(shè)、網(wǎng)站制作經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程，更有平谷免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
在 CV 領(lǐng)域，人體姿態(tài)估計(jì)（human pose estimation）利用目標(biāo)檢測(cè)模型和姿態(tài)估計(jì)模型來識(shí)別出人體各個(gè)關(guān)節(jié)的位置和網(wǎng)格，并已在動(dòng)作識(shí)別、動(dòng)畫、游戲、運(yùn)動(dòng)捕捉系統(tǒng)中有著廣泛的應(yīng)用。
但遺憾的是，人體姿態(tài)估計(jì)常常見諸于學(xué)術(shù)研究中，普通讀者很難親身體驗(yàn)它的神奇成像效果。
近日，機(jī)器之心在 GitHub 上發(fā)現(xiàn)了一個(gè)有趣的項(xiàng)目「air-drawing」，作者創(chuàng)建了一個(gè)利用深度學(xué)習(xí)的工具，使你在配有攝像頭的電腦端可以獲得自己的手勢(shì)姿態(tài)估計(jì)成像圖。
項(xiàng)目地址：https://github.com/loicmagne/air-drawing
此外，作者使用的深度學(xué)習(xí)模型還可以預(yù)測(cè)「向上」或「向下」的手勢(shì)動(dòng)作。動(dòng)態(tài)效果展示圖如下：
小編也嘗試在自己的電腦上捕捉到了手勢(shì)姿態(tài)估計(jì)網(wǎng)格圖：
然后試著寫了兩個(gè)字「中國」，不知各位讀者認(rèn)得出來嗎？！
試玩地址：https://loicmagne.github.io/air-drawing/
作者表示，試玩過程中不會(huì)收集用戶信息。作者還優(yōu)化了代碼，使得該工具可以在大多數(shù)電腦上運(yùn)行。電腦上的網(wǎng)絡(luò)攝像頭質(zhì)量會(huì)對(duì)成像效果產(chǎn)生影響，調(diào)高屏幕亮度有助于更快地觸發(fā)攝像頭，并提升快門速度和幀率。如果手部一部分在框架之外，則手部檢測(cè)無法正常工作。在繪圖寫字時(shí)，保持手指向上，手指向下時(shí)會(huì)影響指尖的檢測(cè)。
技術(shù)細(xì)節(jié)
這個(gè)可以隔空作畫的工具使用深度學(xué)習(xí)來完成，實(shí)現(xiàn) pipeline 包含兩個(gè)步驟：手勢(shì)檢測(cè)以及預(yù)測(cè)所要畫的圖，這兩個(gè)過程都是通過深度學(xué)習(xí)來完成的。其中，手勢(shì)檢測(cè)使用了手部追蹤解決方案 MediaPipe toolbox。
MediaPipe toolbox 項(xiàng)目地址：
https://google.github.io/mediapipe/solutions/hands.html
繪圖預(yù)測(cè)部分只用到了手指位置相關(guān)技術(shù)。輸入是一個(gè) 2D 點(diǎn)序列（實(shí)際上，該項(xiàng)目使用的是手指的速度和加速度，而不是位置，來保持預(yù)測(cè)的平移不變），輸出是二元分類「向上（pencil up）」或「向下（pencil down）」。
此外，項(xiàng)目作者還使用了簡(jiǎn)單的雙向 LSTM 架構(gòu)，并且做了一個(gè)小數(shù)據(jù)集（大約 50 個(gè)樣本），數(shù)據(jù)標(biāo)注使用「python-stuff/data-wrangling/」工具。一開始，項(xiàng)目作者想做一個(gè)實(shí)時(shí)的「向上 / 向下」預(yù)測(cè)，即在用戶繪畫的同時(shí)做出預(yù)測(cè)。然而，由于任務(wù)太難，導(dǎo)致結(jié)果很差，因此采用雙向 LSTM。
關(guān)于深度學(xué)習(xí) pipeline 細(xì)節(jié)，你可以在 jupyter-notebook 中的 python-stuff/deep-learning / 了解更多信息。
該應(yīng)用程序可以在用戶端使用，作者將 PyTorch 模型轉(zhuǎn)換為. onnx，然后使用 ONNX Runtime，它非常方便，可以兼容很多層。
總體來說，這個(gè) pipeline 還需要進(jìn)一步完善，一些改進(jìn)的想法包括：
- 使用更大的數(shù)據(jù)集和更多的用戶數(shù)據(jù)；
- 對(duì)手指信號(hào)進(jìn)行處理和平滑，減少對(duì)相機(jī)質(zhì)量的依賴，提高模型的泛化能力。
作者答疑
可以隔空繪畫的這個(gè)項(xiàng)目引來了眾多網(wǎng)友的討論，有人不禁感慨，「這太酷了！讓我想起迪士尼的廣告，他們會(huì)用發(fā)光的魔杖畫出米老鼠的頭?！?/p>
在網(wǎng)友表達(dá)驚喜的同時(shí)，也有人提出了自己的疑惑。項(xiàng)目作者在 reddit 上對(duì)部分網(wǎng)友的的疑問進(jìn)行解答，我們列舉其中一部分。
有網(wǎng)友表示，這是一個(gè)不錯(cuò)的項(xiàng)目，并有疑問——RNN 是從頭開始訓(xùn)練的，還是在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行微調(diào)的？
作者表示：「模型是從頭開始訓(xùn)練的，但使用預(yù)訓(xùn)練模型可能是一個(gè)不錯(cuò)的建議。」
還有網(wǎng)友提問：「預(yù)測(cè)是實(shí)時(shí)的嗎？那樣的話，這將是一個(gè)真正的魔法?！?/p>
作者表示，預(yù)測(cè)是實(shí)時(shí)的。但遺憾的是，實(shí)時(shí)性能不是很好，所以必須使用雙向 LSTM。
還有網(wǎng)友建議「使用 transformer 可以獲得更好的性能」。
對(duì)于這個(gè)建議，作者表示自己曾嘗試過自注意力層，但是結(jié)果并不理想。如果有一個(gè)更大數(shù)據(jù)集的話，采用 transformer 效果會(huì)更好。
分享名稱：來玩！電腦端的手勢(shì)姿態(tài)估計(jì)，隔空寫字、繪圖，有攝像頭就行
文章地址：http://m.5511xx.com/article/dpoipio.html
