建站
咨詢
售后
建站咨詢
新聞中心
在Linux系統(tǒng)中，使用管道技術(shù)可以將多個命令串聯(lián)在一起，從而實現(xiàn)更加復(fù)雜的操作。在數(shù)據(jù)處理方面，利用管道技術(shù)也能夠方便地讀取數(shù)據(jù)庫數(shù)據(jù)。本文將介紹如何使用Linux管道技術(shù)，輕松讀取數(shù)據(jù)庫數(shù)據(jù)。
成都創(chuàng)新互聯(lián)公司主營惠水網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app軟件開發(fā)公司,惠水h5小程序開發(fā)搭建,惠水網(wǎng)站營銷推廣歡迎惠水等地區(qū)企業(yè)咨詢
一、安裝MySQL客戶端
需要在Linux系統(tǒng)上安裝MySQL客戶端。在Debian/Ubuntu系統(tǒng)上，可以使用以下命令進行安裝：
“`
sudo apt-get install mysql-client
“`
在CentOS/RHEL系統(tǒng)上，可以使用以下命令進行安裝：
“`
sudo yum install mysql
“`
安裝完成后，可以通過以下命令測試連接數(shù)據(jù)庫：
“`
mysql -h 主機地址 -P 端口號 -u 用戶名 -p
“`
二、使用Linux管道讀取數(shù)據(jù)庫數(shù)據(jù)
1.輸出數(shù)據(jù)庫所有表名
我們可以使用以下命令輸出數(shù)據(jù)庫中所有表的名稱：
“`
mysql -h 主機地址 -P 端口號 -u 用戶名 -p 數(shù)據(jù)庫名 -e “show tables;”
“`
該命令將輸出數(shù)據(jù)庫中所有表的名稱。
2.輸出數(shù)據(jù)表所有記錄
接著，我們可以使用以下命令輸出指定數(shù)據(jù)表的所有記錄：
“`
mysql -h 主機地址 -P 端口號 -u 用戶名 -p 數(shù)據(jù)庫名 -e “select * from 數(shù)據(jù)表名;”
“`
該命令將輸出指定數(shù)據(jù)表的所有記錄。
3.輸出數(shù)據(jù)表指定字段記錄
如果只需要輸出數(shù)據(jù)表中指定字段的記錄，可以使用以下命令：
“`
mysql -h 主機地址 -P 端口號 -u 用戶名 -p 數(shù)據(jù)庫名 -e “select 字段1,字段2 from 數(shù)據(jù)表名;”
“`
該命令將只輸出指定字段的記錄。
4.將輸出數(shù)據(jù)傳輸?shù)焦艿?/p>
通過上述命令，我們已經(jīng)能夠從數(shù)據(jù)庫中讀取數(shù)據(jù)。接下來，我們可以將輸出數(shù)據(jù)傳輸?shù)焦艿乐羞M行進一步處理。例如，可以使用以下命令將輸出數(shù)據(jù)作為輸入數(shù)據(jù)傳輸?shù)絞rep命令中：
“`
mysql -h 主機地址 -P 端口號 -u 用戶名 -p 數(shù)據(jù)庫名 -e “select * from 數(shù)據(jù)表名;” | grep “關(guān)鍵字”
“`
該命令將輸出包含指定關(guān)鍵字的記錄。
5.使用awk命令處理輸出數(shù)據(jù)
除了使用grep命令進行過濾外，還可以使用awk命令對輸出數(shù)據(jù)進行處理。例如，可以使用以下命令將輸出數(shù)據(jù)傳輸?shù)絘wk命令中，篩選指定字段的記錄：
“`
mysql -h 主機地址 -P 端口號 -u 用戶名 -p 數(shù)據(jù)庫名 -e “select 字段1,字段2 from 數(shù)據(jù)表名;” | awk ‘{print $1,$2}’
“`
該命令將輸出指定字段的記錄。
6.使用sed命令處理輸出數(shù)據(jù)
除了使用awk命令外，還可以使用sed命令對輸出數(shù)據(jù)進行處理。例如，可以使用以下命令將輸出數(shù)據(jù)傳輸?shù)絪ed命令中，將指定字段用”:”分隔：
“`
mysql -h 主機地址 -P 端口號 -u 用戶名 -p 數(shù)據(jù)庫名 -e “select 字段1,字段2 from 數(shù)據(jù)表名;” | sed ‘s/\t/:/g’
“`
該命令將指定字段用”:”分隔。
三、
Linux管道技術(shù)為數(shù)據(jù)處理提供了方便、高效的方式，可以快速、輕松地讀取數(shù)據(jù)庫數(shù)據(jù)。通過上述命令的組合，可以實現(xiàn)數(shù)據(jù)的過濾、篩選、轉(zhuǎn)換等操作，為數(shù)據(jù)處理帶來更多的可能性。
成都網(wǎng)站建設(shè)公司-創(chuàng)新互聯(lián),建站經(jīng)驗豐富以策略為先導(dǎo)10多年以來專注數(shù)字化網(wǎng)站建設(shè),提供企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計,響應(yīng)式網(wǎng)站制作,設(shè)計師量身打造品牌風(fēng)格,熱線:028-86922220Linux管道通信問題
管道創(chuàng)建的時候讀端和寫端就已經(jīng)打開了，不需要再次打開。
fork()之后就變成兩個進程了，子進程會繼承父進程調(diào)用fork()之前打開的所有文件描述符（管道也是文件，一種特殊的文件）。
在進程控制塊中有一個數(shù)組標識了所有該進程已打開的文件，而文畢粗件描述符實際高渣上就是這個數(shù)組的下標。
但是，戚數(shù)悄一定要記得這是兩個進程，也就是說現(xiàn)在有兩個進程都打開了這個管道。在一個進程中關(guān)閉它的讀端或者寫端并不會影響另一個進程中該管道的狀態(tài)。對這個示例程序來說就是：在父進程中關(guān)閉讀端，但是在子進程中讀端還是打開的。同理，在子進程中關(guān)閉寫端也并不會影響父進程，在父進程中寫端仍然是打開的。
fork()之后兩個進程都有可能得到調(diào)度運行，至于誰先得到調(diào)度誰后得到調(diào)度則是不確定的，每次的結(jié)果可能都不一樣（即使在子進程中調(diào)用了sleep函數(shù)也不一定能保證父進程先得到調(diào)度）。管道是同步的進程間通信方式，也就是說寫端調(diào)用write往管道中寫入消息的時候進程會被阻塞在write函數(shù)上，只有當讀進程把管道中的消息取走之后才會返回（嚴格來說是進入就緒狀態(tài)）。
關(guān)于linux api你可以看看我在百度知道上共享的《Linux內(nèi)核源代碼情景分析》，里面有詳細的描述。 建議多看看進程管理和進程間通信那兩章，了解進程的四要素和同步/異步的區(qū)別。
Handler消息機制（一）：Linux的epoll機制
在linux 沒有實現(xiàn)epoll事件驅(qū)動機制之前，我們一般選擇用select或者poll等IO多路復(fù)用的方法來實現(xiàn)并發(fā)服務(wù)程序。在linux新的內(nèi)核中，有了一種替換它的機制，就是epoll。
相比select模型，
poll使用鏈表保存文件描述符，因此沒有了監(jiān)視文件數(shù)量的限制
，但其他三個缺點依然存在。
假設(shè)我們的服務(wù)器需要支持100萬的并發(fā)連接，則在__FD_SETSIZE 為1024的情況下，則我們至少需要開辟1k個進程才能實現(xiàn)100萬的并發(fā)連接。除了進程間上下文切換的時間消耗外，從內(nèi)核/用戶空間大量的無腦內(nèi)存拷貝、數(shù)組輪詢等，是系統(tǒng)難以承受的。因此，基于select模型的服務(wù)器程序，要達到10萬級別的并發(fā)訪問，是一個很難完成的任務(wù)。
由于epoll的實現(xiàn)機制與select/poll機制完全不同，上面所說的 select的缺點在epoll上不復(fù)存在。
設(shè)想一下如下場景：有100萬個客戶端同時與一個服務(wù)器進程保持著TCP連接。而每一時刻，通常只有幾百上千個TCP連接是活躍的(事實上大部分場景都是這種情況)。如何實現(xiàn)這樣的高并發(fā)？
在select/poll時代，服務(wù)器進程每次都把這100萬個連接告訴操作系統(tǒng)(從用戶態(tài)復(fù)制句柄數(shù)據(jù)結(jié)構(gòu)到內(nèi)核態(tài))，讓操作系統(tǒng)內(nèi)核去查詢這些套接字上是否有事件發(fā)生，輪詢完后，再將句柄數(shù)據(jù)復(fù)制到用戶態(tài)，讓服務(wù)器應(yīng)用程序輪詢處理已發(fā)生的網(wǎng)絡(luò)事件，這一過程資源消耗較大，因此，select/poll一般只能處理幾千的并發(fā)連接。
epoll的設(shè)計和實現(xiàn)與select完全不同。epoll通過在Linux內(nèi)核中申請一個簡易的文件系統(tǒng)(文件系統(tǒng)一般用什么數(shù)據(jù)結(jié)構(gòu)實現(xiàn)？B+樹)。把原先的select/poll調(diào)用分成了3個部分：
1）調(diào)用epoll_create()建立一個epoll對象(在epoll文件系統(tǒng)中為這個句柄對象分配資源)
2）調(diào)用epoll_ctl向epoll對象中添加這100萬個連接的套接字
3）調(diào)用epoll_wait收集發(fā)生的事件的連接
如此一來，要實現(xiàn)上面說是的場景，只需要在進程啟動時建立一個epoll對象，然后在需要的時候向這個epoll對象中添加或者刪除連接。同時，epoll_wait的效率也非常高，因為調(diào)用epoll_wait時，并沒有一股腦的向操作系統(tǒng)復(fù)制這100萬個連接的句柄數(shù)據(jù)，內(nèi)核也不需要去遍歷全部的連接。
當某一進程調(diào)用epoll_create方法時，Linux內(nèi)核會創(chuàng)建一個eventpoll結(jié)構(gòu)體，這個結(jié)構(gòu)體中有兩個成員與epoll的使用方式密切相關(guān)。eventpoll結(jié)構(gòu)體如下所示：
每一個epoll對象都有一個獨立的eventpoll結(jié)構(gòu)體，用于存放通過epoll_ctl方法向epoll對象中添加進來的事件。這些事件都會掛載在紅黑樹中，如此，重復(fù)添加的事件就可以通過紅黑樹而高效的識別出來(紅黑樹的插入時間效率是lgn，其中n為樹的高度)。
而所有
添加到epoll中的事件都會與設(shè)備(網(wǎng)卡)驅(qū)動程序建立回調(diào)關(guān)系，也就是說，當相應(yīng)的事件發(fā)生時會調(diào)用這個回調(diào)方法
。這個回調(diào)方法在內(nèi)核中叫ep_poll_callback,它會將發(fā)生的事件添加到rdlist雙鏈表中。
在epoll中，對于每一個事件，都會建立一個epitem結(jié)構(gòu)體，如下所示：
當調(diào)用epoll_wait檢查是否有事件發(fā)生時，只需要檢查eventpoll對象中的rdlist雙鏈表中是否有epitem元素即可。如果rdlist不為空，則把發(fā)生的事件復(fù)制到用戶態(tài)，同時將事件數(shù)量返回給用戶。
epoll結(jié)構(gòu)示意圖
通過紅黑樹和雙鏈表數(shù)據(jù)結(jié)構(gòu)，并結(jié)合回調(diào)機制，造就了epoll的高效。
events可以是以下幾個宏的：
EPOLLIN：觸發(fā)該事件，表示對應(yīng)的文件描述符上有可讀數(shù)據(jù)。(包括對端SOCKET正常關(guān)閉)；
EPOLLOUT：觸發(fā)該事件，表示對應(yīng)的文件描述符上可以寫數(shù)據(jù)；
EPOLLPRI：表示對應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀（這里應(yīng)該表示有帶外數(shù)據(jù)到來）；
EPOLLERR：表示對應(yīng)的文件描述符發(fā)生錯誤；
EPOLLHUP： 表示對應(yīng)的文件描述符被掛斷；
EPOLLET：將EPOLL設(shè)為邊緣觸發(fā)(EdgeTriggered)模式，這是相對于水平觸發(fā)(Level Triggered)來說的。
EPOLLONESHOT： 只監(jiān)聽一次事件，當監(jiān)聽完這次事件之后，如果還需要繼續(xù)監(jiān)聽這個socket的話，需要再次把這個socket加入到EPOLL隊列里。
示例：
ET(EdgeTriggered)
:高速工作模式，只支持no_block(非阻塞模式)。在此模式下，當描述符從未就緒變?yōu)榫途w時，內(nèi)核通過epoll告知。然后它會假設(shè)用戶知道文件描述符已經(jīng)就緒，并且不會再為那個文件描述符發(fā)送更多的就緒通知，直到某些操作導(dǎo)致那個文件描述符不再為就緒狀態(tài)了。(觸發(fā)模式只在數(shù)據(jù)就緒時通知一次，若數(shù)據(jù)沒有讀完，下一次不會通知，直到有新的就緒數(shù)據(jù))
LT(LevelTriggered)
:缺省工作方式，支持blocksocket和no_blocksocket。在LT模式下內(nèi)核會告知一個文件描述符是否就緒了，然后可以對這個就緒的fd進行IO操作。如果不作任何操作，內(nèi)核還是會繼續(xù)通知！若數(shù)據(jù)沒有讀完，內(nèi)核也會繼續(xù)通知，直至設(shè)備數(shù)據(jù)為空為止！
1.我們已經(jīng)把一個用來從管道中讀取數(shù)據(jù)的文件句柄(RFD)添加到epoll描述符
\2. 這個時候從管道的另一端被寫入了2KB的數(shù)據(jù)
\3. 調(diào)用epoll_wait(2)，并且它會返回RFD，說明它已經(jīng)準備好讀取操作
\4. 然后我們讀取了1KB的數(shù)據(jù)
\5. 調(diào)用epoll_wait(2)……
ET工作模式：
如果我們在第1步將RFD添加到epoll描述符的時候使用了EPOLLET標志，在第2步執(zhí)行了一個寫操作，第三步epoll_wait會返回同時通知的事件會銷毀。因為第4步的讀取操作沒有讀空文件輸入緩沖區(qū)內(nèi)的數(shù)據(jù)，因此我們在第5步調(diào)用epoll_wait(2)完成后，是否掛起是不確定的。epoll工作在ET模式的時候，必須使用非阻塞套接口，以避免由于一個文件句柄的阻塞讀/阻塞寫操作把處理多個文件描述符的任務(wù)餓死。
只有當read(2)或者write(2)返回EAGAIN時(認為讀完)才需要掛起，等待。但這并不是說每次read()時都需要循環(huán)讀，直到讀到產(chǎn)生一個EAGAIN才認為此次事件處理完成，當read()返回的讀到的數(shù)據(jù)長度小于請求的數(shù)據(jù)長度時(即小于sizeof(buf))，就可以確定此時緩沖中已沒有數(shù)據(jù)了，也就可以認為此事讀事件已處理完成。
LT工作模式：
LT方式調(diào)用epoll接口的時候，它就相當于一個速度比較快的poll(2)，并且無論后面的數(shù)據(jù)是否被使用，因此他們具有同樣的職能。
當調(diào)用 epoll_wait檢查是否有發(fā)生事件的連接時，只是檢查 eventpoll對象中的 rdllist雙向鏈表是否有 epitem元素而已，如果 rdllist鏈表不為空，則把這里的事件復(fù)制到用戶態(tài)內(nèi)存中，同時將事件數(shù)量返回給用戶。因此，epoll_wait的效率非常高。epoll_ctl在向 epoll對象中添加、修改、刪除事件時，從 rbr紅黑樹中查找事件也非?？欤簿褪钦f，epoll是非常高效的，它可以輕易地處理百萬級別的并發(fā)連接。
1.減少用戶態(tài)和內(nèi)核態(tài)之間的文件句柄拷貝；
2.減少對可讀可寫文件句柄的遍歷。
關(guān)于linux從管道中讀取數(shù)據(jù)庫的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。
成都網(wǎng)站建設(shè)選創(chuàng)新互聯(lián)(?:028-86922220),專業(yè)從事成都網(wǎng)站制作設(shè)計,高端小程序APP定制開發(fā),成都網(wǎng)絡(luò)營銷推廣等一站式服務(wù)。
分享題目：利用Linux管道技術(shù)，輕松讀取數(shù)據(jù)庫數(shù)據(jù)(linux從管道中讀取數(shù)據(jù)庫)
文章源于：http://m.5511xx.com/article/coscdcd.html
