建站
咨詢
售后
建站咨詢
新聞中心
如何在Linux 上實現(xiàn)定時任務的分頁執(zhí)行
創(chuàng)新互聯(lián)服務項目包括萬全網(wǎng)站建設、萬全網(wǎng)站制作、萬全網(wǎng)頁制作以及萬全網(wǎng)絡營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關系等，向廣大中小型企業(yè)、政府機構等提供互聯(lián)網(wǎng)行業(yè)的解決方案，萬全網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務的客戶以成都為中心已經(jīng)輻射到萬全省份的部分城市，未來相信會繼續(xù)擴大服務區(qū)域并繼續(xù)獲得客戶的支持與信任！
定時任務是Linux 系統(tǒng)管理員經(jīng)常用到的一種任務調(diào)度方式，可以讓系統(tǒng)按照預設的時間自動進行一系列任務的執(zhí)行。但是對于大量數(shù)據(jù)處理的任務而言，一次性執(zhí)行可能會過于耗時，導致系統(tǒng)資源占用過多，甚至出現(xiàn)程序崩潰等情況。因此，如何在Linux 上實現(xiàn)定時任務的分頁執(zhí)行成為一項具有實用價值的技術。
一、什么是定時執(zhí)行任務
在Linux 上，定時執(zhí)行任務是通過Cron服務來實現(xiàn)的。Cron 服務是一個用于定時執(zhí)行程序或腳本的守護進程，它會在指定的時間自動執(zhí)行指定的任務。 Cron 服務的配置文件為“/etc/crontab”和“/etc/cron.d/”，大部分的Linux 發(fā)行版都默認包含了Cron 服務。
在Cron 服務中，用戶可以通過命令行輸入如下的命令行指令來編寫一個定時任務：
$ crontab -e
在編輯器中輸入以下內(nèi)容后保存退出即可：
* * * * * /path/to/your/command
這個任務會每分鐘執(zhí)行一次。
二、如何實現(xiàn)定時任務的分頁執(zhí)行
對于需要處理大規(guī)模數(shù)據(jù)的任務，如何分頁執(zhí)行成為一個重要的問題。以日志分析為例，如果一天的日志文件有幾百GB 的大小，一次性處理不僅效率低下，而且容易出現(xiàn)內(nèi)存占用過多，系統(tǒng)負載過重等問題。因此，我們需要將這個任務分隔成多個小任務，并分頁執(zhí)行，以達到高速處理的目的。
1.分頁處理數(shù)據(jù)
將大規(guī)模的數(shù)據(jù)分頁處理成小文件，通常我們將大文件按照規(guī)定的頁數(shù)分解成多個小文件，然后分頁進行處理。
假設我們需要處理一個20GB 的日志文件，我們可以將其分成100個小文件，每個小文件大小為200MB ，同時我們限制每次處理5個小文件（也就是1GB 的數(shù)據(jù)）。
$ split -b 200M logfile.log
$ ls
logfile.log xaa xab xac ……..xaz
這樣我們就將其中一個20GB 的日志文件分成了100個200MB 的文件，文件名從xaa-xaz ，接下來就可以開始分頁進行處理。
2.使用Shell 腳本進行分頁執(zhí)行
當我們需要將大規(guī)模數(shù)據(jù)分頁處理時，我們可以編寫Shell 腳本。通常，我們需要將每個小文件（頁）文件名進行傳遞，并在腳本中按順序執(zhí)行每一頁。在每一頁處理完畢后，我們需要將處理結果記錄在一個日志文件中。我們需要將所有數(shù)據(jù)處理的日志文件打包成一個文件，方便存儲與查看。
#!/bin/sh
# 該腳本用于按頁執(zhí)行指定任務
# 定義日志文件名稱及路徑
logfile=task.log
logpath=/var/log/
# 定義數(shù)據(jù)文件路徑
datapath=/data/
# 定義每頁數(shù)據(jù)文件的大?。ㄗ止?jié)數(shù)）
split_size=202315200
# 獲取所有小數(shù)據(jù)文件
filelist=`ls $datapath`
# 記錄處理過的頁數(shù)
pagenum=0
# 每次處理5頁數(shù)據(jù)
process_page=5
# 開始分頁執(zhí)行
for pagefile in $filelist
do
echo $(date ‘+%Y-%m-%d %H:%M:%S’) “開始處理數(shù)據(jù)：” $pagefile >> $logpath/$logfile
# 處理當前數(shù)據(jù)頁
process_stuff $datapath/$pagefile
# 記錄處理數(shù)據(jù)的日志
echo $(date ‘+%Y-%m-%d %H:%M:%S’) “處理數(shù)據(jù)：” $pagefile “成功！” >> $logpath/$logfile
# 更新已經(jīng)處理的頁數(shù)
let pagenum+=1
# 判斷是否需要休眠
if [ $(($pagenum%$process_page)) -eq 0 ]; then
sleep 1m
echo $(date ‘+%Y-%m-%d %H:%M:%S’) “休眠1分鐘” >> $logpath/$logfile
fi
done
# 打包所有的處理日志
tar -zcf result.tar.gz $logpath/*.log
3.編寫定時任務
編寫完成Shell 腳本后，我們需要在Cron 中添加定時任務。通常我們將任務分頁執(zhí)行時間設置為凌晨，以避免影響系統(tǒng)的正常使用。
# 每天凌晨1點開始執(zhí)行分頁任務
0 1 * * * /data/run-task.sh
4.啟動Cron 服務并查看腳本執(zhí)行記錄
我們在Cron 中添加了新的任務后，需要啟動Cron 服務，只需要輸入以下命令：
$ systemctl start cron
同時我們可以查看Cron 執(zhí)行記錄并檢查指定任務是否按分頁執(zhí)行。通過以下命令可以查看所有用戶的Cron 記錄：
$ grep CRON /var/log/syslog
在執(zhí)行完以上命令后，我們可以在日志記錄中找到對應的任務執(zhí)行記錄。
結論：
以上就是如何在Linux 上實現(xiàn)定時任務的分頁執(zhí)行。在進行大規(guī)模數(shù)據(jù)處理時，我們可以通過使用Shell 腳本和Cron 服務，將數(shù)據(jù)任務分成多個小任務進行分頁處理，以大幅提高處理的效率，同時避免出現(xiàn)內(nèi)存泄漏和系統(tǒng)負載過重等情況。
成都網(wǎng)站建設公司-創(chuàng)新互聯(lián)為您提供網(wǎng)站建設、網(wǎng)站制作、網(wǎng)頁設計及定制高端網(wǎng)站建設服務！
Linux crontab怎么定時執(zhí)行任務
crontab 需要由root用戶部署，“su – ” 切換到root；
”crontab -e” 進入crontab 編輯狀態(tài)；
輸入” * * * * * /usr/bin/bash /home/ganlin/ganlin.sh”， 這代表每秒執(zhí)行一次腳本。
部署完成后 輸入 ”crontab -l” 查看crontab 中所有部褲稿署的內(nèi)容；
腳本更好不要放在/home目錄下，行純老可以在腳本中檔升寫入一行標準輸出用來在部署完成后測試結果用。
“> /dev/null 2>&1“ 這樣寫得結果是就看不到標準輸出了， /dev/null 代表一個虛擬的設備 把標準輸出寫到一個不存在的設備中去了。
linux使用crontab實現(xiàn)PHP執(zhí)行計劃定時任務
首先說說cron,它是一個linux下的定時執(zhí)行工具。根用戶以外的用戶可以使用
crontab
工具來配置
cron
任務。所有用戶定義的
crontab
都被保存在/var/spool/cron
目錄中，并洞滑衡使用創(chuàng)建它們的用戶身份來執(zhí)行。要以某用戶身份創(chuàng)建一個
crontab
項目，登錄為該用戶，然后鍵入
crontab
-e
命令來編輯該用戶的
crontab。該文件使用的格式和
/etc/crontab
相同。當對
crontab
所做的改變被保存后，該
crontab
文件就會根據(jù)該用戶名被保存，并寫入文件
/var/spool/cron/username
中。cron
守護進程每分鐘都檢查
/etc/crontab
文件、etc/cron.d/
目錄、以及
/var/spool/cron
目錄中的改變。如果發(fā)現(xiàn)了改變，它們就會被載入內(nèi)存。這樣，當某個
crontab
文件改變后就不必重新啟動守護進程了。
安裝crontab:
yum
install
crontabs
說明：
/in/service
crond
start
//啟動服務
/in/service
crond
stop
//關閉服務
/in/service
crond
restart
//重啟服務
/in/service
crond
reload
//重新載入配置
查看crontab服務狀態(tài)：service
crond
status
手動啟動crontab服務：service
crond
start
查看crontab服務是否已設置為開機啟動，執(zhí)行命令：ntsysv
加入開機自動啟動:
chkconfig
–level
crond
on
crontab命令：
功能說明：設置計時器。
語 法：crontab
>
或
crontab
>
補充說明：cron是一個常駐服務，它提供計時器的功能，讓用戶在特定的時間得讓渣以執(zhí)行預設的指令或程序。只要用戶會編輯計時器的配置文件，就可以使
用計時器的功能。其配置文件格式如下：
Minute
Hour
Day
Month
DayOFWeek
Command
參 數(shù)：
-e
編輯該用戶的計時器設置。
-l
列出該用戶的計時器設置。
-r
刪除該用戶的計時器設置。
-u
指定要設定計時器的用戶名稱。
crontab
格式：
基本格式
:
分鐘
小時
日
月
星期
命令
*
*
* 納做
*
*
*
第1列表示分鐘1～59
每分鐘用*或者
*/1表示
第2列表示小時1～23（0表示0點）
第3列表示日期1～31
第4列
表示月份1～12
第5列標識號星期0～6（0表示星期天）
第6列要運行的命令
記住幾個特殊符號的含義:
“*”代表取值范圍內(nèi)的數(shù)字,
“/”代表”每”,
“-”代表從某個數(shù)字到某個數(shù)字,
“,”分開幾個離散的數(shù)字
#
Use
the
hash
sign
to
prefix
a
comment
#
+—————-
minute
(0
–
59)
#
|
+————-
hour
(0
–
23)
#
|
|
+———-
day
of
month
(1
–
31)
#
|
|
|
+——-
month
(1
–
12)
#
|
|
|
|
+—-
day
of
week
(0
–
7)
(Sunday=0
or
7)
#
|
|
|
|
|
#
*
*
*
*
*
command
to
be
executed
crontab幾個例子如下：
（1）之一個例子。
*
*
*
/etc/init.d/nginx
restart
每晚的21:30重啟
nginx。
（2）第二個例子，也就是本教程測試的例子
*
*
*
*
*
/usr/bin/php
-f
/root/test.php
>>
test.log
每一分鐘執(zhí)行/root/test.php文件，將結果輸出到test.log中。
完成了上面基礎工作后，就來看看怎么使用crontab定時執(zhí)行PHP腳本：
（1）我在/root下新建test.php文件，內(nèi)容如下：
復制代碼
代碼如下:
說明：你可以用whereis
php查找php執(zhí)行文件位置。
（2）然后crontab
-e編寫如下shell:
復制代碼
代碼如下:
*
*
*
*
*
/usr/bin/php
-f
/root/test.php
>>
test.log
說明：test.php必須為可執(zhí)行文件：chmod
+x
test.php
測試結果很正常，截圖如下：
當然你可以用使用crontab
-e繼續(xù)添加任務，在/var/spool/cron下你可以看到一個root文件。
關于linux定時任務分頁執(zhí)行的介紹到此就結束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關注本站。
香港云服務器機房,創(chuàng)新互聯(lián)（www.cdcxhl.com）專業(yè)云服務器廠商,回大陸優(yōu)化帶寬,安全/穩(wěn)定/低延遲.創(chuàng)新互聯(lián)助力企業(yè)出海業(yè)務,提供一站式解決方案。香港服務器-免備案低延遲-雙向CN2+BGP極速互訪！
文章名稱：如何在Linux上實現(xiàn)定時任務的分頁執(zhí)行(linux定時任務分頁執(zhí)行)
文章路徑：http://m.5511xx.com/article/cddossp.html
