建站
咨詢
售后
建站咨詢
新聞中心
數(shù)據(jù)庫是現(xiàn)代軟件系統(tǒng)中至關(guān)重要的一環(huán)。在大多數(shù)現(xiàn)代應(yīng)用程序中，幾乎每個(gè)子系統(tǒng)都與數(shù)據(jù)庫交互，提供數(shù)據(jù)存儲(chǔ)和處理的核心服務(wù)。在這種情況下，數(shù)據(jù)庫的穩(wěn)定性和可靠性非常關(guān)鍵。如果數(shù)據(jù)庫遇到阻塞，應(yīng)用程序?qū)?huì)崩潰，從而導(dǎo)致系統(tǒng)停機(jī)和數(shù)據(jù)丟失。這對(duì)于任何企業(yè)來說都是一場(chǎng)災(zāi)難，因此解決阻塞問題非常重要。
為了避免阻塞，我們需要理解發(fā)生阻塞的原因以及如何加以預(yù)防和解決。
數(shù)據(jù)庫中的阻塞是指在一個(gè)事務(wù)中發(fā)生了某些阻塞操作，而另一個(gè)事務(wù)無法運(yùn)行的情況。例如，如果一個(gè)事務(wù)在讀取一個(gè)表的某些數(shù)據(jù)，而另一個(gè)事務(wù)試圖修改該表，則修改事務(wù)將被阻塞，直到讀取事務(wù)完成。
在理想情況下，數(shù)據(jù)庫應(yīng)該是無阻塞的。但在現(xiàn)實(shí)中，很難避免阻塞的發(fā)生?？上У氖牵坏┳枞霈F(xiàn)，它通常會(huì)導(dǎo)致嚴(yán)重的后果。
以下是一些處理高訪問量數(shù)據(jù)庫阻塞的實(shí)用技巧：
1. 使用合適的索引
索引是優(yōu)化數(shù)據(jù)庫查詢的關(guān)鍵組成部分。如果您的數(shù)據(jù)庫中沒有合適的索引，查詢可能需要花費(fèi)很長(zhǎng)時(shí)間。索引可以在查詢過程中快速定位數(shù)據(jù)，這樣查詢就會(huì)更快，更有效。
2. 分布式架構(gòu)
分布式架構(gòu)是防止高訪問量數(shù)據(jù)庫阻塞的一種解決方案。在分布式架構(gòu)中，數(shù)據(jù)存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，并且每個(gè)節(jié)點(diǎn)都可以獨(dú)立地處理查詢。這使得每個(gè)節(jié)點(diǎn)都可以處理自己的負(fù)載，從而減少阻塞發(fā)生的可能性。
3. 定期維護(hù)
定期維護(hù)數(shù)據(jù)庫是非常重要的。定期維護(hù)包括數(shù)據(jù)庫備份、重建索引、清理垃圾數(shù)據(jù)等操作。這些操作可以保持?jǐn)?shù)據(jù)庫的良好狀態(tài)，并減少阻塞發(fā)生的可能性。
4. 避免長(zhǎng)時(shí)間事務(wù)
長(zhǎng)時(shí)間事務(wù)是一種阻塞高發(fā)事件。這種情況下，一個(gè)事務(wù)會(huì)持有某個(gè)數(shù)據(jù)庫資源，而另一個(gè)事務(wù)將無法訪問該資源，反之亦然。為了避免這種情況的發(fā)生，開發(fā)人員應(yīng)該盡量避免設(shè)計(jì)長(zhǎng)時(shí)間事務(wù)。
5. 資源限制
為了避免阻塞，也可以使用資源限制工具。例如，內(nèi)存限制可以防止一個(gè)事務(wù)占用大量?jī)?nèi)存，而長(zhǎng)時(shí)間持有該內(nèi)存。同樣地，CPU限制可以防止一個(gè)事務(wù)使用全部CPU資源，使其他事務(wù)無法運(yùn)行。
阻塞是數(shù)據(jù)庫中比較常見的問題。為了避免阻塞，數(shù)據(jù)庫應(yīng)該使用合適的索引、分布式架構(gòu)、定期維護(hù)、避免長(zhǎng)時(shí)間事務(wù)和資源限制等技術(shù)。在阻塞的發(fā)生時(shí)，我們需要對(duì)其進(jìn)行分析和解決，以免出現(xiàn)更大的問題。不能夠忽略的是，定期升級(jí)數(shù)據(jù)庫及其相關(guān)組件，及時(shí)將數(shù)據(jù)庫和操作系統(tǒng)的安全補(bǔ)丁打上，以保障數(shù)據(jù)庫的安全性。
成都網(wǎng)站建設(shè)公司-創(chuàng)新互聯(lián),建站經(jīng)驗(yàn)豐富以策略為先導(dǎo)10多年以來專注數(shù)字化網(wǎng)站建設(shè),提供企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計(jì),響應(yīng)式網(wǎng)站制作,設(shè)計(jì)師量身打造品牌風(fēng)格,熱線:028-86922220如何解決數(shù)據(jù)庫數(shù)據(jù)量大的問題
解決數(shù)據(jù)庫數(shù)據(jù)量大的問題,分庫或者分表都是辦法之一。
分庫：編程會(huì)復(fù)雜一些；但是適合更大缺乎量的伏讓悉數(shù)據(jù)庫數(shù)據(jù)量。
分表：數(shù)據(jù)文件可能還是滑凳偏大。
網(wǎng)站訪問量大 怎樣優(yōu)化mysql數(shù)據(jù)庫
I硬件配置優(yōu)化
CPU選擇：多核的CPU，主頻高的CPU
內(nèi)存：更大的內(nèi)存
磁盤選擇：更快的轉(zhuǎn)速、RAID、陣列卡，
網(wǎng)絡(luò)環(huán)境選擇：盡量部署在局域網(wǎng)、SCI、光纜、千兆網(wǎng)、雙網(wǎng)線和數(shù)提供冗余、0.0.0.0多端口綁定監(jiān)聽
II操作系統(tǒng)級(jí)優(yōu)化
使用64位的操作系統(tǒng)，更好的使用大內(nèi)存擾棚燃。
設(shè)置noatime,nodiratime
$ cat /etc/fstab
LABEL=//ext3 defaults,noatime,nodiratime
/dev/sda/dataxfs defaults,noatime,nodiratime
優(yōu)化內(nèi)核參數(shù)
net.ipv4.tcp_keepalive_time=7200
net.ipv4.tcp_max_syn_backlog=1024
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.neigh.default.gc_thresh3 = 2023
net.ipv4.neigh.default.gc_thresh2 = 1024
net.ipv4.neigh.default.gc_thresh1 = 256
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.forwarding = 1
net.ipv4.conf.default.proxy_arp = 0
net.ipv4.tcp_syncookies = 1
net.core.netdev_max_backlog = 2023
net.core.dev_weight = 64
net.ipv4.tcp_rmem =777216
net.ipv4.tcp_wmem =777216
net.ipv4.tcp_rfc1337 = 1
net.ipv4.tcp_sack = 0
net.ipv4.tcp_fin_timeout = 20
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_max_orphans = 32768
net.core.optmem_max = 20230
net.core.rmem_default =
net.core.rmem_max =
net.core.wmem_default =
net.core.wmem_max =
net.core.somaxconn = 500
net.ipv4.tcp_orphan_retries = 1
net.ipv4.tcp_max_tw_buckets = 18000
net.ipv4.ip_forward = 0
net.ipv4.conf.default.proxy_arp = 0
net.ipv4.conf.all.rp_filter = 1
kernel.sysrq = 1
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.ip_local_port_range =
kernel.shmmax =
vm.swappiness=0
加大文件描述符限制
Vim /etc/security/limits.conf
加上
*soft nofile
*hard nofile
文件系統(tǒng)選擇 xfs
/dev/sda/dataxfs defaults,noatime,nodiratime
III Mysql設(shè)計(jì)優(yōu)化
III.1存儲(chǔ)引擎的選擇
Myisam：數(shù)據(jù)庫并發(fā)不大，讀多寫少,而且都能很好的用緩虛到索引，sql語句比較簡(jiǎn)單的應(yīng)用，TB數(shù)據(jù)倉庫
Innodb：并發(fā)訪問大，寫操作比較多，有外鍵、事務(wù)等需求的應(yīng)用，系統(tǒng)內(nèi)存較大。
III.2命名規(guī)則
多數(shù)開發(fā)語言命名規(guī)則：比如MyAdress
多數(shù)開源思想命名規(guī)則：my_address
避免隨便命名
III.3字段類型選擇
字段類型的選擇的一般原則：
根據(jù)需求選擇合適的字段類型，在滿足需求的情況下字段類型盡可能小。
只分配滿足需求的最小字符數(shù)，不要太慷慨。
原因：更小的字段類型更小的字符數(shù)占用更少的內(nèi)存，占用更少的磁盤空間，占用更少的磁盤IO，以及占用更少的帶寬。
III.3.1 整型：
見如下圖:
類型
字節(jié)
最小值
更大值
(帶符號(hào)的/無符號(hào)的)
(帶符號(hào)的/無符號(hào)的)
TINYINT
-128
127
255
ALLINT
-32768
32767
65535
MEDIUMINT
INT
BIGINT
775808
75807
551615
根據(jù)滿足需求的最小整數(shù)為選擇原則，能用INT的就不要用BIGINT。
用無符號(hào)INT存儲(chǔ)IP，而非CHAR(15)。
III.3.2 浮點(diǎn)型：
類型
字節(jié)
精度類型
使用場(chǎng)景
FLOAT(M,D)
單精度
精度要求不高，數(shù)值比較小
DOUBLE(M,D)（REAL）
雙精度
精度要求不高，數(shù)值比較大
DECIMAL(M,D)(NUMERIC）
M+2
自定義精度
精度要求很高的場(chǎng)景
III.3.3 時(shí)間類型
類型
取值范圍
存儲(chǔ)空間
零值表示法
DATE
~
3字節(jié)
TIME
-838:59:59~838:59:59
3字節(jié)
00:00:00
DATETIME
:00:00~:59:59
8字節(jié)
:00:00
TIMESTAMP
~2023年的某個(gè)時(shí)刻
4字節(jié)
YEAR
YEAR(4):1901~2155 YEAR(2)：1970~2023
1字節(jié)
0000
III.3.4 字符類型
類型
更大長(zhǎng)度
占用存儲(chǔ)空間
CHAR
M字節(jié)
M字節(jié)
VARCHAR
M字節(jié)
M+1字節(jié)
TINYBLOD，TINYTEXT
2^8-1字節(jié)
L+1字節(jié)
BLOB，TEXT
2^16-1字節(jié)
L+2
MEDIUMBLOB，MEDIUMTEXT
2^24-1字節(jié)
L+3
LONGBLOB，LONGTEXT
2^32-1字節(jié)
L+4
ENUM(‘value1′,’value2’,…)
65535個(gè)成員
1或2字節(jié)
SET(‘value1′,’value2’,…)
64個(gè)成員
1,2,3,4或8字節(jié)
注：L表示可變長(zhǎng)度的意思
對(duì)于varchar和char的選擇要根據(jù)引擎和具體情況的不同來選擇，主要依據(jù)如下原則:
1. 如果列數(shù)據(jù)項(xiàng)的大小一致或者相差不大，則使用char。
2. 如果列數(shù)據(jù)項(xiàng)的大小差異相當(dāng)大，則使用varchar。
3. 對(duì)于MyISAM表，盡量使用Char，對(duì)于那些經(jīng)常需要修改而容易形成碎片的myisam和isam數(shù)據(jù)表就更是如此，它的缺點(diǎn)就是占用磁盤空間。
4. 對(duì)于InnoDB表，因?yàn)樗臄?shù)據(jù)行內(nèi)部存儲(chǔ)格式對(duì)固定長(zhǎng)度的數(shù)據(jù)行和可變長(zhǎng)度的數(shù)據(jù)行不加區(qū)分（所有數(shù)據(jù)行共用一個(gè)表頭部分，這個(gè)標(biāo)頭部分存放著指向各有關(guān)數(shù)據(jù)列的指針），所以使用char類型不見得會(huì)比使用varchar類型好。事實(shí)上，因?yàn)閏har類型通常要比varchar類型占用更多的空 間，所以從減少空間占用量和減少磁盤i/o的角度，使用varchar類型反而更有利。
5.表中只要存在一個(gè)varchar類型的字段，那么所有的char字段都會(huì)自動(dòng)變成varchar類型，因此建議定長(zhǎng)和變長(zhǎng)的數(shù)據(jù)分開。
III.4編碼選擇
單字節(jié) latin1
多字節(jié) utf8(漢字占3個(gè)字節(jié)，英文字母占用一個(gè)字節(jié))
如果含有中文字符的話更好都統(tǒng)一采用utf8類型，避免亂碼的情況發(fā)生。
III.5主鍵選擇原則
注：這里說的主鍵設(shè)計(jì)主要是針對(duì)INNODB引擎
1. 能唯一的表示行。
2. 顯式的定義一個(gè)數(shù)值類型自增字段的主鍵，這個(gè)字段可以僅用于做主鍵，不做其他用途。
3. MySQL主鍵應(yīng)該是單列的，以便提高連接和篩選操作的效率。
4. 主鍵字段類型盡可能小，能用ALLINT就不用INT，能用INT就不用BIGINT。
5. 盡量保證不對(duì)主鍵字段進(jìn)行更新修改，防止主鍵字段發(fā)生變化，引發(fā)數(shù)據(jù)存儲(chǔ)碎片，降低IO性能。
6. MySQL主鍵不應(yīng)包含動(dòng)態(tài)變化的數(shù)據(jù)，如時(shí)間戳、創(chuàng)建時(shí)間列、修改時(shí)間列等。
7. MySQL主鍵應(yīng)當(dāng)有計(jì)算機(jī)自動(dòng)生成。
8. 主鍵字段放在數(shù)據(jù)表的之一順序。
推薦采用數(shù)值類型做主鍵并采用auto_increment屬性讓其自動(dòng)增長(zhǎng)。
III.6其他需要注意的地方
NULL OR NOT NULL
盡可能設(shè)置每個(gè)字段為NOT NULL，除非有特殊的需求，原因如下：
1. 使用含有NULL列做索引的話會(huì)占用更多的磁盤空間，因?yàn)樗饕齆ULL列需要而外的空間來保存。
2. 進(jìn)行比較的時(shí)候，程序會(huì)更復(fù)雜。
3. 含有NULL的列比較特殊，SQL難優(yōu)化，如果是一個(gè)組合索引，那么這個(gè)NULL 類型的字段會(huì)極大影響整個(gè)索引的效率。
索引
索引的缺點(diǎn)：極大地加速了查詢，減少掃描和鎖定的數(shù)據(jù)行數(shù)。
索引的缺點(diǎn)：占用磁盤空間，減慢了數(shù)據(jù)更新速度，增加了磁盤IO。
添加索引有如下原則：
1. 選擇唯一性索引。
2. 為經(jīng)常需要排序、分組和聯(lián)合操作的字段建立索引。
3. 為常作為查詢條件的字段建立索引。
4. 限制索引的數(shù)據(jù)，索引不是越多越好。
5. 盡量使用數(shù)據(jù)量少的索引，對(duì)于大字段可以考慮前綴索引。
6. 刪除不再使用或者很少使用的索引。
7. 結(jié)合核心SQL優(yōu)先考慮覆蓋索引。
8. 忌用字符串做主鍵。
反范式設(shè)計(jì)
適當(dāng)?shù)氖褂萌哂嗟姆捶妒皆O(shè)計(jì)，以空間換時(shí)間有的時(shí)候會(huì)很高效。
IV Mysql軟件優(yōu)化
開啟mysql復(fù)制，實(shí)現(xiàn)讀寫分離、負(fù)載均衡，將讀的負(fù)載分?jǐn)偟蕉鄠€(gè)從服務(wù)器上，提高服務(wù)器的處理能力。
使用推薦的GA版本，提升性能
利用分區(qū)新功能進(jìn)行大數(shù)據(jù)的數(shù)據(jù)拆分
VMysql配置優(yōu)化
注意：全局參數(shù)一經(jīng)設(shè)置，隨服務(wù)器啟動(dòng)預(yù)占用資源。
key_buffer_size參數(shù)
mysql索引緩沖，如果是采用myisam的話要重點(diǎn)設(shè)置這個(gè)參數(shù)，根據(jù)（key_reads/key_read_requests）判斷
innodb_buffer_pool_size參數(shù)
INNODB 數(shù)據(jù)、索引、日志緩沖最重要的引擎參數(shù)，根據(jù)（hit riatos和FILE I/O）判斷
wait_time_out參數(shù)
線程連接的超時(shí)時(shí)間，盡量不要設(shè)置很大，推薦10s
max_connections參數(shù)
服務(wù)器允許的更大連接數(shù)，盡量不要設(shè)置太大，因?yàn)樵O(shè)置太大的話容易導(dǎo)致內(nèi)存溢出，需要通過如下公式來確定：
SET @k_bytes = 1024;
SET @m_bytes = @k_bytes * 1024;
SET @g_bytes = @m_bytes * 1024;
SELECT
(
@@key_buffer_size + @@query_cache_size + @@tmp_table_size+
@@innodb_buffer_pool_size + @@innodb_additional_mem_pool_size+
@@innodb_log_buffer_size+
@@max_connections *
( @@read_buffer_size + @@read_rnd_buffer_size + @@sort_buffer_size+
@@join_buffer_size + @@binlog_cache_size + @@thread_stack
) )
/ @g_bytes AS MAX_MEMORY_USED_GB;
thread_concurrency參數(shù)
線程并發(fā)利用數(shù)量，(cpu+disk)*2,根據(jù)(os中顯示的請(qǐng)求隊(duì)列和tickets)判斷
sort_buffer_size參數(shù)
獲得更快的–ORDER BY,GROUP BY,SELECT DISTINCT,UNION DISTINCT
read_rnd_buffer_size參數(shù)
當(dāng)根據(jù)鍵進(jìn)行分類操作時(shí)獲得更快的–ORDER BY
join_buffer_size參數(shù)
join連接使用全表掃描連接的緩沖大小，根據(jù)select_full_join判斷
read_buffer_size參數(shù)
全表掃描時(shí)為查詢預(yù)留的緩沖大小，根據(jù)select_scan判斷
tmp_table_size參數(shù)
臨時(shí)內(nèi)存表的設(shè)置，如果超過設(shè)置就會(huì)轉(zhuǎn)化成磁盤表，根據(jù)參數(shù)(created_tmp_disk_tables)判斷
innodb_log_file_size參數(shù)(默認(rèn)5M)
記錄INNODB引擎的redo log文件，設(shè)置較大的值意味著較長(zhǎng)的恢復(fù)時(shí)間。
? innodb_flush_method參數(shù)(默認(rèn)fdatasync)
Linux系統(tǒng)可以使用O_DIRECT處理數(shù)據(jù)文件，避免OS級(jí)別的cache，O_DIRECT模式提高數(shù)據(jù)文件和日志文件的IO提交性能
innodb_flush_log_at_trx_commit(默認(rèn)1)
表示每秒進(jìn)行一次log寫入cache，并flush log到磁盤。
表示在每次事務(wù)提交后執(zhí)行l(wèi)og寫入cache，并flush log到磁盤。
表示在每次事務(wù)提交后，執(zhí)行l(wèi)og數(shù)據(jù)寫入到cache，每秒執(zhí)行一次flush log到磁盤。
VI Mysql語句級(jí)優(yōu)化
1. 性能查的讀語句，在innodb中統(tǒng)計(jì)行數(shù),建議另外弄一張統(tǒng)計(jì)表，采用myisam，定期做統(tǒng)計(jì).一般的對(duì)統(tǒng)計(jì)的數(shù)據(jù)不會(huì)要求太精準(zhǔn)的情況下適用。
2. 盡量不要在數(shù)據(jù)庫中做運(yùn)算。
3. 避免負(fù)向查詢和%前綴模糊查詢。
4. 不在索引列做運(yùn)算或者使用函數(shù)。
5. 不要在生產(chǎn)環(huán)境程序中使用select * from 的形式查詢數(shù)據(jù)。只查詢需要使用的列。
6. 查詢盡可能使用limit減少返回的行數(shù)，減少數(shù)據(jù)傳輸時(shí)間和帶寬浪費(fèi)。
7. where子句盡可能對(duì)查詢列使用函數(shù)，因?yàn)閷?duì)查詢列使用函數(shù)用不到索引。
8. 避免隱式類型轉(zhuǎn)換，例如字符型一定要用’’，數(shù)字型一定不要使用’’。
9. 所有的SQL關(guān)鍵詞用大寫，養(yǎng)成良好的習(xí)慣，避免SQL語句重復(fù)編譯造成系統(tǒng)資源的浪費(fèi)。
10. 聯(lián)表查詢的時(shí)候，記得把小結(jié)果集放在前面，遵循小結(jié)果集驅(qū)動(dòng)大結(jié)果集的原則。
數(shù)據(jù)庫訪問量大 如何阻止阻塞的介紹就聊到這里吧，感謝你花時(shí)間閱讀本站內(nèi)容，更多關(guān)于數(shù)據(jù)庫訪問量大 如何阻止阻塞,高訪問量數(shù)據(jù)庫如何避免阻塞,如何解決數(shù)據(jù)庫數(shù)據(jù)量大的問題,網(wǎng)站訪問量大 怎樣優(yōu)化mysql數(shù)據(jù)庫的信息別忘了在本站進(jìn)行查找喔。
成都創(chuàng)新互聯(lián)科技有限公司，經(jīng)過多年的不懈努力，公司現(xiàn)已經(jīng)成為一家專業(yè)從事IT產(chǎn)品開發(fā)和營銷公司。廣泛應(yīng)用于計(jì)算機(jī)網(wǎng)絡(luò)、設(shè)計(jì)、SEO優(yōu)化、關(guān)鍵詞排名等多種行業(yè)！
網(wǎng)頁標(biāo)題：高訪問量數(shù)據(jù)庫如何避免阻塞(數(shù)據(jù)庫訪問量大如何阻止阻塞)
分享地址：http://m.5511xx.com/article/dhoipdc.html
