日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
巧用Dictionary實現(xiàn)日志數(shù)據(jù)批量插入

本文轉載自微信公眾號「UP技術控」，作者conan5566 。轉載本文請聯(lián)系UP技術控公眾號。   

創(chuàng)新互聯(lián)建站基于成都重慶香港及美國等地區(qū)分布式IDC機房數(shù)據(jù)中心構建的電信大帶寬，聯(lián)通大帶寬，移動大帶寬，多線BGP大帶寬租用,是為眾多客戶提供專業(yè)服務器托管報價，主機托管價格性價比高，為金融證券行業(yè)服務器托管，ai人工智能服務器托管提供bgp線路100M獨享，G口帶寬及機柜租用的專業(yè)成都idc公司。

背景

最近再做一個需求，就是對站點的一些事件進行埋點，說白了就是記錄用戶的訪問行為。那么這些數(shù)據(jù)怎么保存呢，人家點一下保存一下?顯然不合適，肯定是需要批量保存，提高效率。

問題窺探

首先，我想到的是Dictionary，對于C#中的Dictionary類相信大家都不陌生，這是一個Collection(集合)類型，可以通過Key/Value(鍵值對的形式來存放數(shù)據(jù);該類最大的優(yōu)點就是它查找元素的時間復雜度接近O(1)，實際項目中常被用來做一些數(shù)據(jù)的本地緩存，提升整體效率。Dictionary是非線程安全的類型，可以實現(xiàn)先添加到內存當中，在批量保存進去數(shù)據(jù)庫。

主要代碼實現(xiàn)

1、定義一個Dictionary。

 
 
 
    
  
  
  
  1. private readonly Dictionary> _storage = new Dictionary>(StringComparer.OrdinalIgnoreCase); 
    2.

2、添加元素，操作的時候需要對其進行線程安全處理，最簡單的方式就是加鎖(lock)。

 
 
 
    
  
  
  
  1. public bool SaveObject(string path, T value) where T : class { 
    2. 
  
  
  
  2.             if (String.IsNullOrWhiteSpace(path)) 
    3. 
  
  
  
  3.                 throw new ArgumentNullException("path"); 
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.             lock (_lock) { 
    6. 
  
  
  
  6.                 _storage[path] = Tuple.Create(new ObjectInfo { 
    7. 
  
  
  
  7.                     Created = DateTime.Now, 
    8. 
  
  
  
  8.                     Modified = DateTime.Now, 
    9. 
  
  
  
  9.                     Path = path 
    10. 
  
  
  
  10.                 }, (object)value); 
    11. 
  
  
  
  11.  
    12. 
  
  
  
  12.                 if (_storage.Count > MaxObjects) 
    13. 
  
  
  
  13.                     _storage.Remove(_storage.OrderByDescending(kvp => kvp.Value.Item1.Created).First().Key); 
    14. 
  
  
  
  14.             } 
    15. 
  
  
  
  15.  
    16. 
  
  
  
  16.             return true; 
    17. 
  
  
  
  17.         } 
    18.

3、定義一個隊列，定時消費日志。

 
 
 
    
  
  
  
  1. public DefaultEventQueue(ExceptionlessConfiguration config, IExceptionlessLog log, ISubmissionClient client, IObjectStorage objectStorage, IJsonSerializer serializer, TimeSpan? processQueueInterval, TimeSpan? queueStartDelay) { 
    2. 
  
  
  
  2.             _log = log; 
    3. 
  
  
  
  3.             _config = config; 
    4. 
  
  
  
  4.             _client = client; 
    5. 
  
  
  
  5.             _storage = objectStorage; 
    6. 
  
  
  
  6.             _serializer = serializer; 
    7. 
  
  
  
  7.             if (processQueueInterval.HasValue) 
    8. 
  
  
  
  8.                 _processQueueInterval = processQueueInterval.Value; 
    9. 
  
  
  
  9.  
    10. 
  
  
  
  10.             _queueTimer = new Timer(OnProcessQueue, null, queueStartDelay ?? TimeSpan.FromSeconds(2), _processQueueInterval); 
    11. 
  
  
  
  11.         } 
    12.

這里刪除的時候也需要lock 操作。

 
 
 
    
  
  
  
  1. public bool DeleteObject(string path) { 
    2. 
  
  
  
  2.             if (String.IsNullOrWhiteSpace(path)) 
    3. 
  
  
  
  3.                 throw new ArgumentNullException("path"); 
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.             lock (_lock) { 
    6. 
  
  
  
  6.                 if (!_storage.ContainsKey(path)) 
    7. 
  
  
  
  7.                     return false; 
    8. 
  
  
  
  8.  
    9. 
  
  
  
  9.                 _storage.Remove(path); 
    10. 
  
  
  
  10.             } 
    11. 
  
  
  
  11.  
    12. 
  
  
  
  12.             return true; 
    13. 
  
  
  
  13.         } 
    14. 
 
 
 
 
 
 
    
  
  
  
  1. public IEnumerable GetObjectList(string searchPattern = null, int? limit = null, DateTime? maxCreatedDate = null) { 
    2. 
  
  
  
  2.             if (searchPattern == null) 
    3. 
  
  
  
  3.                 searchPattern = "*"; 
    4. 
  
  
  
  4.             if (!maxCreatedDate.HasValue) 
    5. 
  
  
  
  5.                 maxCreatedDate = DateTime.MaxValue; 
    6. 
  
  
  
  6.  
    7. 
  
  
  
  7.             var regex = new Regex("^" + Regex.Escape(searchPattern).Replace("\\*", ".*?") + "$"); 
    8. 
  
  
  
  8.             lock (_lock) 
    9. 
  
  
  
  9.                 return _storage.Keys.Where(k => regex.IsMatch(k)).Select(k => _storage[k].Item1).Where(f => f.Created <= maxCreatedDate).Take(limit ?? Int32.MaxValue).ToList(); 
    10. 
  
  
  
  10.         } 
    11.

總結

1、利用Dictionary。多線程添加數(shù)據(jù)到內存;

2、達到一定量的時候，批量保存數(shù)據(jù)。

3、使用lock ，保證Dictionary操作安全。


網(wǎng)頁標題：巧用Dictionary實現(xiàn)日志數(shù)據(jù)批量插入
網(wǎng)站鏈接：http://m.5511xx.com/article/djjecdp.html