日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Java一次性查詢幾十萬幾百萬數(shù)據(jù)解決辦法

Java查詢一次性查詢幾十萬，幾百萬數(shù)據(jù)解決辦法。

很早的時候?qū)懝ぞ哂玫囊粋€辦法，當時是用來把百萬數(shù)據(jù)打包成rar文件。

所以用了個笨辦法。 希望高手指導一下，有什么好方法沒有啊。

  1. 先批量查出所有數(shù)據(jù)，例子中是一萬條一批。
  2. 在查出數(shù)據(jù)之后把每次的數(shù)據(jù)按一定規(guī)則存入本地文件。
  3. 獲取數(shù)據(jù)時，通過批次讀取，獲得大批量數(shù)據(jù)。此方法參見：http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/

以下是查詢數(shù)據(jù)庫。按批次查詢

 
 
 
    
  
  
  
  1. public static void  getMonthDataList() { 
    2. 
  
  
  
  2.         ResultSet rs = null; 
    3. 
  
  
  
  3.         Statement stat = null; 
    4. 
  
  
  
  4.         Connection conn = null; 
    5. 
  
  
  
  5.         List list = new ArrayList(); 
    6. 
  
  
  
  6.         try { 
    7. 
  
  
  
  7.             conn = createConnection(); 
    8. 
  
  
  
  8.             if(conn!=null){ 
    9. 
  
  
  
  9.                 SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd"); 
    10. 
  
  
  
  10.                 SimpleDateFormat timesdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); 
    11. 
  
  
  
  11.                 String nowDate = sdf.format(new Date()); 
    12. 
  
  
  
  12.                 Config.lasttimetext = timesdf.format(new Date()); 
    13. 
  
  
  
  13.                 String lastDate = sdf.format(CreateData.addDaysForDate(new Date(), 30)); 
    14. 
  
  
  
  14.                 stat = conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_UPDATABLE); 
    15. 
  
  
  
  15.                 int lastrow = 0; 
    16. 
  
  
  
  16.                 int datanum = 0; 
    17. 
  
  
  
  17.                 String countsql = "SELECT count(a.id) FROM trip_special_flight a" + 
    18. 
  
  
  
  18.                 " where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " + 
    19. 
  
  
  
  19.                 "and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd') and rownum>"+lastrow+" order by a.get_time  desc"; 
    20. 
  
  
  
  20.                 rs = stat.executeQuery(countsql); 
    21. 
  
  
  
  21.                 while (rs.next()) { 
    22. 
  
  
  
  22.                     datanum = rs.getInt(1); 
    23. 
  
  
  
  23.                 } 
    24. 
  
  
  
  24.                 int onerun = 10000; 
    25. 
  
  
  
  25.                 int runnum = datanum%onerun==0?(datanum/onerun):(datanum/onerun)+1; 
    26. 
  
  
  
  26.                 for(int r =0;r
  
  
  
  27.                     System.out.println("getMonthDataList--"+datanum+" 開始查詢第"+(r+1)+"批數(shù)據(jù)"); 
    28. 
  
  
  
  28.                     String sql = "SELECT * FROM  (SELECT rownum rn, a.dpt_code, a.arr_code,a.dpt_date,a.airways,a.flight," + 
    29. 
  
  
  
  29.                     "a.cabin,a.price FROM trip_special_flight a" + 
    30. 
  
  
  
  30.                     " where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " + 
    31. 
  
  
  
  31.                     "and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd')  order by rownum  asc) WHERE rn > "+lastrow; 
    32. 
  
  
  
  32.                     stat.setMaxRows(onerun); 
    33. 
  
  
  
  33.                     stat.setFetchSize(1000); 
    34. 
  
  
  
  34.                     rs = stat.executeQuery(sql); 
    35. 
  
  
  
  35.                     String text = ""; 
    36. 
  
  
  
  36.                     int i = 1; 
    37. 
  
  
  
  37.                     while (rs.next()) { 
    38. 
  
  
  
  38.                         text += rs.getString(2)+"|"+rs.getString(3)+"|"+rs.getDate(4)+"|"+rs.getString(5)+"|"+rs.getString(6)+"|"+rs.getString(7)+"|"+rs.getString(8)+"||"; 
    39. 
  
  
  
  39.                         if(i%1000==0){ 
    40. 
  
  
  
  40.                             FileUtil.appendToFile(Config.tempdatafile, text); 
    41. 
  
  
  
  41.                             text = ""; 
    42. 
  
  
  
  42.                         } 
    43. 
  
  
  
  43.                         i++; 
    44. 
  
  
  
  44.                     } 
    45. 
  
  
  
  45.                     if(text.length()>10){ 
    46. 
  
  
  
  46.                         FileUtil.appendToFile(Config.tempdatafile, text); 
    47. 
  
  
  
  47.                     } 
    48. 
  
  
  
  48.                     lastrow+=onerun; 
    49. 
  
  
  
  49.                 } 
    50. 
  
  
  
  50.             } 
    51. 
  
  
  
  51.         } catch (Exception e) { 
    52. 
  
  
  
  52.             e.printStackTrace(); 
    53. 
  
  
  
  53.         } finally { 
    54. 
  
  
  
  54.             closeAll(rs, stat, conn); 
    55. 
  
  
  
  55.         } 
    56. 
  
  
  
  56. 
  
  
  
  57.     }
    58.

-----java一次性查詢幾十萬，幾百萬數(shù)據(jù)解決辦法

存入臨時文件之后，再用讀取大量數(shù)據(jù)文件方法。

設置緩存大小BUFFER_SIZE ，Config.tempdatafile是文件地址。

來源博客 http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/

 
 
 
    
  
  
  
  1. package com.yjf.util; 
    2. 
  
  
  
  2. import java.io.File; 
    3. 
  
  
  
  3. import java.io.RandomAccessFile; 
    4. 
  
  
  
  4. import java.nio.MappedByteBuffer; 
    5. 
  
  
  
  5. import java.nio.channels.FileChannel; 
    6. 
  
  
  
  6. 
  
  
  
  7. public class Test { 
    8. 
  
  
  
  8.     public static void main(String[] args) throws Exception { 
    9. 
  
  
  
  9.         final int BUFFER_SIZE = 0x300000; // 緩沖區(qū)為3M 
    10. 
  
  
  
  10.         File f = new File(Config.tempdatafile); 
    11. 
  
  
  
  11.  //  來源博客http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/ 
    12. 
  
  
  
  12.         int len = 0; 
    13. 
  
  
  
  13.         Long start = System.currentTimeMillis(); 
    14. 
  
  
  
  14.         for (int z = 8; z >0; z--) { 
    15. 
  
  
  
  15.             MappedByteBuffer inputBuffer = new RandomAccessFile(f, "r") 
    16. 
  
  
  
  16.                     .getChannel().map(FileChannel.MapMode.READ_ONLY, 
    17. 
  
  
  
  17.                             f.length() * (z-1) / 8, f.length() * 1 / 8); 
    18. 
  
  
  
  18.             byte[] dst = new byte[BUFFER_SIZE];// 每次讀出3M的內(nèi)容 
    19. 
  
  
  
  19.             for (int offset = 0; offset < inputBuffer.capacity(); offset += BUFFER_SIZE) { 
    20. 
  
  
  
  20.                 if (inputBuffer.capacity() - offset >= BUFFER_SIZE) { 
    21. 
  
  
  
  21.                     for (int i = 0; i < BUFFER_SIZE; i++) 
    22. 
  
  
  
  22.                         dst[i] = inputBuffer.get(offset + i); 
    23. 
  
  
  
  23.                 } else { 
    24. 
  
  
  
  24.                     for (int i = 0; i < inputBuffer.capacity() - offset; i++) 
    25. 
  
  
  
  25.                         dst[i] = inputBuffer.get(offset + i); 
    26. 
  
  
  
  26.                 } 
    27. 
  
  
  
  27.                 int length = (inputBuffer.capacity() % BUFFER_SIZE == 0) ? BUFFER_SIZE 
    28. 
  
  
  
  28.                         : inputBuffer.capacity() % BUFFER_SIZE; 
    29. 
  
  
  
  29.                 len += new String(dst, 0, length).length(); 
    30. 
  
  
  
  30.                 System.out.println(new String(dst, 0, length).length()+"-"+(z-1)+"-"+(8-z+1)); 
    31. 
  
  
  
  31.             } 
    32. 
  
  
  
  32.         } 
    33. 
  
  
  
  33.         System.out.println(len); 
    34. 
  
  
  
  34.         long end = System.currentTimeMillis(); 
    35. 
  
  
  
  35.         System.out.println("讀取文件文件花費：" + (end - start) + "毫秒"); 
    36. 
  
  
  
  36.     } 
    37. 
  
  
  
  37. 
  
  
  
  38. }
    39.

讀取大量數(shù)據(jù)文件方法。


當前文章：Java一次性查詢幾十萬幾百萬數(shù)據(jù)解決辦法
網(wǎng)站鏈接：http://m.5511xx.com/article/cogdcgi.html