日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側工具欄

新聞中心

這里有您想知道的互聯(lián)網營銷解決方案
配置SpringBatch批處理失敗重試

 1. 引言

創(chuàng)新互聯(lián)建站主要從事成都網站制作、做網站、網頁設計、企業(yè)做網站、公司建網站等業(yè)務。立足成都服務宜黃,十載網站建設經驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:18980820575

默認情況下，Spring批處理作業(yè)在執(zhí)行過程中出現任何錯誤都會失敗。然而有些時候，為了提高應用程序的彈性，我們就需要處理這類間歇性的故障。在這篇短文中，我們就來一起探討 如何在Spring批處理框架中配置重試邏輯。

如果對spring batch不了解，可以參考以前的一篇文章：

開車!Spring Batch 入門級示例教程!

2. 簡單舉例

假設有一個批處理作業(yè)，它讀取一個CSV文件作為輸入：

 
 
 
 
    
  
  
  
  
  1. username, userid, transaction_date, transaction_amount 
    2. 
  
  
  
  
  2. sammy, 1234, 31/10/2015, 10000 
    3. 
  
  
  
  
  3. john, 9999, 3/12/2015, 12321 
    4.

然后，它通過訪問REST端點來處理每條記錄，獲取用戶的 age 和 postCode 屬性：

 
 
 
 
    
  
  
  
  
  1. public class RetryItemProcessor implements ItemProcessor { 
    2. 
  
  
  
  
  2.      
    3. 
  
  
  
  
  3.     @Override 
    4. 
  
  
  
  
  4.     public Transaction process(Transaction transaction) throws IOException { 
    5. 
  
  
  
  
  5.         log.info("RetryItemProcessor, attempting to process: {}", transaction); 
    6. 
  
  
  
  
  6.         HttpResponse response = fetchMoreUserDetails(transaction.getUserId()); 
    7. 
  
  
  
  
  7.         //parse user's age and postCode from response and update transaction 
    8. 
  
  
  
  
  8.         ... 
    9. 
  
  
  
  
  9.         return transaction; 
    10. 
  
  
  
  
  10.     } 
    11. 
  
  
  
  
  11.     ... 
    12. 
  
  
  
  
  12. } 
    13.

最后，它生成并輸出一個合并的XML：

 
 
 
 
    
  
  
  
  
  1.  
    2. 
  
  
  
  
  2.      
    3. 
  
  
  
  
  3.         10000.0 
    4. 
  
  
  
  
  4.         2015-10-31 00:00:00 
    5. 
  
  
  
  
  5.         1234 
    6. 
  
  
  
  
  6.         sammy 
    7. 
  
  
  
  
  7.         10 
    8. 
  
  
  
  
  8.         430222 
    9. 
  
  
  
  
  9.      
    10. 
  
  
  
  
  10.     ... 
    11. 
  
  
  
  
  11.  
    12.

3. ItemProcessor 中添加重試

現在假設，如果到REST端點的連接由于某些網絡速度慢而超時，該怎么辦?如果發(fā)生這種情況，則我們的批處理工作將失敗。

在這種情況下，我們希望失敗的 item 處理重試幾次。因此，接下來我將批處理作業(yè)配置為：在出現故障時執(zhí)行最多三次重試：

 
 
 
 
    
  
  
  
  
  1. @Bean 
    2. 
  
  
  
  
  2. public Step retryStep( 
    3. 
  
  
  
  
  3.   ItemProcessor processor, 
    4. 
  
  
  
  
  4.   ItemWriter writer) throws ParseException { 
    5. 
  
  
  
  
  5.     return stepBuilderFactory 
    6. 
  
  
  
  
  6.       .get("retryStep") 
    7. 
  
  
  
  
  7.       .chunk(10) 
    8. 
  
  
  
  
  8.       .reader(itemReader(inputCsv)) 
    9. 
  
  
  
  
  9.       .processor(processor) 
    10. 
  
  
  
  
  10.       .writer(writer) 
    11. 
  
  
  
  
  11.       .faultTolerant() 
    12. 
  
  
  
  
  12.       .retryLimit(3) 
    13. 
  
  
  
  
  13.       .retry(ConnectTimeoutException.class) 
    14. 
  
  
  
  
  14.       .retry(DeadlockLoserDataAccessException.class) 
    15. 
  
  
  
  
  15.       .build(); 
    16. 
  
  
  
  
  16. } 
    17.

這里調用了 faultTolerant() 來啟用重試功能。另外，我們使用 retry 和 retryLimit 分別定義符合重試條件的異常和 item 的最大重試次數。

4. 測試重試次數

假設我們有一個測試場景，其中返回 age 和 postCode 的REST端點關閉了一段時間。在這個測試場景中，我們只對前兩個 API 調用獲取一個 ConnectTimeoutException ，而第三個調用將成功：

 
 
 
 
    
  
  
  
  
  1. @Test 
    2. 
  
  
  
  
  2. public void whenEndpointFailsTwicePasses3rdTime_thenSuccess() throws Exception { 
    3. 
  
  
  
  
  3.     FileSystemResource expectedResult = new FileSystemResource(EXPECTED_OUTPUT); 
    4. 
  
  
  
  
  4.     FileSystemResource actualResult = new FileSystemResource(TEST_OUTPUT); 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6.     when(httpResponse.getEntity()) 
    7. 
  
  
  
  
  7.       .thenReturn(new StringEntity("{ \"age\":10, \"postCode\":\"430222\" }")); 
    8. 
  
  
  
  
  8.   
    9. 
  
  
  
  
  9.     //fails for first two calls and passes third time onwards 
    10. 
  
  
  
  
  10.     when(httpClient.execute(any())) 
    11. 
  
  
  
  
  11.       .thenThrow(new ConnectTimeoutException("Timeout count 1")) 
    12. 
  
  
  
  
  12.       .thenThrow(new ConnectTimeoutException("Timeout count 2")) 
    13. 
  
  
  
  
  13.       .thenReturn(httpResponse); 
    14. 
  
  
  
  
  14.  
    15. 
  
  
  
  
  15.     JobExecution jobExecution = jobLauncherTestUtils 
    16. 
  
  
  
  
  16.       .launchJob(defaultJobParameters()); 
    17. 
  
  
  
  
  17.     JobInstance actualJobInstance = jobExecution.getJobInstance(); 
    18. 
  
  
  
  
  18.     ExitStatus actualJobExitStatus = jobExecution.getExitStatus(); 
    19. 
  
  
  
  
  19.  
    20. 
  
  
  
  
  20.     assertThat(actualJobInstance.getJobName(), is("retryBatchJob")); 
    21. 
  
  
  
  
  21.     assertThat(actualJobExitStatus.getExitCode(), is("COMPLETED")); 
    22. 
  
  
  
  
  22.     AssertFile.assertFileEquals(expectedResult, actualResult); 
    23. 
  
  
  
  
  23. } 
    24.

在這里，我們的工作成功地完成了。另外，從日志中可以明顯看出 第一條記錄 id=1234 失敗了兩次，最后在第三次重試時成功了：

 
 
 
 
    
  
  
  
  
  1. 19:06:57.742 [main] INFO  o.s.batch.core.job.SimpleStepHandler - Executing step: [retryStep] 
    2. 
  
  
  
  
  2. 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 
    3. 
  
  
  
  
  3. 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 
    4. 
  
  
  
  
  4. 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 
    5. 
  
  
  
  
  5. 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=9999 
    6. 
  
  
  
  
  6. 19:06:57.773 [main] INFO  o.s.batch.core.step.AbstractStep - Step: [retryStep] executed in 31ms 
    7.

同樣，看下另一個測試用例，當所有重試次數都用完時會發(fā)生什么：

 
 
 
 
    
  
  
  
  
  1. @Test 
    2. 
  
  
  
  
  2. public void whenEndpointAlwaysFail_thenJobFails() throws Exception { 
    3. 
  
  
  
  
  3.     when(httpClient.execute(any())) 
    4. 
  
  
  
  
  4.       .thenThrow(new ConnectTimeoutException("Endpoint is down")); 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6.     JobExecution jobExecution = jobLauncherTestUtils 
    7. 
  
  
  
  
  7.       .launchJob(defaultJobParameters()); 
    8. 
  
  
  
  
  8.     JobInstance actualJobInstance = jobExecution.getJobInstance(); 
    9. 
  
  
  
  
  9.     ExitStatus actualJobExitStatus = jobExecution.getExitStatus(); 
    10. 
  
  
  
  
  10.  
    11. 
  
  
  
  
  11.     assertThat(actualJobInstance.getJobName(), is("retryBatchJob")); 
    12. 
  
  
  
  
  12.     assertThat(actualJobExitStatus.getExitCode(), is("FAILED")); 
    13. 
  
  
  
  
  13.     assertThat(actualJobExitStatus.getExitDescription(), 
    14. 
  
  
  
  
  14.       containsString("org.apache.http.conn.ConnectTimeoutException")); 
    15. 
  
  
  
  
  15. } 
    16.

在這個測試用例中，在作業(yè)因 ConnectTimeoutException 而失敗之前，會嘗試對第一條記錄重試三次。

5. 使用XML配置重試

最后，讓我們看一下與上述配置等價的XML：

 
 
 
 
    
  
  
  
  
  1.  
    2. 
  
  
  
  
  2.      
    3. 
  
  
  
  
  3.          
    4. 
  
  
  
  
  4.             
  
  
  
  
  5.               processor="retryItemProcessor" commit-interval="10" 
    6. 
  
  
  
  
  6.               retry-limit="3"> 
    7. 
  
  
  
  
  7.                  
    8. 
  
  
  
  
  8.                      
    9. 
  
  
  
  
  9.                      
    10. 
  
  
  
  
  10.                  
    11. 
  
  
  
  
  11.              
    12. 
  
  
  
  
  12.          
    13. 
  
  
  
  
  13.      
    14. 
  
  
  
  
  14.  
    15.

6. 簡單總結

在本文中，我們學習了如何在Spring批處理中配置重試邏輯，其中包括使用Java和XML配置。以及使用單元測試來觀察重試在實踐中是如何工作的。

本文轉載自微信公眾號「鍋外的大佬」，可以通過以下二維碼關注。轉載本文請聯(lián)系鍋外的大佬公眾號。


網頁名稱：配置SpringBatch批處理失敗重試
當前地址：http://m.5511xx.com/article/cdjhedg.html