日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

背景

專注于為中小企業(yè)提供成都網(wǎng)站建設、成都做網(wǎng)站服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)獻縣免費做網(wǎng)站提供優(yōu)質的服務。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了千余家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設實現(xiàn)規(guī)模擴充和轉變。

隨著Internet的普及，網(wǎng)絡信息正以極高的速度增長，在這么多數(shù)據(jù)中找到自己需要的信息是一件很繁瑣的事情，找到需要的信息后如何獲取也是件麻煩的事。這就需要C#實現(xiàn)Internet信息抓取程序來代替人工的操作。
所謂Internet信息抓取程序，就是程序會按照用戶的關鍵詞或關鍵網(wǎng)站來收集相應的信息，并提供給用戶想要的信息格式。

信息量的增加會帶來信息網(wǎng)站發(fā)布人員工作量的劇增，為實現(xiàn)信息發(fā)布系統(tǒng)實現(xiàn)信息自
動發(fā)布、減少工作人員工作量、即時跟蹤最新信息，就需要自動信息提供程序，因此C#實現(xiàn)Internet信息抓取程序應運而生。

目標

實現(xiàn)自定義網(wǎng)站信息分類抓取，存入本地數(shù)據(jù)庫、生成靜態(tài)頁面或其它用戶定義的信息結構，并下載與信息相關的多媒體文件。

開發(fā)

目標站點結構分析
本步驟是準確抓取信息個關鍵。
首先要選擇更新頻率高的頁面做為抓取地址，然后分析要抓取內(nèi)容頁面url特點。
然后分析要抓取信息頁面的元素特性，比如標題位置，內(nèi)容位置 等，得到定位標記點。
將以上信息寫成自己的配置文件或存到數(shù)據(jù)庫中。
每個網(wǎng)站都需要分析，寫出單獨的配置文件，供抓取程序使用。

信息提取
根據(jù)配置文件取得要抓取頁面url，使用HttpWebRequest類獲取內(nèi)容：

 
 
 

  
  
  
//獲取http頁面函數(shù)  
  
  
  
publicstringGet_Http(stringa_strUrl,inttimeout)  
  
  
  
{  
  
  
  
stringstrResult;  
  
  
  
 
  
  
  
try  
  
  
  
{  
  
  
  
HttpWebRequestmyReq=(HttpWebRequest)HttpWebRequest.Create(a_strUrl);  
  
  
  
myReq.Timeout=timeout;  
  
  
  
HttpWebResponseHttpWResp=(HttpWebResponse)myReq.GetResponse();  
  
  
  
 
  
  
  
StreammyStream=HttpWResp.GetResponseStream();  
  
  
  
 
  
  
  
StreamReadersr=newStreamReader(myStream,Encoding.Default);  
  
  
  
StringBuilderstrBuilder=newStringBuilder();  
  
  
  
while(-1!=sr.Peek())  
  
  
  
{  
  
  
  
strBuilder.Append(sr.ReadLine()+"\r\n");  
  
  
  
}  
  
  
  
 
  
  
  
strResult=strBuilder.ToString();  
  
  
  
}  
  
  
  
catch(Exceptionexp)  
  
  
  
{  
  
  
  
strResult="錯誤："+exp.Message;  
  
  
  
}  
  
  
  
 
  
  
  
returnstrResult;  
  
  
  
 
  
  
  
} 
 
 
 

以上介紹C#實現(xiàn)Internet信息抓取

當前標題：C#實現(xiàn)Internet信息抓取
路徑分享：http://m.5511xx.com/article/dhdojch.html