欧美三区四区_av先锋影音资源站_亚洲第一论坛sis_影音先锋2020色资源网_亚洲精品社区_在线免费观看av网站_国产一区二区伦理_亚洲欧美视频一区二区_99视频精品全部免费在线_精精国产xxxx视频在线

如何構(gòu)造一個(gè)C#語(yǔ)言的爬蟲程序_.Net教程

編輯Tag賺U幣
教程Tag:暫無(wú)Tag,歡迎添加,賺取U幣!

推薦:ASP.NET MVC :實(shí)現(xiàn)我們自己的視圖引擎
在ASP.NET MVC的一個(gè)開源項(xiàng)目MvcContrib中,為我們提供了幾個(gè)視圖引擎,例如NVelocity, Brail, NHaml, XSLT。那么如果我們想在ASP.NET MVC中實(shí)現(xiàn)我們自己的一個(gè)視圖引擎,我們應(yīng)該要怎么做呢?

C#特別適合于構(gòu)造蜘蛛程序,這是因?yàn)樗呀?jīng)內(nèi)置了HTTP訪問(wèn)和多線程的能力,而這兩種能力對(duì)于蜘蛛程序來(lái)說(shuō)都是非常關(guān)鍵的。下面是構(gòu)造一個(gè)蜘蛛程序要解決的關(guān)鍵問(wèn)題:

  ⑴ HTML分析:需要某種HTML解析器來(lái)分析蜘蛛程序遇到的每一個(gè)頁(yè)面。

  ⑵ 頁(yè)面處理:需要處理每一個(gè)下載得到的頁(yè)面。下載得到的內(nèi)容可能要保存到磁盤,或者進(jìn)一步分析處理。

  ⑶ 多線程:只有擁有多線程能力,蜘蛛程序才能真正做到高效。

  ⑷ 確定何時(shí)完成:不要小看這個(gè)問(wèn)題,確定任務(wù)是否已經(jīng)完成并不簡(jiǎn)單,尤其是在多線程環(huán)境下。

一、HTML解析

本文提供的HTML解析器由ParseHTML類實(shí)現(xiàn),使用非常方便:首先創(chuàng)建該類的一個(gè)實(shí)例,然后將它的Source屬性設(shè)置為要解析的HTML文檔:


ParseHTML parse = new ParseHTML();
  parse.Source = "Hello World ";

接下來(lái)就可以利用循環(huán)來(lái)檢查HTML文檔包含的所有文本和標(biāo)記。通常,檢查過(guò)程可以從一個(gè)測(cè)試Eof方法的while循環(huán)開始:


while(!parse.Eof())
  {
  char ch = parse.Parse();

Parse方法將返回HTML文檔包含的字符--它返回的內(nèi)容只包含那些非HTML標(biāo)記的字符,如果遇到了HTML標(biāo)記,Parse方法將返回0值,表示現(xiàn)在遇到了一個(gè)HTML標(biāo)記。遇到一個(gè)標(biāo)記之后,我們可以用GetTag()方法來(lái)處理它。


 if(ch==0)
  {
  HTMLTag tag = parse.GetTag();
  }

一般地,蜘蛛程序最重要的任務(wù)之一就是找出各個(gè)HREF屬性,這可以借助C#的索引功能完成。例如,下面的代碼將提取出HREF屬性的值(如果存在的話)。


Attribute href = tag["HREF"];
  string link = href.Value;

獲得Attribute對(duì)象之后,通過(guò)Attribute.Value可以得到該屬性的值。

二、處理HTML頁(yè)面

下面來(lái)看看如何處理HTML頁(yè)面。首先要做的當(dāng)然是下載HTML頁(yè)面,這可以通過(guò)C#提供的HttpWebRequest類實(shí)現(xiàn):


HttpWebRequest request = (HttpWebRequest)WebRequest.Create(m_uri);
  response = request.GetResponse();
  stream = response.GetResponseStream();

接下來(lái)我們就從request創(chuàng)建一個(gè)stream流。在執(zhí)行其他處理之前,我們要先確定該文件是二進(jìn)制文件還是文本文件,不同的文件類型處理方式也不同。下面的代碼確定該文件是否為二進(jìn)制文件。


if( !response.ContentType.ToLower().StartsWith("text/") )
  {
  SaveBinaryFile(response);
  return null;
  }
  string buffer = "",line;

如果該文件不是文本文件,我們將它作為二進(jìn)制文件讀入。如果是文本文件,首先從stream創(chuàng)建一個(gè)StreamReader,然后將文本文件的內(nèi)容一行一行加入緩沖區(qū)。


reader = new StreamReader(stream);
  while( (line = reader.ReadLine())!=null )
  {
  buffer =line "\r\n";
  }

裝入整個(gè)文件之后,接著就要把它保存為文本文件。


SaveTextFile(buffer);

下面來(lái)看看這兩類不同文件的存儲(chǔ)方式。

二進(jìn)制文件的內(nèi)容類型聲明不以"text/"開頭,蜘蛛程序直接把二進(jìn)制文件保存到磁盤,不必進(jìn)行額外的處理,這是因?yàn)槎M(jìn)制文件不包含HTML,因此也不會(huì)再有需要蜘蛛程序處理的HTML鏈接。下面是寫入二進(jìn)制文件的步驟。

首先準(zhǔn)備一個(gè)緩沖區(qū)臨時(shí)地保存二進(jìn)制文件的內(nèi)容。


byte []buffer = new byte[1024];

接下來(lái)要確定文件保存到本地的路徑和名稱。如果要把一個(gè)myhost.com網(wǎng)站的內(nèi)容下載到本地的c:\test文件夾,二進(jìn)制文件的網(wǎng)上路徑和名稱是http://myhost.com/images/logo.gif,則本地路徑和名稱應(yīng)當(dāng)是c:\test\images\logo.gif。與此同時(shí),我們還要確保c:\test目錄下已經(jīng)創(chuàng)建了images子目錄。這部分任務(wù)由convertFilename方法完成。


  string filename = convertFilename( response.ResponseUri );
  convertFilename方法分離HTTP地址,創(chuàng)建相應(yīng)的目錄結(jié)構(gòu)。確定了輸出文件的名字和路徑之后就可以打開讀取Web頁(yè)面的輸入流、寫入本地文件的輸出流。
  Stream outStream = File.Create( filename );
  Stream inStream = response.GetResponseStream();

接下來(lái)就可以讀取Web文件的內(nèi)容并寫入到本地文件,這可以通過(guò)一個(gè)循環(huán)方便地完成。


  int l;
  do
  {
  l = inStream.Read(buffer,0,
  buffer.Length);
  if(l>0)
  outStream.Write(buffer,0,l);
  }
while(l>0);

三、多線程

我們用DocumentWorker類封裝所有下載一個(gè)URL的操作。每當(dāng)一個(gè)DocumentWorker的實(shí)例被創(chuàng)建,它就進(jìn)入循環(huán),等待下一個(gè)要處理的URL。下面是DocumentWorker的主循環(huán):


  while(!m_spider.Quit )
  {
  m_uri = m_spider.ObtainWork();
  m_spider.SpiderDone.WorkerBegin();
  string page = GetPage();
  if(page!=null)
  ProcessPage(page);
  m_spider.SpiderDone.WorkerEnd();
  }

這個(gè)循環(huán)將一直運(yùn)行,直至Quit標(biāo)記被設(shè)置成了true(當(dāng)用戶點(diǎn)擊"Cancel"按鈕時(shí),Quit標(biāo)記就被設(shè)置成true)。在循環(huán)之內(nèi),我們調(diào)用ObtainWork獲取一個(gè)URL。ObtainWork將一直等待,直到有一個(gè)URL可用--這要由其他線程解析文檔并尋找鏈接才能獲得。Done類利用WorkerBegin和WorkerEnd方法來(lái)確定何時(shí)整個(gè)下載操作已經(jīng)完成。

從圖一可以看出,蜘蛛程序允許用戶自己確定要使用的線程數(shù)量。在實(shí)踐中,線程的最佳數(shù)量受許多因素影響。如果你的機(jī)器性能較高,或者有兩個(gè)處理器,可以設(shè)置較多的線程數(shù)量;反之,如果網(wǎng)絡(luò)帶寬、機(jī)器性能有限,設(shè)置太多的線程數(shù)量其實(shí)不一定能夠提高性能。

四、任務(wù)完成了嗎?

利用多個(gè)線程同時(shí)下載文件有效地提高了性能,但也帶來(lái)了線程管理方面的問(wèn)題。其中最復(fù)雜的一個(gè)問(wèn)題是:蜘蛛程序何時(shí)才算完成了工作?在這里我們要借助一個(gè)專用的類Done來(lái)判斷。

首先有必要說(shuō)明一下"完成工作"的具體含義。只有當(dāng)系統(tǒng)中不存在等待下載的URL,而且所有工作線程都已經(jīng)結(jié)束其處理工作時(shí),蜘蛛程序的工作才算完成。也就是說(shuō),完成工作意味著已經(jīng)沒有等待下載和正在下載的URL。

Done類提供了一個(gè)WaitDone方法,它的功能是一直等待,直到Done對(duì)象檢測(cè)到蜘蛛程序已完成工作。下面是WaitDone方法的代碼。


  public void WaitDone()
  {
  Monitor.Enter(this);
  while ( m_activeThreads>0 )
  {
  Monitor.Wait(this);
  }
  Monitor.Exit(this);
  }

WaitDone方法將一直等待,直到不再有活動(dòng)的線程。但必須注意的是,下載開始的最初階段也沒有任何活動(dòng)的線程,所以很容易造成蜘蛛程序一開始就立即停止的現(xiàn)象。為解決這個(gè)問(wèn)題,我們還需要另一個(gè)方法WaitBegin來(lái)等待蜘蛛程序進(jìn)入"正式的"工作階段。一般的調(diào)用次序是:先調(diào)用WaitBegin,再接著調(diào)用WaitDone,WaitDone將等待蜘蛛程序完成工作。下面是WaitBegin的代碼:


  public void WaitBegin()
  {
  Monitor.Enter(this);
  while ( !m_started )
  {
  Monitor.Wait(this);
  }
  Monitor.Exit(this);
  }

WaitBegin方法將一直等待,直到m_started標(biāo)記被設(shè)置。m_started標(biāo)記是由WorkerBegin方法設(shè)置的。工作線程在開始處理各個(gè)URL之時(shí),會(huì)調(diào)用WorkerBegin;處理結(jié)束時(shí)調(diào)用WorkerEnd。WorkerBegin和WorkerEnd這兩個(gè)方法幫助Done對(duì)象確定當(dāng)前的工作狀態(tài)。下面是WorkerBegin方法的代碼:


  public void WorkerBegin()
  {
  Monitor.Enter(this);
  m_activeThreads ;
  m_started = true;
  Monitor.Pulse(this);
  Monitor.Exit(this);
  }

WorkerBegin方法首先增加當(dāng)前活動(dòng)線程的數(shù)量,接著設(shè)置m_started標(biāo)記,最后調(diào)用Pulse方法以通知(可能存在的)等待工作線程啟動(dòng)的線程。如前所述,可能等待Done對(duì)象的方法是WaitBegin方法。每處理完一個(gè)URL,WorkerEnd方法會(huì)被調(diào)用:


  public void WorkerEnd()
  {
  Monitor.Enter(this);
  m_activeThreads--;
  Monitor.Pulse(this);
  Monitor.Exit(this);
  }

WorkerEnd方法減小m_activeThreads活動(dòng)線程計(jì)數(shù)器,調(diào)用Pulse釋放可能在等待Done對(duì)象的線程--如前所述,可能在等待Done對(duì)象的方法是WaitDone方法。

分享:WPF自定義漂亮的按鈕樣式
首先打開 Microsoft Visual Studio 2008 ,新建一個(gè)WPF項(xiàng)目,在上面隨便放幾個(gè)按鈕: 然后給各個(gè)按鈕設(shè)置不同的背景顏色: 設(shè)置好之后就是這樣啦: 然后我們就開始在 App.xaml

來(lái)源:模板無(wú)憂//所屬分類:.Net教程/更新時(shí)間:2008-08-22
相關(guān).Net教程
国产午夜亚洲精品不卡| jizz国产精品| 日本欧美一区二区三区| 欧美日韩在线综合| 国产精品永久免费| 一级片免费在线观看视频| 精品国产亚洲AV| 亚洲一区二区三区四区五区午夜 | 黄网站色视频免费观看| 免费一级a毛片夜夜看 | 欧美激情无毛| 欧美日韩中文字幕在线| 国产精品亚洲一区二区三区| 成熟妇人a片免费看网站| 国产成人毛片| 99久久99久久综合| 日韩亚洲在线观看| 日韩国产欧美亚洲| 亚洲在线视频播放| 国产精品嫩草99av在线| 337p亚洲精品色噜噜| 久久精品国产一区二区三区不卡| 亚洲色图日韩精品| 日韩大片在线免费观看| 国产精品久久一卡二卡| 91国产精品91| 深夜做爰性大片蜜桃| 婷婷激情一区| 成av人片一区二区| 久久中国妇女中文字幕| 精品久久久久av| 丁香六月色婷婷| 激情六月婷婷综合| 一区二区欧美亚洲| 国产肥臀一区二区福利视频| 精品黑人一区二区三区在线观看 | 成人精品亚洲人成在线| 少妇精69xxtheporn| 春日野结衣av| 无码国产伦一区二区三区视频| 久久国产尿小便嘘嘘| 日韩国产精品一区| 免费一级特黄毛片| 亚洲国产精品久久人人爱潘金莲| 麻豆国产精品一区二区三区| 亚洲精品视频中文字幕| 国产精品专区在线| 性生活三级视频| 国产一区视频网站| 日韩一区视频在线| 波多野结衣天堂| 欧美极品免费| 久久久久9999亚洲精品| 97人人爽人人喊人人模波多| 麻豆tv在线观看| 欧美久久亚洲| 亚洲欧美日韩电影| 91美女福利视频高清| 亚洲精品国产精品乱码在线观看| 国内亚洲精品| 91国在线观看| 日韩av电影免费播放| 亚洲欧美一二三区| 日av在线不卡| 色999日韩欧美国产| 天天干天天综合| 成人乱码手机视频| 亚洲蜜臀av乱码久久精品蜜桃| 91视频免费在线| 久久久久久久久精| 在线观看日韩av电影| 亚洲国产成人精品一区二区| 91视频成人免费| 亚洲国产福利视频| 99精品国产热久久91蜜凸| 97精品国产97久久久久久| 毛茸茸多毛bbb毛多视频| 欧美精美视频| 欧美人狂配大交3d怪物一区| 午夜久久资源| 97精品久久人人爽人人爽| 精品一区二区日韩| 久久久黄色av| 国产人妖在线观看| 国产精品一区2区3区| 欧美日韩五月天| 黑人巨茎大战欧美白妇| 欧美熟妇另类久久久久久不卡| 91农村精品一区二区在线| 国产精品久久久久av| 国产av无码专区亚洲av毛网站| 狠狠色综合网| 亚洲深夜福利在线| 手机在线视频一区| 任你弄精品视频免费观看| 色偷偷88欧美精品久久久| 一区二区免费在线观看| 亚洲AV无码一区二区三区性| 久久久午夜精品理论片中文字幕| 国产日韩欧美91| 日本在线观看视频网站| 日韩不卡一区二区| 色综合久久88| 黄免费在线观看| 欧美久久久久| 亚洲一级免费视频| 一级日本黄色片| 九热爱视频精品视频| 欧美一区二区视频在线观看2020 | 色综合久久网| 亚洲国产99精品国自产| www.国产视频.com| 天海翼精品一区二区三区| 在线91免费看| av动漫免费看| 51vv免费精品视频一区二区| 欧美在线不卡视频| 欧美精品一区二区三区三州| 99综合久久| 91官网在线观看| 日本男女交配视频| 亚洲a成人v| 在线观看国产91| 成人精品鲁一区一区二区| 一区二区国产精品视频| 国产激情视频网站| 欧美日韩三级电影在线| 日韩中文字幕网址| 免费在线观看污| 日韩香蕉视频| 欧美日韩999| 日本黄色录像视频| 日本aⅴ亚洲精品中文乱码| 人九九综合九九宗合| 精品无码m3u8在线观看| 国产精一品亚洲二区在线视频| 国产精品91在线| 久久99精品波多结衣一区| 风间由美一区二区三区在线观看| 成人av在线网址| 中文字幕人妻精品一区| 国产亚洲精品免费| 欧美激情第一页在线观看| 日本久久一级片| 亚洲一区二区三区四区在线观看| 国产又爽又黄ai换脸| 久久er热在这里只有精品66| 在线欧美日韩国产| 免费大片在线观看| 欧美日韩一二三四| 伊人久久久久久久久久久| 久久精品视频18| 免费高清成人在线| 国产精品久久久久一区二区 | 中文精品在线| 亚州精品天堂中文字幕| 日韩成人av毛片| 97久久精品人人澡人人爽| 国产精品久久久久久久久快鸭| 亚洲老板91色精品久久| 欧产日产国产精品98| 99亚洲精品| 欧美亚洲另类制服自拍| 国产一级片毛片| 国产性做久久久久久| 日韩精品国内| 亚洲欧洲专区| 日韩视频永久免费| zjzjzjzjzj亚洲女人| 日韩天堂av| 欧日韩不卡在线视频| 手机av免费观看| 国产精品久久久久久久裸模 | 人妻av中文系列| 网友自拍区视频精品| 国产一区二区欧美日韩| 免费看一级黄色| 国产69精品久久久久毛片| 精品国产乱码久久久久久丨区2区| 亚洲 欧美 自拍偷拍| 91福利在线免费观看| 小明看看成人免费视频| 女人色偷偷aa久久天堂| 欧美亚洲免费电影| 在线视频你懂得| 亚洲图片欧美视频| 黄www在线观看| 91亚洲一区| 久久久噜噜噜久噜久久| 国产一级淫片a视频免费观看| 国产精品丝袜久久久久久app| 青春草在线视频免费观看| 美女扒开腿让男人桶爽久久动漫| 亚洲美女在线看| 久久国产波多野结衣| 成人av免费网站| 亚洲欧洲一二三| 欧美一性一交| 久久久av一区| 欧产日产国产69| 亚洲制服丝袜一区| 88av.com| 亚洲欧洲一区二区天堂久久| 国产精品久久久久久久久久新婚 | 国产精品一区在线观看乱码 | 一区二区av在线| 黄色小视频在线免费看| 国产精品久久福利| 国产精品一区二区免费在线观看| 99九九热只有国产精品| 91极品女神在线| 国产精品久久久久久久免费 | 污视频网站免费观看| 制服丝袜中文字幕一区| 中文字幕第4页| 成人av综合在线| 这里只有精品66| 狠狠综合久久av一区二区蜜桃 | 国产成人精品123区免费视频| 欧美一区二区私人影院日本| 无码人妻丰满熟妇啪啪欧美| av在线这里只有精品| 波多野结衣三级在线| 成人女性视频| 欧美在线视频在线播放完整版免费观看 | 人人人妻人人澡人人爽欧美一区| 国产福利视频一区二区三区| 亚洲精品成人久久久998| 天堂俺去俺来也www久久婷婷| 久久99久久99精品中文字幕| 中文字幕在线观看第二页| 色哟哟亚洲精品| 女同性恋一区二区三区| 福利视频网站一区二区三区| 欧美日韩视频免费在线观看| 日韩久久视频| 国产v综合ⅴ日韩v欧美大片| 熟妇人妻av无码一区二区三区| 日韩一区二区在线看| chinese全程对白| 国产精品美女久久久久aⅴ国产馆| 欧美成人黑人猛交| 麻豆精品网站| 欧美性色黄大片人与善| 青青草原在线亚洲| 国产69精品99久久久久久宅男| 亚洲精品中文字幕成人片| 欧美一级欧美三级在线观看| 国产极品美女在线| 国产精品的网站| 久久久久xxxx| 国产乱码精品一区二区三区五月婷 | 亚洲三区四区| 97在线精品| 成人在线视频网站| 国产精品一区二区三区av| 日日狠狠久久偷偷四色综合免费| 中文字幕在线观看免费| 欧美精品久久天天躁| 99自拍视频在线| 亚洲精品国产一区二区精华液| 欧美污在线观看| 国产成人a级片| 黄页网站在线观看视频| 99精品国产在热久久下载| 欧美不卡福利| 不卡中文字幕| 国产这里只有精品| 伊人久久噜噜噜躁狠狠躁| 久久久久久久久久亚洲| 天堂在线资源网| 亚洲网站在线观看| 伊人亚洲综合网| 日韩亚洲欧美在线| 91精品国产高潮对白| 一本久久综合亚洲鲁鲁五月天| 性高潮久久久久久久| 国产精品另类一区| 国产乱淫av片| 91免费国产在线观看| 91视频免费版污| 国产精品性做久久久久久| 日本欧美黄色片| 日韩成人精品视频| av久久久久久| 欧美亚洲三级| 中文字幕一区二区中文字幕| 极品少妇一区二区三区| 美日韩免费视频| 91亚洲国产| 精品久久久久久综合日本| 精品一区二区三区中文字幕老牛| 国产原创欧美精品| 久久电影在线| 国产精品亚洲自拍| 巨人精品**| 91精品综合视频| 色婷婷综合久久久久久| 成人黄色网免费| 在线观看欧美理论a影院| 亚洲xxxxx性| 中文字幕伦av一区二区邻居| 91精品视频大全| 免费一区二区三区视频导航| 91视频婷婷| 日韩国产欧美| 久久精品人人做人人爽电影| 91精品一区二区三区综合| 免费精品视频一区| 国产精品s色| 一区不卡视频| 久久综合伊人| 久久国产精品网| 国产米奇在线777精品观看| 欧美成人xxxxx| 波波电影院一区二区三区| 蜜臀一区二区三区精品免费视频| 91蝌蚪porny九色| 日批视频免费看| 亚洲视频在线一区观看| 精品人妻一区二区三区四区| 五月婷婷欧美视频| 永久免费看黄网站| 欧美日韩一区二区不卡| 久久久久久久久久成人| 亚洲国产精品久久久久秋霞不卡| 国产手机av在线| 色青青草原桃花久久综合 | 波霸ol色综合久久| 韩国成人在线| 欧洲成人免费aa| 精品无人区一区二区| 99电影在线观看| 欧美激情自拍| 日本xxxxx18| 国产在线视频精品一区| 污网站免费在线| 国产亚洲一区字幕| 黑人巨大精品欧美| 一本一道久久a久久精品综合蜜臀| 久久精品欧美一区二区| 精品国产一区久久| 亚洲产国偷v产偷v自拍涩爱| 九九九久久久久久| 日韩激情欧美| 成人综合色站| 伊人天天综合| 久久国产精品视频在线观看| 99久久婷婷国产精品综合| 日b视频在线观看| 大桥未久av一区二区三区| 日韩三级av在线| 亚洲精品成人久久久| 五月婷婷六月色| 日本精品一区二区三区在线| 亚洲综合福利| 日本精品一区二区| 蜜臀国产一区二区三区在线播放| 男人插女人下面免费视频| 中文在线一区二区| 美女视频久久久| 欧美成人性福生活免费看| 成人午夜精品福利免费| 97视频网站入口| 亚洲va久久| 亚洲成色最大综合在线| 久久精品国内一区二区三区| 深爱五月综合网| 亚洲一区二区三区视频在线| 日韩三级av在线| 国产小视频91| 国产一区二区三区| 成人免费观看网站| 亚洲欧美日韩精品一区二区 | 最近中文字幕无免费| 日本高清成人免费播放| 亚洲图片在线播放| 色综合天天狠天天透天天伊人| 日韩精品丝袜美腿| 亚洲ai欧洲av| 粉嫩在线一区二区三区视频| 中文字幕 亚洲一区| 欧美日韩色一区| 成人高潮片免费视频| 情事1991在线| 91超碰成人| 日韩精品―中文字幕| 国产精品美女久久久久久久网站| 成人免费视频国产免费观看| 亚洲福利精品在线| 国产欧美自拍| 国产精成人品localhost| 日本午夜精品视频在线观看| 性鲍视频在线观看| 色综合激情五月| 精品人妻一区二区三区四区不卡| 欧美亚洲视频在线观看| 亚洲综合婷婷| 日韩免费高清在线| 亚洲最大成人网4388xx|