C#信息采集工具实现

简单C#信息采集工具实现

最近想整只爬虫玩玩，顺便熟悉下正则表达式。

开发环境 vs2008 sql2000

实现方法如下

1.先抓取网页代码

2.通过正则匹配出你需要的内容

比如http://www.soso.com/q?w=%C4%E3%BA%C3&pg=1 页面中 搜索结果的标题跟连接地址。具体可以根据你的需要填写合适的地址跟正则。

3.把匹配出的内容保存到数据库中。对其中的数据可以根据需要自己进行处理

具体实现代码

1.读取网页的代码

public static string GetDataFromUrl(string url)

{

string str = string.Empty;

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);

//设置Http头；

request.AllowAutoRedirect = true;

request.AllowWriteStreamBuffering = true;

request.Referer = "";

request.Timeout = 10 * 1000;

//request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)";

HttpWebResponse response = null;

try

{

response = (HttpWebResponse)request.GetResponse();

if (response.StatusCode == HttpStatusCode.OK)

{

//根据http应答头来判别编码

string Characterset = response.CharacterSet;

Encoding encode;

if (Characterset != "")

{

if (Characterset == "ISO-8859-1")

{

Characterset = "gb2312";

}

encode = Encoding.GetEncoding(Characterset);

}

else

{

encode = Encoding.Default;

}

//声明一个内存流来贮存http应答流

Stream Receivestream = response.GetResponseStream();

MemoryStream mstream = new MemoryStream();

byte[] bf = new byte[255];

int count = Receivestream.Read(bf, 0, 255);

while (count > 0)

{

mstream.Write(bf, 0, count);

count = Receivestream.Read(bf, 0, 255);

}

Receivestream.Close();

mstream.Seek(0, SeekOrigin.Begin);

//从内存流里读取字符串这里涉及到了编码方案

StreamReader reader = new StreamReader(mstream, encode);

char[] buf = new char[1024];

count = reader.Read(buf, 0, 1024);

while (count > 0)

{

str += new string(buf, 0, 1024);

count = reader.Read(buf, 0, 1024);

}

reader.Close();

mstream.Close();

}

}

catch (Exception ex)

{

GetDataFromUrl(url);

}

finally

{

if (response != null)

response.Close();

}

return str;

}

2.正则匹配的代码

public static ArrayList GetString(string reg, string content)

{

Regex r = new Regex(reg, RegexOptions.Compiled);

MatchCollection matches = r.Matches(content);

ArrayList a = new ArrayList();

foreach (Match m in matches)

{

string[] arr = new string[10];

arr[0] = m.Groups[1].Value;

arr[1] = m.Groups[2].Value;

arr[2] = m.Groups[3].Value;

arr[3] = m.Groups[4].Value;

arr[4] = m.Groups[5].Value;

arr[5] = m.Groups[6].Value;

arr[6] = m.Groups[7].Value;

arr[7] = m.Groups[8].Value;

arr[8] = m.Groups[9].Value;

arr[9] = m.Groups[10].Value;

a.Add(arr);

}

return a;

}

3.如果抓取的页面很多 ，可以把多线程跟队列应用过来，提高抓取效率

Queue<int> numbers = new Queue<int>();

const int MaxCount = 5;//同时运行的最多线程数

private static object _lock = new object();

private void Test()

{

while (true)

{

int i = 0;

lock (_lock)

{

if (numbers.Count == 0)

{

flag = false;

return;

}

i = numbers.Dequeue();

}

f(i);

}

}

void Ssss()

{

for (int i = 1; i <= 100; i++)//处理的页面参数 从http://www.soso.com/q?w=你好&pg=1 到http://www.soso.com/q?w=你好&pg=100

{

numbers.Enqueue(i);

}

for (int i = 0; i < MaxCount; i++)

{

Thread thread = new Thread(new ThreadStart(Test));

thread.Name = "T" + i.ToString();

thread.Start();

}

}

private void f(int num)

{

string str = ClassLibrary1.Class1.GetDataFromUrl("http://www.soso.com/q?w=%C4%E3%BA%C3&pg="+num);

string reg = "<a href=/"([^/"]+?)/" [^>]+? target=/"_blank/">([//s//S]+?)</a>";

ArrayList a = ClassLibrary1.Class1.GetString(reg, str);

for (int i = 0; i < a.Count; i++)

{

string[] arr = (string[])a[i];

Result r = new Result();

r.Value1 = arr[0];

r.Value2 = ClassLibrary1.Class1.Html2Txt(arr[1]);

ResultManager.AddResult(r);

}

}

5.常用的一些正则表达式

* 0-多个

? 0-1个

+ 1-多个

+? 尽可能少的匹配

*? 0次或多次，尽可能少

/w 等效于 [a-zA-Z_0-9]

/W 匹配非单词

/S 非空

/s 等效于 [ /f/n/r/t/v] 空格，制表 换页

. 匹配除了换行以为的任何字符

/d 数字

[^>] 除了>以为的字符

[/u4e00-/u9fa5] 汉字

6.代码只是实现了信息采集的主要功能，根据你自己的需要更换采集页面，跟合适的正则表达式后，可以根据你的需要自动进行采集，对采集到的数据，再根据你的需要自己进行处理。

7.数据库操作部分用的3层代码生成器连接地址 在 app.config中

如果你发现有什么不合理的，需要改进的地方，邮件联系[e-mail]（qq常年不在线，邮件联系）朱晓 。相互交流 谢谢

顺便问下 有家是新泰的没。

下载地址 http://download.csdn.net/source/3329838