[关闭]
@dragonfive 2015-08-11T02:53:19.000000Z 字数 6964 阅读 839

用c#编写爬虫在marinetraffic下载船只图片

c#编程

最近在做船只识别方面的事情，需要大量的正样本来训练adaboost分类器。于是到marinetraffic这个网站上下载船只图片。写个爬虫来自动下载显然很方便。

网站特点

在介绍爬虫之前首先了解一下marinetraffic这个网站的一些特点：
1. 会定期检测爬虫行为，如果认为有爬虫大量下载图片。会把该连接加入黑名单，后几天都没办法下载。
2. 船只图片资源差异大，有的船只有1000多张图，有的船只没有一张图，我们需要的是很多船只的很多张图，所以需要对下载的船只按优先级排序。
3. 用来训练分类器的正样本要求检测对象的分辨率一样，而marinetraffic网站下载的图片可以设置下在的图片的宽度，网站根据长宽比，生成相应的高度。所以，不同图片高度不一样，需要自己后期处理。

解决方案

  1. 针对爬虫检测，设置一个随机等待时间，10s左右。可以绕过网站爬虫行为检测。
  2. 对船只按照图片熟练排序，先下载图片数量多的，并且每个船只不用下载太多，保证图片的差异性。例如
  3. 在下载的时候使用统一的宽度。后期处理从图片中抠出分辨率一样的船只

爬虫源码

  1. using System;
  2. using System.Collections.Generic;
  3. using System.Globalization;
  4. using System.IO;
  5. using System.Linq;
  6. using System.Net;
  7. using System.Runtime.Serialization.Formatters.Binary;
  8. using System.Text;
  9. using System.Text.RegularExpressions;
  10. using System.Threading;
  11. using System.Threading.Tasks;
  13. namespace 船只图像爬虫
  14. {
  15.     class Program
  16.     {
  18.         static void download_all_shipid(List<string> shipid_list)
  19.         {
  20.             try
  21.             {
  23.                 WebClient MyWebClient = new WebClient();
  25.                 MyWebClient.Headers["User-Agent"] = "blah";
  26.                 MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据;
  28.                 //Console.WriteLine("here1");
  29.                 //http://www.marinetraffic.com/en/photos/of/ships/shipid:281519/
  31.                 //http://www.marinetraffic.com/en/ais/index/ships/all
  32.                 //http://www.marinetraffic.com/ais/index/ships/all/page:2/sort:COUNT_PHOTOS/direction:desc;
  34.                 for (int pageNum = 1; pageNum < 100; pageNum++)
  35.                 {
  36.                     Console.WriteLine("开始分析第" + pageNum + "张网页");
  38.                     MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据;
  39.                     MyWebClient.Headers["User-Agent"] = "blah";
  40.                     try
  41.                     {
  42.                         //Console.WriteLine("here0");
  43.                         Byte[] pageData = MyWebClient.DownloadData(@"http://www.marinetraffic.com/en/ais/index/ships/all/page:" + pageNum + "/sort:COUNT_PHOTOS/direction:desc/per_page:50"); //从指定网站下载数据
  44.                         //pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312，则使用这句;            
  46.                         string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8，则使用这句;
  48.                         //Console.WriteLine(pageHtml);//在控制台输入获取的内容;
  49.                         //Console.WriteLine("here1");
  50.                         int urlindex = -1;
  51.                         string org_label = "shipid:";
  52.                         urlindex = pageHtml.IndexOf(org_label, urlindex + 1);
  55.                         while (urlindex != -1)
  56.                         {
  57.                             int endOfUrl = pageHtml.IndexOf("/", urlindex + org_label.Length);
  58.                             //Console.WriteLine("here2");
  59.                             string shipid = pageHtml.Substring(urlindex + org_label.Length, endOfUrl - urlindex - org_label.Length);
  60.                             if (!shipid_list.Contains(shipid))
  61.                             {
  62.                                 Console.WriteLine("新增id:" + shipid);
  63.                                 shipid_list.Add(shipid);
  64.                             }
  65.                             //Console.WriteLine("已有id:" + shipid);
  69.                             urlindex = pageHtml.IndexOf(org_label, urlindex + 1);
  70.                         }
  72.                         ///保存网页
  73.                         //using (StreamWriter sw = new StreamWriter("ouput.html"))//将获取的内容写入文本
  74.                         //{
  75.                         //    sw.Write(pageHtml);
  76.                         //}
  77.                         Console.WriteLine("完成第" + pageNum + "页分析");
  78.                     }
  79.                     catch (WebException webEx)
  80.                     {
  82.                         Console.WriteLine(webEx.Message.ToString());
  84.                     }
  90.                     //下面是一个随机数的方法保证10秒后再下载，以绕过违规检测。
  91.                     Console.Write("绕开网站爬虫行为检测中......");
  92.                     Random rd = new Random();
  93.                     int time_sleep = rd.Next() % 10 + 10;
  94.                     Thread.Sleep(time_sleep * 1000);
  95.                     Console.WriteLine();
  96.                 }
  100.                 Console.WriteLine("分析结束");
  101.                 //下面把list内容保存进文件,使用序列化的方法;
  102.                 string file = @"C:\Users\dragonfive\Desktop\爬虫获得船只图片\第三批\0_100page_shipid.txt";
  103.                 using (FileStream fsWriter = new FileStream(file, FileMode.OpenOrCreate, FileAccess.Write))
  104.                 {
  105.                     //下面对stu进行序列化；
  106.                     BinaryFormatter bf = new BinaryFormatter();
  107.                     bf.Serialize(fsWriter, shipid_list);
  108.                 }
  110.             }
  112.             catch (WebException webEx)
  113.             {
  115.                 Console.WriteLine(webEx.Message.ToString());
  117.             }
  118.         }
  120.         /// <summary>
  121.         /// 根据得到的ship_id获得该ship_id的所有图片;
  122.         /// </summary>
  123.         /// <param name="ship_id"></param>
  124.         static void download_jpg(string ship_id)
  125.         {
  126.             try
  127.             {
  128.                 Console.WriteLine("开始下载shipid为："+ship_id+"的图片");
  129.                 WebClient MyWebClient = new WebClient();
  132.                 MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据
  133.                 MyWebClient.Headers["User-Agent"] = "blah";
  134.                 //http://www.marinetraffic.com/en/photos/of/ships/shipid:281519/
  135.                 //http://www.marinetraffic.com/en/photos/of/ships/shipid:371668/per_page:1000/page:1
  136.                 Byte[] pageData = MyWebClient.DownloadData(@"http://www.marinetraffic.com/en/photos/of/ships/shipid:" + ship_id + @"/per_page:100/page:1"); //从指定网站下载数据
  139.                 //string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312，则使用这句            
  141.                 string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8，则使用这句
  142.                 //Console.WriteLine(pageHtml);//在控制台输入获取的内容
  143.                 Console.WriteLine("元网页已下载");
  144.                 //using (StreamWriter sw = new StreamWriter("ouput.html"))//将获取的内容写入文本
  145.                 //{
  146.                 //    sw.Write(pageHtml);
  147.                 //}
  149.                 int urlindex = -1;
  150.                 string org_label = "data-original='";
  151.                 urlindex = pageHtml.IndexOf(org_label, urlindex + 1);
  153.                 int i = 0;
  155.                 //Directory.CreateDirectory(@"./" );
  156.                 while (urlindex != -1)
  157.                 {
  158.                     int endOfUrl = pageHtml.IndexOf("'", urlindex + org_label.Length);
  160.                     string url = pageHtml.Substring(urlindex + org_label.Length, endOfUrl - urlindex - org_label.Length);
  163.                     ////下面是unicode编码转换为string的方式;
  164.                     //MatchCollection mc = Regex.Matches(strName, @"\\u([\w]{2})([\w]{2})", RegexOptions.Compiled | RegexOptions.IgnoreCase);
  165.                     //byte[] bts = new byte[2];
  166.                     //foreach (Match m in mc)
  167.                     //{
  168.                     //    bts[0] = (byte)int.Parse(m.Groups[2].Value, NumberStyles.HexNumber);
  169.                     //    bts[1] = (byte)int.Parse(m.Groups[1].Value, NumberStyles.HexNumber);
  170.                     //    musicName += Encoding.Unicode.GetString(bts);
  171.                     //}
  172.                     //Console.WriteLine("接下来下载的是:" + musicName);
  175.                     //下面是一个随机数的方法保证10秒后再下载，以绕过违规检测。
  176.                     Console.Write("绕过网站爬虫行为检测中......");
  177.                     Random rd = new Random();
  178.                     int time_sleep = rd.Next() % 10 + 10;
  179.                     Thread.Sleep(time_sleep * 1000);
  180.                     Console.WriteLine();
  181.                     try
  182.                     {
  183.                         //这是下载的命令；
  184.                         Console.WriteLine(url);
  186.                         MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据
  187.                         MyWebClient.Headers["User-Agent"] = "blah";
  188.                         Byte[] jpgdata = MyWebClient.DownloadData(url); //从指定网页下载数据;
  190.                         //把下载的内容保存在一个地方;
  191.                         using (FileStream fs = new FileStream(@"C:\Users\dragonfive\Desktop\爬虫获得船只图片\第三批\" + ship_id + "_" + i + ".jpg", FileMode.OpenOrCreate, FileAccess.Write))
  192.                         {
  193.                             fs.Write(jpgdata, 0, jpgdata.Length);
  194.                         }
  195.                     }
  196.                     catch (WebException webEx)
  197.                     {
  198.                         Console.WriteLine("被捕获了吗?");
  199.                         Console.WriteLine(webEx.Message.ToString());
  201.                     }
  203.                     Console.WriteLine("成功下载第" + (i ++) + "张图片");
  205.                     urlindex = pageHtml.IndexOf(org_label, urlindex + 1);
  206.                 }
  208.                 ///保存网页
  209.                 //using (StreamWriter sw = new StreamWriter("ouput.html"))//将获取的内容写入文本
  210.                 //{
  211.                 //    sw.Write(pageHtml);
  212.                 //}
  213.                 Console.WriteLine("*****************************************");
  214.                 Console.WriteLine("下载"+i+"张ship_id为"+ship_id+"的图片");
  215.                 Console.WriteLine("*****************************************");
  216.                 //Console.ReadLine(); //让控制台暂停,否则一闪而过了 
  218.             }
  220.             catch (WebException webEx)
  221.             {
  223.                 Console.WriteLine(webEx.Message.ToString());
  225.             }
  226.         }
  227.         static void Main(string[] args)
  228.         {
  230.             List<string> shipid_list = new List<string>();
  231.             //shipid_list.Add("371681");//暂时快速产生图片用这个;
  232.             download_all_shipid(shipid_list);
  233.             //string file = @"C:\Users\dragonfive\Desktop\爬虫获得船只图片\第三批\0_100page_shipid.txt";
  234.             //using (FileStream fsReader = new FileStream(file, FileMode.Open, FileAccess.Read))
  235.             //{
  236.             //    //下面进行反序列话;
  237.             //    BinaryFormatter bf = new BinaryFormatter();
  238.             //    shipid_list = (List<string>)bf.Deserialize(fsReader);
  239.             //    Console.WriteLine("成功载入" + shipid_list.Count + "个shipid");
  240.             //}
  241.             ////371652 371668  371681 1252401 
  242.             //shipid_list.Remove("371652");
  243.             //shipid_list.Remove("371668");
  244.             //shipid_list.Remove("371681");
  245.             //shipid_list.Remove("1252401");
  246.             ////132264
  247.             //shipid_list.Remove("371077");
  248.             //shipid_list.Remove("132264");
  249.             //shipid_list.Remove("224871");
  250.             //shipid_list.Remove("279923");
  251.             //shipid_list.Remove("369163");
  252.             //shipid_list.Remove("266342");
  253.             //shipid_list.Remove("371216");
  254.             //shipid_list.Remove("368174");
  255.             //shipid_list.Remove("369163");
  258.             foreach (var ship_id in shipid_list)
  259.             {
  260.                 download_jpg(ship_id);
  261.             }
  263.             Console.ReadLine(); //让控制台暂停,否则一闪而过了 
  265.         }
  266.     }
  267. }
添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注