@bergus 2015-11-02T01:44:31.000000Z 字数 10611 阅读 2374

爬虫网站分析

爬虫 网站

分类的难处在于网站的多样性，所谓多样性包括：

认证机制多样性
网站登录流程复杂，信息量大，页面跳转次数较多，有时伴随验证码填写(很常见)
信息查找多样性
有些网站不是你很容易就能差找到结果，比如
Siemens，你需要用关键字搜索才能过滤掉无用信息，得到想要结果。而，有些网站根本就没有下载的地方，你需要用他们的网站内站搜索才能搜索得到
网站结构多样性
过去的网站大多是静态的，而现在却很难再找到了。动态性网站不直接在源码上显示内容，而是动态生成的，只有运行到了那一步，网站才会生成显示。这样就造成了阅读网站源码的困难。还有就是现在的网站有些采用的是异步加载模式，你根本找不到链接地址在哪，必须做出点击，选中等动作后它才会给你显示链接地址。如果有些网站采用的是websocket模式，那就更加困难了。
目标链接的标识不一
我们查找下载链接大都通过链接的标识，比如特定标签(table,a,button)，id号，class属性，name属性，type类型等。这些东西每个网站基本都是不一样的，所以这才是造成爬虫难以分类的根本原因
网站反爬虫机制
有些网站不想让你爬，因为爬虫会给网站的服务器增加负担。他们采用ip间隔锁定的方式，如果一个ip在一段时间内访问次数操作某个值，则禁止该ip访问。还有通过流量监控，如果该ip在某时间内下载数据大小操作某限定值，则禁止该ip

工控厂家９个，其中Panasonic,Abb有其他备选链接，GE则为备选网站
相机和显示器有６个厂家
交换机和路由器有17厂家，其中有９家备选

如果强制要分类，可以粗略的划分为三类

http://drivers.softpedia.com/get/FIRMWARE
这个网站是一个固件厂商搜索综合网站，有大多数的固件厂商
比如:

SamSung：http://drivers.softpedia.com/get/FIRMWARE/Samsung/

Cisco：http://drivers.softpedia.com/get/FIRMWARE/Cisco/

http://drivers.softpedia.com/get/Router-Switch-Access-Point/Linksys/

Nikon：http://drivers.softpedia.com/get/FIRMWARE/Nikon/
http://drivers.softpedia.com/get/FIRMWARE/Panasonic/ （备选）

Philips：http://drivers.softpedia.com/get/FIRMWARE/Philips/

Sony：http://drivers.softpedia.com/get/FIRMWARE/Sony/

Hitachi：http://drivers.softpedia.com/get/FIRMWARE/Hitachi/

Toshiba：http://drivers.softpedia.com/get/FIRMWARE/Toshiba/

http://drivers.softpedia.com/get/Router-Switch-Access-Point/Buffalo/ （备选）

NetGear：http://drivers.softpedia.com/get/Router-Switch-Access-Point/NETGEAR/

ASUS：http://drivers.softpedia.com/get/Router-Switch-Access-Point/ASUS/

http://drivers.softpedia.com/get/FIRMWARE/D-Link/ （备选）

Tenda：http://drivers.softpedia.com/get/FIRMWARE/Tenda/

２. ftp性质的网站
D-Link：ftp://ftp2.dlink.com/PRODUCTS/
Draytek：ftp://ftp.draytek.com/
本来我以为Hikvision可以划分到ftp里面，但我发现他们除了结构相识外，其他方面并不相同。就像我们所想那样，获取页面所有链接，那么ftp只有两种链接，那就是进入下一页和返回上一页，但是Hikvision并不是，它还有其他的链接。加上其他链接的话，就不容易判断返回上一页的链接的具体是哪一个，当然这只是我初步判断。

其他类
其他类的都是无法归类的，上面原因我已经说明。

Industrial Control Firm：

1、Siemens：
http://www.ad.siemens.com.cn/service/search/Default.aspx?kw=%u56FA%u4EF6&searchType=8

http://www.ad.siemens.com.cn/service/search/Default.aspx?kw=%u56FA%u4EF6&searchType=8&filter=1&ov=%u56FA%u4EF6&sort=&order=desc&searchInR=0&pageIndex=1&dc_types=5
-->个数：16*9/2*8＝576，时间：2005(1)-2015(2),其中2010-2009居多

2、Schneider：http://www.schneider-electric.com/download/ww/en/results/3541958-SoftwareFirmware/1555893-Firmware--Released/0/0/?showAsIframe=false

http://www.schneider-electric.com/download/ww/en/results/3541958-SoftwareFirmware/1555902-Firmware--Updates/0/0/?showAsIgeframe=false

3、Panasonic：http://av.jpn.support.panasonic.com/support/global/cs/dsc/download/index.html

http://av.jpn.support.panasonic.com/support/global/cs/dsc/download/fts/index2.html

http://security.panasonic.com/pss/security/library/products.html

http://eww.pass.panasonic.co.jp/p2ui/guest/TopLogin.do?lang=en&category=pav

http://drivers.softpedia.com/get/FIRMWARE/Panasonic/ （备选）

4、Philips：http://drivers.softpedia.com/get/FIRMWARE/Philips/

5、Sony：http://drivers.softpedia.com/get/FIRMWARE/Sony/

6、Hitachi：http://drivers.softpedia.com/get/FIRMWARE/Hitachi/

7、Toshiba：http://drivers.softpedia.com/get/FIRMWARE/Toshiba/

8、Vipa：http://www.vipa.com/en/service-support/downloads/firmware

9、GEGE：http://support.ge-ip.com/support/index?page=dwchannel&actl=FIRMWARE_UPGRADES_TYPES&cat=FIRMWARE_UPGRADES_TYPES （候选）

9、Abb：http://www.abb.com/AbbLibrary/DownloadCenter/default.aspx?showresultstab=true&CategoryID=9AAC113401&DocumentKind=Manual&Documentlanguage=zh&DisplayLanguage=en#&&/wEXAQUDa2V5BYMBM8KwOUFBQzE3NzAzM8KxwrHCsVNvZnR3YXJlwrHCsVTCscKxNMKxwrEyOcKxQ07CscKxMsKxVMKxMMKxwrEwwrExwrEyMMKxMjDCsTHCscKxwrHCscKxOUFBQzExMzQwMcKxwrHCscKxMTHCscKxwrHCsTY5wrHCsTDCsUNOwrHCsTDOpX9J/EqnUTqL2rEWuuGehDTfGg== （未过滤）

http://www.abb.com/AbbLibrary/DownloadCenter/default.aspx?showresultstab=true&CategoryID=9AAC113401&DocumentKind=Manual&Documentlanguage=zh&DisplayLanguage=en#&&/wEXAQUDa2V5BYsBM8KwOUFBQzE3NzAzM8KxZmlybXdhcmXCscKxU29mdHdhcmXCscKxVMKxwrEwwrHCsTI5wrFDTsKxwrEywrFUwrEwwrHCsTDCsTHCsTIwwrE1MMKxMcKxwrHCscKxwrE5QUFDMTEzNDAxwrHCscKxwrExMcKxwrHCscKxMjnCscKxMMKxQ07CscKxMAX8ggjBM/5RY4c4bnuh6N7Q73DS （过滤--firmware）

（备选）

Camera/Display Firm：

1、Foscam：http://www.foscam.com/index.php/Home/index/reg.html

http://www.foscam.com/download-center/firmware-downloads.html

2、Hikvision：http://www.hikvisioneurope.com/portal/index.php?dir=Product%20Firmware/

3、Cannon：-Service+%26+Support--Firmware+Updates">http://www.usa.canon.com/cusa/professional/standard_display/support_pro/pro_firmware-updates?cm_sp=CSO+PROSS--Service+%26+Support--Firmware+Updates

4、Nikon：http://drivers.softpedia.com/get/FIRMWARE/Nikon/

5、LG：http://www.lg.com/cn/support/software-manuals#

6、SamSung：http://drivers.softpedia.com/get/FIRMWARE/Samsung/

Switch/Router Firm：

1、Cisco：http://drivers.softpedia.com/get/FIRMWARE/Cisco/

http://drivers.softpedia.com/get/Router-Switch-Access-Point/Linksys/

2、Huawei：（待添加）

2、TP-Link：http://service.tp-link.com.cn/list_download_software_1_0.html

3、D-Link：ftp://ftp2.dlink.com/PRODUCTS/ （首选）

http://drivers.softpedia.com/get/FIRMWARE/D-Link/ （备选）

4、Tenda：http://drivers.softpedia.com/get/FIRMWARE/Tenda/

5、NetCore：http://www.netcoretec.com/software.html