拾刻技术相关文档

拾刻

• cao.zhifu@gmail.com
• hsh8523@126.com
• weston_contribute@163.com

湖南拾刻科技有限公司版权所有

1. 将会涉及应用的到的技术

1.1 涉及的语言

• java

  因为使我们擅长的开发语言，将定为我们作为产品开发的主要语言。

• shell

  产品的部署环境的设置，部署服务的启停和相关管理，会涉及到使用shell脚本，这是我们不太擅长的语言，需要加强。

• python

  网上许多相关的爬虫是用python开发，可能会被用到。

• 前端。

  爬虫管理平台，监控管理平台、配置管理平台、任务调度管理平台、资源管理平台等等，需要前端开发技能。

1.2 技术框架

• kafka

  我们熟悉和使用过的技术，kafka是一个分布式的、分区的、可复制可扩展的消息服务。

• Vert.x

  具备消息发布和订阅的功能，对各种IO的丰富支持，异步无锁编程，更多内容可以参考官网，相关功能了解不够深入。需要深入了解。

• AKKA

重要的工具包：

• httpclient
• jsoup
• guava
• commons-lang
• avro
• json
• spring

1.3 数据存储

• MYSQL

  用于量少重要的数据存储。

• cassandra

  可用于存储量大，可扩展、对数据一致性要求不高的数据。

• mongodb

• ···

1.4 分布式缓存

• redis
• hazelcast
• ignite

1.5 任务构建、打包工具

• MAVEN

1.6 协议

• HTTP协议

1.7 内容分析及解析

• elasticsearch

  文本分析，分词去重，索引。

• solr

• lucence
• jsoup
  

  html中相关内容提取。