WeatherSpider
项目开发思路
关于这个项目的开发思路以及完整的开发流程可以参考这篇文章:https://www.zifangsky.cn/901.html,我是在这个的基础上进行了修改。增加了一些功能
简介
天气爬虫(全国城镇天气自动定时抓取更新,并开放RESTful查询接口),附带代理IP池定时更新并检测其可用性
技术依赖:
SSM(Spring+Spring MVC+Mybatis):项目基本架构WebMagic:轻量型爬虫框架,用于抓取每个城镇的天气以及抓取免费代理IPActiveMQ:消息中间件,用于在定时更新全国城镇天气时将每个城镇天气的更新任务压入消息队列中,之后再使用多个消费者去消费这些消息(PS:多个消息消费者同时更新这些城镇的天气)Quartz:定时调度,用于设置每隔多久更新一次天气;每隔多久抓取一次代理IP;每隔多久检测一下数据库中的代理IP是否仍然有效Apache CXF:用于对外发布SOAP风格和RESTFul风格的接口
Java应知应会
简介
介绍作为一名Java后台工程师应该会掌握的知识,可能不会面面俱到,但尽量保证每个大方向上都有涉及,内容来源于自己的总结思考,转载允许转载的内容(当然,保留出处)以及搜集的高质量面试题等内容。一来收集零散的知识便于自己查找翻阅, 二来总结的过程中利于自己吸收知识。假如能帮助到别人更是再好不过了,当然如果你帮我指出错误和不足我会表示由衷的感谢
目前才刚搭了框架,后面会持续补充的
LeetCode
简介
个人leetCode的解题记录,持续中