Java爬虫(三)后台发请求获取页面解析数据

首页 > 科技 > 正文
2021-05-11

发表自话题:六十四卦详解通俗易懂

一 、发请求获取网页内容

1.我们将请求ascii表网址,处理数据获取表格中的具体内容 import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import java.io.*; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; @RestController public class SendRequest { @GetMapping("/todo") public String getsource() { try { //建立连接如ascii表网址 我们获取ascii内容并解析 URL url = new URL("http://ascii.911cha.com/"); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setDoInput(true); connection.setRe("GET"); // connection.setRe("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)"); InputStreamReader read = new InputStreamReader(connection.getInputStream(), "utf-8"); //为字符输入流添加缓冲 BufferedReader br = new BufferedReader(read); //读取返回结果 String data=br.readLine(); while (br.readLine() != null) { data =data+br.readLine(); } System.out.println(data); // 释放资源 br.close(); read.close(); connection.disconnect(); return data; } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } return null; } }

得到数据如下

周公解梦老黄历天气预报邮编列车时刻表放假安排911查询 回首页 保存到桌面 输入待查字符   ASCII第一次以规范标准的型态发表是在1967年,最后一次更新则是在1986年,至今为止共定义了128个字符,其中33个字符无法显示(这是以现今操作系统为依归,但在DOS模式下可显示出一些诸如笑脸、扑克牌花式等8-bit符号),且这33个字符多数都已是陈废的控制字符,控制字符的用途主要是用来操控已经处理过的文字,在33个字符之外的是95个可显示的字符,包含用键盘敲下空白键所产生的空白字符也算1个可显示字符(显示为空白)。ASCII控制字符二进制十六进制可以显示的表示法0000 0000000000 0001010000 0010020000 0011030000 0100040000 0101050000 0110060000 0111070000 1000080000 1001090000 10100A0000 10110B0000 11000C0000 11010D0000 11100E0000 11110F0001 0000100001 0001110001 0010120001 0011130001 0100140001 0101150001 0110160001 0111170001 1000180001 1001190001 10101A0001 10111B0001 11001C0001 11011D0001 11101E0001 11111F0111 11117F二进制十六进制0010 0000200010 0001210010 0010220010 0011230010 0100240010 0101250010 0110260010 0111270010 1000280010 1001290010 10102A0010 10112B0010 11002C0010 11012D0010 11102E0010 11112F0011 0000300011 0001310011 0010320011 0011330011 0100340011 0101350011 0110360011 0111370011 1000380011 1001390011 10103A0011 10113B0011 11003C0011 11013D0011 11103E0011 11113F二进制十六进制0100 0000400100 0001410100 0010420100 0011430100 0100440100 0101450100 0110460100 0111470100 1000480100 1001490100 10104A0100 10114B0100 11004C0100 11014D0100 11104E0100 11114F0101 0000500101 0001510101 0010520101 0011530101 0100540101 0101550101 0110560101 0111570101 1000580101 1001590101 10105A0101 10115B0101 11005C0101 11015D0101 11105E0101 11115F 十进制图形96`97a98b99c100d101e102f103g104h105i106j107k108l109m110n111o112p113q114r115s116t117u118v119w120x121y122z123{124|125}126~ 相关链接 常备实用查询gogid="5394567419";gogw="250";gogh="250";gogid="5394567419";gogw="250";gogh="250";for(i=0;i 热门查询: 老黄历 周公解梦 周公解梦大全查询 2019放假安排 手机号码测吉凶 百家姓 | 黄道吉日 2019年5月27日黄历 2019年5月28日黄历 2019年5月29日黄历 2019年5月30日黄历 2019年6月黄道吉日 | 家常菜 鲁菜 川菜 苏菜 粤菜 闽菜 浙菜 湘菜 徽菜 沪菜 京菜 渝菜 | 天气预报 北京天气 上海天气 香港天气 广州天气 深圳天气 台北天气 澳门天气 天津天气 沈阳天气 大连天气 南京天气 苏州天气 杭州天气 武汉天气 重庆天气 成都天气 无锡天气 宁波天气 合肥天气 厦门天气 | 周公解梦大全 老黄历 天气预报查询 火车时刻表 手机号码归属地 家常菜谱大全 货币汇率查询 邮政编码查询 万年历 2019年放假安排 生男生女预测表 QQ号码吉凶 安全期计算器 观音灵签 日常生活: 手机号码归属地 邮政编码查询 机构邮政编码查询 货币汇率查询 天气预报查询 家常菜谱大全 PM2.5查询 常用电话号码 快递查询 区号查询 数字大写转换 2019年放假安排 台湾邮编查询 汽车车标大全 大学查询 人民币存款利率表 升降旗时间 国家地区查询 全国社会性组织 (共19个) 站长工具: IP地址查询 下载地址加解密工具 二维码生成器 进程查询 密码强度检测 ASCII码对照表 UNIX时间戳 (共7个) 交通出行: 火车时刻表 北京车牌尾号限行查询 实时路况查询 地铁线路图 机场三字码查询 交通违章查询 车牌号查询 中国电子地图 世界时差查询 (共9个) 休闲娱乐: 疯狂猜图答案 中华谜语大全 脑筋急转弯 绕口令大全 QQ号码吉凶 外星年龄 外星体重 竖排古文 (共8个) 民俗文化: 周公解梦大全 老黄历 百家姓大全 历史上的今天 歇后语大全 十二生肖 万年历 二十四节气表 地母经 名人名言名句大全 民间谚语 解密生日 佛学大辞典 (共13个) 学习应用: 新华字典 汉语词典 成语大全 诗词大全 在线翻译 英语单词大全 英文名 专业英汉汉英词典 百科全书 英文缩写大全 五笔字根表 笔画数查询 汉字部首查询 汉字拼音查询 区位码查询 汉字简体繁体转换 郑码编码查询 仓颉编码查询 四角号码在线查询 中文电码查询 在线编码解码 百万圆周率 摩尔斯电码 科学计算器 在线输入法 (共25个) 身体健康: 安全期计算器 药品查询 绿色食品 民间偏方大全 中草药名方大全 中草药民间验方 酒方大全 食物营养成分查询 中草药大全 中华本草 中医名词辞典 粥谱大全 (共12个) 占卜求签: 二十八星宿算命 六十四卦金钱课 观音灵签 黄大仙灵签 诸葛神算 妈祖天后灵签 关帝灵签 吕祖灵签 车公灵签 王公祖仔灵签 文王神卦 灵棋经 称骨算命 预测吉凶 指纹运势查询 生男生女预测表 姓名缘分测试 (共17个)var _hmt = _hmt || []; var hm = document.createElement("script"); var s = document.getElementsByTagName("script")[0]; })();911查询官方微信关注 ww911cha

网页内容

二 、数据解析

我们通过鼠标点击f12开发者模式左上角大概确定了元素的位置,如,那么我们就可以通过正则表达式解析这张表的内容了。

具体操作如下:

1.截取出这部分代码 Pattern pattern = Pattern.compile("(.*?)(?.*?)"); Matcher matcher = pattern.matcher(date); while (matcher.find()){ String dates = matcher.group("dates"); System.out.println(dates); }

通过这段代码解析后我们得到如下核心数据

0000 0000000000 0001010000 0010020000 0011030000 0100040000 0101050000 0110060000 0111070000 1000080000 1001090000 10100A0000 10110B0000 11000C0000 11010D0000 11100E0000 11110F0001 0000100001 0001110001 0010120001 0011130001 0100140001 0101150001 0110160001 0111170001 1000180001 1001190001 10101A0001 10111B0001 11001C0001 11011D0001 11101E0001 11111F0111 11117F二进制十六进制0010 0000200010 0001210010 0010220010 0011230010 0100240010 0101250010 0110260010 0111270010 1000280010 1001290010 10102A0010 10112B0010 11002C0010 11012D0010 11102E0010 11112F标签组:[大数据] [url

上一篇圖解奇門遁甲

下一篇听张其成讲《易经》,让你走好人生每个阶段(宁波大剧院)_老翁

相关阅读

热门阅读