请大家帮帮忙. 使用java爬虫得到网页以后怎么提取里面自己需要的内容呢？如果会代码请您写一下.谢谢您

1. 请大家帮帮忙. 使用java爬虫得到网页以后怎么提取里面自己需要的内容呢？如果会代码请您写一下.谢谢您

根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。
针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。
比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。

2. 求一份java爬虫的需求文档，最好是亚马逊的

首先，爬虫和编程语言关系不大。不要用过Java就只会Java。去了解一下相关其他语言，只到能干活儿水平的话，花不了多少时间。
关于爬虫，网上有很多例子，从小白到基本会爬，这个过程也很快。随便说几个进阶问题：
爬虫如何伪装成你想要的终端和浏览器？比如，想爬网页版的，还是想爬手机版的。爬到的结果会有不同。
如何解决网站识别出来你是机器人、须输入验证码，这些问题？
如何设计“重试”机制？

这些问题，网上可能都有答案。

3. java爬虫怎么抓取js动态生成的内容

我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
1、有些页面元素被隐藏起来了->换selector解决
2、有些数据保存在js/json对象中->截取对应的串，分析解决
3、通过api接口调用->伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器

4. java爬虫怎么抓取登陆后的网页数据

一般爬虫都不会抓登录以后的页面，
如果你只是临时抓某个站，可以模拟登录，然后拿到登录以后的Cookies，再去请求相关的页面。

5. java爬虫实时获取页面数据并存入数据库

这种是工作上的问题把。
没给点好处很难做。
需要一个定时任务。不断去扫这个页面。一有更新马上获取。
获取需要用到解析html标签的jar包。
很简单。但是不想在这浪费时间给你写。

6. JAVA爬虫爬取天猫某一个手机所有数据（包括品牌型号价格评论参数都要有）

HttpClient client = new HttpClient();
        HttpMethod method = new PostMethod(indexUrl);
        client.executeMethod(method);
        method = new PostMethod("http://要抓取的地址");
        client.executeMethod(method);
        // 返回的信息
        // 程序运行到这里时，就读取了索引页的源代码，然后去除空白的换行
        String letterContent = method.getResponseBodyAsString().replaceAll("\r\n", "");
        // 这个方法是去解析这一页内容的
        // 这里是默认执行的第一页.
        handleFirstIndex(client, method, letterContent,indexUrl);
        // 释放连接
        method.releaseConnection();

7. 如何用java实现爬取特定答案

public class Tree { public Tree left; public Tree right;  public int calc(int level) { int result = 0; if (level == 0) result = 1; else { if (left != null) result += left.calc(level - 1); if (right != null) result += right.calc(level - 1); } return result; }  /** * 计算二叉树特定层的节点数 *  * @param tree * 二叉树 * @param level * 层 * @return */ public static int calc(Tree tree, int level) { return tree == null || level < 0 ? 0 : tree.calc(level); } }

8. java爬虫抓去网站指定模块内容怎么办

比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。
从网页上爬取图片的流程和爬取内容的流程基本相同，但是爬取图片的步骤会多一步。
需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的图片url，然后再通过缓冲输入流对象读取到这个图片url的图片信息，配合文件输出流将读到的图片信息写入到本地即可。