商业源码 java 用程序抓取页面登陆问题
1、这是典型的需要模拟浏览器登陆后进行网络数据爬取的爬虫。
2、从楼主的表述中，对这种爬虫还不深。需要多了解不同种类的网络爬虫。
大致可分为两类，一类是全网的爬虫，像百度、谷歌就是这种，往往只抓取公共开放的信息。
二类是垂直型爬虫，如微博、团购、电子商务类网站的专业信息，这种往往是需要用户登陆后才能看到 更多的内容。
3、登陆后抓取数据，其实关键在获取登陆的cookie数据，再将cookie放入每次请求的http参数的cookie中，就可以每次如登陆后看到的数据一样抓取数据了。
4、建议楼主先看下关于模拟登陆相关知识点，再考虑如何实现。
希望能有所帮助。
在Dreamweavercms网站上做seo优化需要注意什么？
1:DreamweaverCMS系统基本参数设置网站名称填写您网站的名称。首页链接名称是超链接鼠标显示的名称，可以一致。在下面填写默认关键字和网站描述。这两个非常重要。当首页模板中显示如下图时，这两个参数会被调用，显示在首页关键词和描述中，直接告诉搜索引擎你网站的主题和内容。得到的排名主要是根据这两项填写的内容。
2主页的默认模板由indexhtm修改。
Dream系统采用了大部分系统使用的模板与网页分离的形式。可以在短时间内修改各种模板，做出各种风格的前端网站，大大缩短了开发周期。如下图所示，通过查看箭头来调用首页模板文件。在title中，我们可以直接添加关键字，因为这个地方只能用一次，不需要调用。这种设置增加了关键词密度，更有利于强化网站主题，会在搜索引擎快照中直接告诉用户。
3梦想编织系统栏目seo优化设置
下图是智盟栏目页面的seo优化设置。第一张图显示了生成的目录设置，文件保留目录/linximeng，即域名访问是xxxcom/linximeng的形式后者名称可以用文字定义，一般选择与栏目标题的拼音有关。拼音目录越短越好，客户越容易记住，搜索蜘蛛也喜欢。第二张图显示了用于生成文档的选项。{typedir}/{aid}。这种形式的默认访问是html，xxxcom/linximeng/,唯一的最短的二级目录的形式。而且每个目录的名字都不一样，后缀更是变ID，这是搜索引擎最流行的形式。这样的文章网址非常有利于搜索排名。
4Dreamweaver系统的内容页面模板seo设置
下图显示了Dreamweaver内容页的模板。你看箭头的地方，基本符合seo优化规则。标题取{dede:fieldtitle/}-{dede:globalCFG_webname/}，即文章标题文章名称，关键词取{dede:fieldkeywords/}，即每篇文章的关键词，描述取{dede:}。html2text(@me)/}即每篇文章的摘要描述。这三个都是添加文章时手工填写的。这样的文章每一批都不一样，更符合用户的需求，会比那些自动获得seo优化词的文章排名更好。
5梦想编织系统产生所有静电。
众所周知，做seo文章，最基本的就是生成静态页面，Dreamweaver系统也不例外。在系统的基础设置中，是否使用伪静态包含在核心设置中。选择否，系统默认生成全站静态页面。然后每次更新完文章，点击生成，就可以一键更新网站了。这样的静态页面是搜索蜘蛛的最爱，可以多写一些针对长尾词的文章，通过对这样大量的内容页面进行排名，获得网站核心的主流量。
织梦cms55怎么修改LOGO和导航条啊？
LOGO的话你直接打开地址找到LOGO更替即可LOGO地址：images/toplogogif导航条就直接修改templets/default/headhtm文件修改内容的话要到后台修改
如何学习SEO？
SEO需要的技术真的太多了。没接触过和接触过和提升过。所知道的技术真的天差地别。
首先说一下基础的SEO知识把。
入门级SEO需要掌握知识及技术：htmlcssDIV各种CMS的运用及修改发现很多SEO连入门级需要的技术知识都掌握不全。
说下技术包含应用场景HTML这个是应用较多和频繁的。最基本的TDKmeta元标记og属性link标签>>注释A标签alt标签H标签strong标签nofollow这些都是html技术的支撑里面Css这个和html是一个包含关系。比如前提到H标签strong等Css用于定义样式文件所有样式有关的比如字体样式颜色加粗H标签定义标题大小的。
很多大概讲的话这些就是和SEO相关的。DIV这是网站布局里面块的应用。主要是html里面布局的部分。
CMS运用这个是重点了。大部分的SEO优化的站点使用的是开源的CMS这里面企业站的话以织梦和帝国为最。当然还有其他的但是最多的是这二类。这些CMS有很多功能是对于SEO很有好处。看你自己怎么用。能否熟练使用。
进阶级SEO需要掌握知识及技术：数据分析技术CMS功能开发JSpython定制功能正则采集和爬虫数据分析;基本数据分析利用比如EXC表格CMS功能开发需要PHP语言的熟悉织梦和帝国都是PHP的。如增加文章发布后自动主动推送给百度熊掌号。
可以在网上找到源码你还是的修改和利用。这里有人会说找程序员，交给程序员解决。没错如果公司有程序员是可以交个他们解决。但是如果我们知道这方面的知识在沟通和写需求的时候描述是否效率会提升包括沟通成本。而不是一点程序思维都没有瞎JB提需求。
JS：基本的了解和应用就可以了。比如跳转如何用JS作出302跳转效果PC端跳转移动端代码跳转适配这里面水很深。黑帽很多东西在JS里面都能找到亮点的特色。404跳转判断来访跳转。发现这里面举例跳转比较多。
因为缺少在Seo实战中这个JS效果用的比较多。而跳转有很多种。打个比方写一个最简单JS跳转效果。当网站页面被克隆时如何挽回流量？
分析：克隆页面那么就会包含页面所有的元素如果我写一个JS用来判断当前页面url是否为自己本身的url实现跳转是否就能把这一部分流量搞回来？这个代码我就不放放出来了网上很多也很简单。
判断当前url是否包含"XXX"不包含就跳到'XXX'如果克隆者并没有过滤掉JS的话。那么当用户访问克隆页面触发了JS就会跳转到被克隆的页面这是不是流量就回来了。
PYthon定制功能这个就很大了。比如一些日常的SEO操作查排名查收录查导出url分析爬虫日志推送不收录url到百度等等。。很多具体根据需求。所以作为一个进阶SEO你需要掌握python正则这个应用场景就太多了。
移动适配规则提交里面就用正则带适配url里面各层级的参数同时python里面识别很多都有正则包括采集里面对于url识别里面很多正则。采集和爬虫这个包含正则截取正则替换scarpy等。应用场景里面基本是大数据采集。
大神级SEO需要掌握知识及技术：数据分析模型建立与拓展PYthon自动化shell分析产品模型与需求。
这个就能难说叻。毕竟我也是在学习和进步中。和接触到的大神了解来说发现了一些技术，肯定还有一些隐藏的属性和技能没了解到。数据分析是一个大的东西。每个SEO大神对于SEO数据分析都有自己模型和维度。同时在做数据分析的时候会涉及到很多技术。
比如pythonshell等甚至很多我也不了解的技术。python自动化这个最近5118创始人李昊在最近分享中反复提到这个词。李昊是技术出身，所以对于SEO有着关于自动化、程序化、批量化执行执念。把一些SEO实战所需要的一些数或者功能程序化自动化批量化。
shell也是用来做数据分析，用来剥离数据分析数据中间可以结合python用来获得需要的数据和效果。产品模型与需求做SEO都到大神级别了那么对于做产品或者做一些提升流量需求的产品和需求时也是需要了解和应用的。到了这一步我估计已经有一大批SEO哭死在路上。因为可能他们做了好几年可能还是在入门级SEO徘徊。当你和更多大神级SEO交流时候你就会发现技术原理技术思维无处不在。越是学习的越多了解的越多，发现自己懂得越少进步的空间越大。
祝好！希望题主不要被我这一大堆关于SEO技术给弄懵逼。一步一步来，一步一个脚印。回头看看自己的学习进步过程真的太有意义了。
欢迎大佬拍砖指正，欢迎新人交流讨论。欢迎同行和围观群众点赞、收藏、评论。
织梦cms的含义？
织梦内容管理系统(DedeCms)，CMS是ContentManagementSystem的缩写，意为"内容管理系统"。如果想做网站个人建议下载pageadmin系统，discuz系统都是很不错的。
对于企业来说，我认为不建议的建站行为就只有一个——不要用模板网站。
首先，模板网站的安全性不高，大部分模板网站甚至连最简单的DDoS攻击都抵御不了。而且如果使用同个模板的企业过多，就容易导致同一行业内出现很多网站雷同的情况，一方面这样影响了客户对企业的好感，不利于企业品牌和形象的建设，甚至会导致网站的点击转化率大幅降低。
模板建站在一定程度上会影响到网站的收录和排名。众所周知，搜索引擎是通过网站的代码进行爬行和抓取的，如果使用模板建站会导致网站代码和结构大量雷同，出现高重复率，而搜索引擎喜欢新鲜的东西，所以这种结构雷同不利于优化排名，如果雷同严重的话，甚至会导致搜索引擎自动将其忽略掉。
新网站在搭建的过程中需要注意的问题有很多，我将我所知道内容整理了一下，希望能帮到你。
1明确建站目的每家企业在不同的商业阶段都会有不同的建站需求，因此我们在前期的准备工作中就要做好对建站方向的把控，确定1~2个建站目的作为建站的前期指导。（建站目的建议不要超过三个，因为如果你的建站目的很多，就会产生什么都想要、什么都得不到的状态）
2域名和服务器的选择无论是个人建站也好、找建站公司也罢，选择域名和服务器都是网站建设中两个不可避免的问题。
域名是用于数据传输时对计算机的电子标识，以com/cn为佳，需要注意的是不同的域名对应的都是不同的领域，不能随便注册。比如你是做外贸的，那cn就不适合你，因为这个域名代表的是中国域名。对于用户来说，域名越短越好、便于记忆。
服务器作为网站数据的空间储存站，可供我们选择的类别有很多，但目前最热门的还要数各大互联网巨头推出的云服务器，像阿里云、百度云、华为云等，都是国内一等一的服务商。但如果你是想做外贸网站，那服务器的选择就值得你思考，假设你选择的是国内的服务器，那外国的网友就势必会出现网站打开缓慢甚至是打不开的现象，以此类推，最好的方法就是你想做哪个国家的生意就选择哪个国家的服务器，谷歌也曾明确表示，网站的打开速度是影响网站排名的一重大指标。
3网站备案有了域名和服务器之后，我们就可以着手准备网站备案的工作了，因为备案所需要的时间过长，所以在建站前期我们就应该开始备案。
4版权风险如今不只是才有版权，字体的版权风险我们也不能忽视， 因此建议使用开源的字体。
5网站架构如果你的网站架构是混乱不堪的，势必会影响到搜索引擎对网站的抓取，进而影响到最终的网站排名，访客的浏览体验也会非常差。网站作为被动的信息传播手段，浏览多久都是有访客自己决定的，因此我们要确保网站架构的简单化及合理化，让访客在最短的时间内，能够获得最大最大的信息量。
6外链的建设一个网站是很难做到面面俱到的，因此需要连接到别的网站，将其他网站所能补充的信息吸收过来，连接外链不在于数量，而是在于链接外链的质量。外链的效果不只是为了提高网站的权重，也不仅仅是为了提高某个关键词的排名。一个高质量的外部链接是可以给网站带来很好的流量。
如果还想了解更多，可以查看更多的案例拆解：增长超人-优质网站建设案例拆解
1、推荐的一种方法：php判断搜索引擎蜘蛛爬虫还是人为访问代码,摘自Discuz x32
<php
function checkrobot($useragent=''){
static $kw_spiders = array('bot', 'crawl', 'spider' ,'slurp', 'sohu-search', 'lycos', 'robozilla');
static $kw_browsers = array('msie', 'netscape', 'opera', 'konqueror', 'mozilla');
$useragent = strtolower(empty($useragent) $_SERVER['HTTP_USER_AGENT'] : $useragent);
if(strpos($useragent, 'http://') === false && dstrpos($useragent, $kw_browsers)) return false;
if(dstrpos($useragent, $kw_spiders)) return true;
return false;
}
function dstrpos($string, $arr, $returnvalue = false) {
if(empty($string)) return false;
foreach((array)$arr as $v) {
if(strpos($string, $v) !== false) {
$return = $returnvalue $v : true;
return $return;
}
}
return false;
}
if(checkrobot()){
echo '机器人爬虫';
}else{
echo '人';
}
>
实际应用中可以这样判断，直接不是搜索引擎才执行操作
<php
if(!checkrobot()){
//do something
}
>
2、第二种方法：
使用PHP实现蜘蛛访问日志统计
$useragent = addslashes(strtolower($_SERVER['HTTP_USER_AGENT']));
if (strpos($useragent, 'googlebot')!== false){$bot = 'Google';}
elseif (strpos($useragent,'mediapartners-google') !== false){$bot = 'Google Adsense';}
elseif (strpos($useragent,'baiduspider') !== false){$bot = 'Baidu';}
elseif (strpos($useragent,'sogou spider') !== false){$bot = 'Sogou';}
elseif (strpos($useragent,'sogou web') !== false){$bot = 'Sogou web';}
elseif (strpos($useragent,'sosospider') !== false){$bot = 'SOSO';}
elseif (strpos($useragent,'360spider') !== false){$bot = '360Spider';}
elseif (strpos($useragent,'yahoo') !== false){$bot = 'Yahoo';}
elseif (strpos($useragent,'msn') !== false){$bot = 'MSN';}
elseif (strpos($useragent,'msnbot') !== false){$bot = 'msnbot';}
elseif (strpos($useragent,'sohu') !== false){$bot = 'Sohu';}
elseif (strpos($useragent,'yodaoBot') !== false){$bot = 'Yodao';}
elseif (strpos($useragent,'twiceler') !== false){$bot = 'Twiceler';}
elseif (strpos($useragent,'ia_archiver') !== false){$bot = 'Alexa_';}
elseif (strpos($useragent,'iaarchiver') !== false){$bot = 'Alexa';}
elseif (strpos($useragent,'slurp') !== false){$bot = '雅虎';}
elseif (strpos($useragent,'bot') !== false){$bot = '其它蜘蛛';}
if(isset($bot)){
$fp = @fopen('bottxt','a');
fwrite($fp,date('Y-m-d H:i:s')"\t"$_SERVER["REMOTE_ADDR"]"\t"$bot"\t"'http://'$_SERVER['SERVER_NAME']$_SERVER["REQUEST_URI"]"\r\n");
fclose($fp);
}
第三种方法：
我们可以通过HTTP_USER_AGENT来判断是否是蜘蛛，搜索引擎的蜘蛛都有自己的独特标志，下面列取了一部分。
function is_crawler() {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
'Googlebot', // Google 爬虫
'Baiduspider', // 百度爬虫
'Yahoo! Slurp', // 雅虎爬虫
'YodaoBot', // 有道爬虫
'msnbot' // Bing爬虫
// 更多爬虫关键字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
下面的php代码附带了更多的蜘蛛标识
function isCrawler() {
echo $agent= strtolower($_SERVER['HTTP_USER_AGENT']);
if (!empty($agent)) {
$spiderSite= array(
"TencentTraveler",
"Baiduspider+",
"BaiduGame",
"Googlebot",
"msnbot",
"Sosospider+",
"Sogou web spider",
"ia_archiver",
"Yahoo! Slurp",
"YoudaoBot",
"Yahoo Slurp",
"MSNBot",
"Java (Often spam bot)",
"BaiDuSpider",
"Voila",
"Yandex bot",
"BSpider",
"twiceler",
"Sogou Spider",
"Speedy Spider",
"Google AdSense",
"Heritrix",
"Python-urllib",
"Alexa (IA Archiver)",
"Ask",
"Exabot",
"Custo",
"OutfoxBot/YodaoBot",
"yacy",
"SurveyBot",
"legs",
"lwp-trivial",
"Nutch",
"StackRambler",
"The web archive (IA Archiver)",
"Perl tool",
"MJ12bot",
"Netcraft",
"MSIECrawler",
"WGet tools",
"larbin",
"Fish search",
);
foreach($spiderSite as $val) {
$str = strtolower($val);
if (strpos($agent, $str) !== false) {
return true;
}
}
} else {
return false;
}
}
if (isCrawler()){
echo "你好蜘蛛精！";
}
else{
echo "你不是蜘蛛精啊！";
一、内链分布不均匀 内链就是网站不同页面的互相链接，方便用户阅读，增强页面的交互性。通常每篇文章有3个左右的内部链接,算是比较合适的。一定要记住，不能为了内链 而在页面强加内链，越来越聪明的搜索引擎会发现自然创作和强加内链的区别，如果被引擎怀疑，将会适得其反，不会带来一点点收录的增长。 互联网是一张漫无边际的蜘蛛网，每个网站却不是那一个点，同样也是一张网，互联网是把很多小网都编织到一起的一张大网，只有你的网站到了举足轻重的时候，你才能成为那些点之一。 二、域名权重偏低 域名这个因素一时半会也改不过来，而且也不是以你的意愿改变的。域名权重是每次搜索引擎算法更新后，重新给你的网站分配的权重，一般情况下，没有被 惩罚过的网站，坚持做个半年到一年就能获得不错的权重。如果你的是新站，出现了收录不充分的情况，没必要担心，继续做好网站更新，说明引擎对你的网站不是很信任。等时间够了，引擎开始信任你，权重也上升了，收录自然会跟着上来。老站的域名是很占优势的，收录问题就要参考别的因素。 还有一个方面也需要注意，如果你的域名是每年续费的话，按照计划和资金实力，一次续5年或者10年，老域名和一次续10年的域名比一般的能获得更高的信任，在分配权重时比较占优势。 三、网站不利于蜘蛛爬行 目前大部分网站都是开源程序建站，博客站点有WP，z-blog，商业站点有dede，shopex，论坛有discuz，php， 在蜘蛛爬行方面 已经有很大进步，利于seo优化和蜘蛛爬行。但是很多站长在建站之初并没有做好栏目和版面的规划，路径太长太深，首页的具体不止三次点击，爬虫不会爬那么深。不断的增加删除页面，造成网站大量的404，降低蜘蛛的爬行兴趣，同样会影响网站的权重。 加上后期的修改代码，调整插件，插件调整会好点，就算出错也可以及时回复，只要不是删除。但是代码不一样，如果你修改header部分的次数过多， 幅度过大，都会被搜索引擎认为是一个新站，会造成之前已经收录页面遭到删除，爬虫的数量和次数也会大大降低。更换主题模板也是一样，尽量一次敲定，后期的 每一次修改都会造成不必要的权重损失。
采纳哦
Discuz论坛关闭伪静态的方法如下：
登录Discuz论坛后台
2点击全局
3点击SEO设置
4把右边的可用的勾选全部去掉，不用勾选
5最后看到页面地址显示不是静态的就说明完成了
来说说我的使用心得，我的建站程序是discuz，每天不到200IP，使用的是西部数码的云峰B型，年299元的这一款。
出现的问题：
网站经常性的出现503问题，发工单询问原因，说是360爬虫爬取太多资源，导致CPU程序池锁死。
我想要说的是，从来没听说过一个正常的虚拟主机，会因为360爬虫爬太多资源导致程序池卡死的，用过糖果的香港主机、用过51php的主机、用过景安的主机，99元一年的都没出现过此问题。工单回复让我使用499年一年的独享主机，这样就没事了。我想说的是，我一个小个人网站，每天200IP不到，你让我换499一年的独享主机？西部数码明显是主机超卖导致的CPU分配不够，我查了我的IP，一个服务器上放了600多个网站，这样每个网站才有多少CPU？西部数码不去想办法扩充服务器，或者不超卖，让客户来买单吗？
0条评论