【scrapy爬虫实战】Discuz 论坛版块全部帖子信息爬取

Discuz 是一款由PHP编写的开源论坛

Discuz 官方论坛: https://wwwdiscuznet/forumphp

要爬取的页面地址:

Discuz BUG与问题交流板块; https://wwwdiscuznet/forum-70-1html

应该打开创建项目命令生成的那个目录 如果选择再下层目录 就不能导模块了

遍历帖子列表

时间信息同样有两种状态 第二种带有 "发表于 " 字样

存储

列表遍历完成

获取下一页的url 定义一个类的变量来记录页数

结果存在datajson中

1、使用HTML必须先生成，生成HTML在后台 - 门户 - HTML管理，中设置。

2、主题分类使用：后台 - 论坛 - 版块管理 - 其它 - 主题分类，开启并添加分类即可使用。

3、分类信息使用：后台 - 论坛 - 分类信息，添加相关分类即可使用。

如果是做管理技术，那你只需要看一下discuz的官方使用手册就可以了

如果是做二次开发，那要学的知识就很多了

1、你要会基本的前台知识

你要具备基本的网页设计基础，html语言、div+css、javascript

基本的工具使用，photoshop（图像处理）、dreamwaver（网页设计）、fireworks（切图）

2、后台开发知识

discuz是用目前最流行的php+mysql架构完成的，所以你要学习php服务器脚步语言，mysql数据库，以及环境搭建和维护的知识

如果是学习php的话，建议看一下php100的视频教程或者是兄弟连的php视频教程，也可以买一本《细说php》，书挺厚，但是强烈建议，看视频，然后找个小程序分析，举个例子，你可以做一个最基础的留言板，然后不停的加功能，等功能越来越多，你的水平也就越来越好

3、关于资料和目录的话

书，推荐兄弟连《细说php》，淘宝上有得卖，搜一下就有了

视频，推荐php100php视频教程、兄弟连php视频教程、后盾网php视频教程

资料，3wschool在线教程（基本涵盖所有的网站建设知识和教程）

关于视频和资料下载，你直接在百度搜索他们官网就可以了，还有一个简单的办法，你直接到电驴网站上，搜索，全部都有的。

如果有别的问题可以留言给我，希望我的回答能帮到你！

Discuz!为方便用户备份和恢复数据库，已在后台内置了此功能，易于站长操作。今天在这分享一下Discuz! x25论坛后台数据库的备份和恢复方法，以及备份数据库和恢复数据库要注意的一些细节问题。 一、利用Discuz!后台备份数据库 1、为备份数据完整无误，备份数据前请站长先关闭站点; 2、利用站长权限登录后台——》站长——》数据库——》备份，有两个基本的数据备份类型：“Discuz! 和 UCenter 数据” 和 “自定义备份”; 1)、选择“Discuz! 和 UCenter 数据”，会备份你Discuz!数据库的所有数据表文件;(包括插件等生成的数据表) 2)、选择“自定义备份”，按照要求勾选你要备份的数据表即可。 3、“提交”旁边有一个“更多选项”，用户可以根据自己的需求来设置一下更多选项，不是很懂的用户可以不必点开更多选项设置，保持Discuz!设置的默认值就可以了;下面分析一下更多选项的技巧提示： 1)、MySQL Dump 的速度比 Discuz! 分卷备份快很多，但需要服务器支持相关的 Shell 权限，同时由于 MySQL 本身的兼容性问题，通常进行备份和恢复的服务器应当具有相同或相近的版本号才能顺利进行。因此 MySQL Dump 是有风险的：一旦进行备份或恢复操作的服务器其中之一禁止了 Shell，或由于版本兼容性问题导致导入失败，您将无法使用 MySQL Dump 备份或由备份数据恢复;Discuz! 分卷备份没有此限制; 2)、数据备份选项中的设置，仅供高级用户的特殊用途使用，当您尚未对数据库做全面细致的了解之前，请使用默认参数备份，否则将导致备份数据错误等严重问题; 3)、十六进制方式可以保证备份数据的完整性，但是备份文件会占用更多的空间; 4)、压缩备份文件可以让您的备份文件占用更小的空间。 4、上面选好“数据备份类型”，点击提交就可以开始备份了，备份的数据文件会保存在站点根目录下的data目录的一个backup_XXXXXX文件夹里; 5、备份完数据库后即可重新打开站点。 二、利用Discuz!后台恢复数据库 1、为恢复数据完整无误，恢复数据前请站长先关闭站点; 2、利用站长权限登录后台——》站长——》数据库——》恢复，会看到你各次的数据备份记录，并且有备份时间、备份数据类型等; 3、上传恢复数据库必须的restorephp文件; 1)、恢复数据前请在 Discuz! X25 安装文件目录下utility文件夹内找到 restorephp 文件，然后将 restorephp 文件上传到程序文件夹data目录下; 2)、如果你恢复过数据库，会在根目录生成/data/restorelock文件，恢复数据功能锁定，如果您确定要恢复数据，请到服务器上删除/data/restorelock。

2002 年，CDB 开发组开始注重基础技术的积累，具备了一定的自身技术实力后，开始着手 CDB 的项目定位的改变，即将其从学习与研究的层次提高到产品的层次。2002 年中到 2003 年初，CDB 开发组将这一时期的技术积累，应用到整个项目中，耗时半年多时间，对 CDB 的代码进行了 100% 重新编写和架构，并将 CDB 改名为 Discuz!，即“令人惊异的讨论区”的意思。

2003 年初，开发组对论坛软件的核心技术取得了重大突破，在国内外现有产品中创新性的实现了 PHP 语法生成内核、缓存自动创建与更新机制、编译模板系统等独有技术，这些核心技术的应用使得 Discuz! 在效能和负载能力上取得了巨大的提升，应用了这些新技术的 Discuz! 200 版本也以商业软件的方式发行。期间 Discuz! 开发组也进行了初步的企业化运营的尝试，获得了宝贵的经验。 虽然 200 版本应用了很多独有的新技术，但因为经验不足、宣传不到位及商业软件在中国大陆市场的巨大阻力等原因，200 版本并没有取得预期的市场进展，面对众多从未经历过的问题与困难，Discuz! 开发组决定再次进行产品的转型，即将 Discuz! 的定位从普通软件产品向商业化软件产品的层次升级。经过半年多的潜心开发，一个用商业软件标准规范和约束，面向高要求和苛刻使用环境的新商业版本 Discuz! 300 面世了。

300 发布后，无论在技术上和市场上都获得了用户的广泛好评，成为 Discuz! 第一个成功的商业版本，之后几次基于本版本的小规模升级，使得 Discuz! 逐渐达到真正商业软件的标准，稳定性、速度、兼容性、安全性等关键指标均大大超过以往，获得了用户的认可，商业用户遍及中国大陆、香港、台湾、北美、欧洲、澳洲、马来西亚等国家和地区，Discuz! 项目开始渐入佳境。 居安思危，Discuz! 开发组始终关注着产品和技术的最新动向，以将产品做强做大为己任，正视一切差距和不足，着力在多个方面实现可持续发展。Discuz! 项目创始人戴志康于 2004 年 2 月注资 50 万元人民币组建康盛创想(北京)科技有限公司，同期被北京市科学技术委员会认定为高新技术企业，同年 6 月获得北京市通信管理局颁发的经营性互联网业务许可（ICP证）。