基于CentOS78安装Ambari27+HDP31大数据平台

基于CentOS78安装Ambari27+HDP31大数据平台,第1张

在网上搜资料,自己在本地虚拟机上尝试搭建,弄了整整一天一夜,终于弄好了网上的资料,虽然很多,但大多都是重复的,拿去试了之后,又很多都不能得到正确的结果最终找到了适合我的linux环境的搭建方式;在这里贴出来:度娘真不给力啊,没搜出来靠谱的方法。最后用喜乐搜找到的靠谱的教程。

这里还是要总结一下我的LAMP环境的搭建步骤。我先在电脑里装了虚拟机,在虚拟机中测试了数次之后,再在服务器上搭建的。说说我的环境:虚拟机是:VMware® Workstation 1211 Pro;Linux系统用的是:CentOS-7-x86_64-DVD-1511iso;(阿里云上也是用的CentOS7-64bit)准备好这两个之后,就开始一步一步搭建我们的LAMP环境了。

一、安装虚拟机

二、安装CentOS7

注意:以下安装,我都是用的root权限。

三、安装Apache1安装yum -y install httpd2开启apache服务systemctl start httpdservice3设置apache服务开机启动systemctl enable httpdservice4验证apache服务是否安装成功在本机浏览器中输入虚拟机的ip地址,CentOS7查看ip地址的方式为:ip addr(阿里云不需要用这种方式查看,外网ip已经在你主机列表那里给你写出来了的;)这里是访问不成功的(阿里云用外网访问,能成功,不需要做以下步骤)查了资料,说法是,CentOS7用的是Firewall-cmd,CentOS7之前用的是iptables防火墙;要想让外网能访问到apache主目录,就需要做以下的操作:firewall-cmd --permanent --zone=public --add-service=httpfirewall-cmd --permanent --zone=public --add-service=httpsfirewall-cmd --reload然后再访问外网ip,如果看到apache默认的页面--有Testing 123字样,便是成功安装了apache服务了;

四、安装PHP1安装yum -y install php2重启apache服务systemctl restart httpd或者systemctl restart httpdservice然后,你可以写一个php文件在浏览器中运行一下了;eg:vi /var/www/html/infophpi<php phpinfo(); >Esc:wq然后,在自己电脑浏览器输入 19216811/infophp运行,会出现php的一些信息

五、安装MySQL我这里根据所学的那个教程,也安装了MariaDB1安装

yum -y install mariadb

2开启MySQL服务systemctl start mariadbservice3设置开机启动MySQL服务systemctl enable mariadbservice4设置root帐户的密码mysql_secure_installation然后会出现一串东西,可以仔细读一下,如果你懒得读,就在提示出来的时候,按Enter就好了,让你设置密码的时候,你就输入你想要的密码就行,然后继续在让你选择y/n是,Enter就好了;当一切结束的时候,你可以输入mysql -uroot -p的方式,验证一下;

六、将PHP和MySQL关联起来yum search php,选择你需要的安装:yum -y install php-mysql

七、安装常用的PHP模块例如,GD库,curl,mbstring,1安装:yum -y install php-gd php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-snmp php-soap curl curl-devel2重启apache服务systemctl restart httpdservice然后,再次在浏览器中运行infophp,你会看到安装的模块的信息;

至此,LAMP环境就搭建好了。

如何搭建lamp(CentOS7+Apache+MySQL+PHP)环境

标签:

CentOS 7 中 Docker 的安装

Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker,只需要运行下面的 yum 命令:

[root@localhost ~]# yum install docker

启动 Docker 服务

安装完成后,使用下面的命令来启动 docker 服务,并将其设置为开机启动:

[root@localhost ~]# service docker start[root@localhost ~]# chkconfig docker on

(LCTT 译注:此处采用了旧式的 sysv 语法,如采用CentOS 7中支持的新式 systemd 语法,如下:

[root@localhost ~]# systemctl start dockerservice[root@localhost ~]# systemctl enable dockerservice

下载官方的 CentOS 镜像到本地

[root@localhost ~]# docker pull centosPulling repository centos192178b11d36: Download complete 70441cac1ed5: Download complete ae0c2d0bdc10: Download complete 511136ea3c5a: Download complete 5b12ef8fd570: Download complete

确认 CentOS 镜像已经被获取:

[root@localhost ~]# docker images centosREPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZEcentos centos5 192178b11d36 2 weeks ago 4669 MBcentos centos6 70441cac1ed5 2 weeks ago 2158 MBcentos centos7 ae0c2d0bdc10 2 weeks ago 224 MBcentos latest ae0c2d0bdc10 2 weeks ago 224 MB

运行一个 Docker 容器:

[root@localhost ~]# docker run -i -t centos /bin/bash[root@dbf66395436d /]#

我们可以看到,CentOS 容器已经被启动,并且我们得到了 bash 提示符。在 docker 命令中我们使用了 “-i 捕获标准输入输出”和 “-t 分配一个终端或控制台”选项。若要断开与容器的连接,输入 exit。

[root@cd05639b3f5c /]# cat /etc/redhat-release CentOS Linux release 701406 (Core) [root@cd05639b3f5c /]# exitexit[root@localhost ~]#

我们还可以搜索基于 Fedora 和 Ubuntu 操作系统的容器。

[root@localhost ~]# docker search ubuntu[root@localhost ~]# docker search fedora

显示当前正在运行容器的列表

我这里创建了一个普通用户名为admin,并且具有sudo权限,4个节点都需要有这个用户。

4个节点的配置保持同步

4个节点都要操作

注意:生产环境一般由专业运维人员来限制相关端口,而不是完全禁用防火墙

4个节点都要操作

先临时修改,后永久修改的好处:

如果只是临时修改,那么重启机器之后设置就会失效;如果只是永久修改,那么必须重启机器才可能让设置生效,产线环境是不可能重启机器的;这样先临时修改,让其生效,让永久修改,那么在下一次服务器重启后也不会担心这个配置失效。

4个节点都要操作

4个节点都要操作

注意:修改之后,重启服务器生效

4个节点都要操作

设置hdp01机器远程连接自身以及远程连接其他3个机器免秘钥

在4个节点都安装最新稳定版JDK18,关于JDK的安装就不再赘述了

31小节的操作在hdp01节点进行

32小节的操作在hdp01节点进行

如果能看到如下界面Apache就安装好了

HDP安装包部署到Apache:

最终,4个安装包都可以在页面访问,其URL分别为:

配置本地yum源:

这样,本地yum源就创建好了。

33小节的操作在hdp01节点进行

访问WEB-UI:

如果能看到上面的页面,那么Ambari-Server就安装成功了!

接着要把滚动条往下拉,把无用的其他操作系统的仓库删掉:

最终我们只保留"readhat7"的仓库,接下来要把直接部署yum本地仓库的地址填进去,同时不要勾选下面的两个高级选项,如下图:

后续一些重复的就不再贴出来了。

  在 CentOS 7 / Ubuntu 1504 上安装 PHP 框架 Laravel的方法

  CentOS-7

  #yum install epel-release

  # rpm -Uvh dlFedoraprojectorg/pub/epel/epel-release-latest-7noarchrpm

  # rpm -Uvh mirrorwebtaticcom/yum/el7/webtatic-releaserpm 黑客安全网

  #yum update

  Ubuntu

  #apt-get install python-software-properties

  # add-apt-repository ppa:ondrej/php5

  #apt-get update

  #apt-get install -y php5 mcrypt php5-mcrypt php5-gd

  2) 防火墙安装

  电脑系统防火墙和 SELinux 设置对付用于产物应用安全!来说很是重要,,当你操作测试服﹏务器的时候答允封锁防火墙,用以下呼吁行设置 SELinux 成宽容模式(permissive)来担保安装措施不受它们的影响。

  #setenforce0

  3) Apache, MariaDB, PHP 安装

  Laravel 安装措施需要完成安装 LAMP 整个情况,需要特别安装 OpenSSL、PDO,Mbstring 和 Tokenizer 等 PHP 扩展。如果 LAMP 已经运行在你的服﹏务器上你答允跳过这一步,直接确认一些须要的 PHP 插件是否安装好。

  要安装完整 AMP 你需要在本身的服﹏务器上运行以下呼吁。

  CentOS

  #yum install httpd mariadb-server php56w php56w-mysql php56w-mcrypt php56w-dom php56w-mbstring

  要在 CentOS 7 上实现 MySQL! / Mariadb 处事开机自动启动,你需要运行以下呼吁。

  #systemctl start httpd

  #systemctl enable httpd

  #systemctl start mysqld

  #systemctl enable mysqld

  在启动 MariaDB 处事之后,你需要运行以下呼吁配置一个足够安全!的密码。

  #mysql_secure_installation

  Ubuntu

  #apt-get install mysql-server apache2 libapache2-mod-php5 php5-mysql

  4) 安装 Composer

  在我们安装 Laravel 前,先让我们开始安装 composer。安装 composer 是安装 Laravel 的最重要步调之一,因为 composer 能帮我们安装 Laravel 的各类依赖。

  CentOS/Ubuntu

  在 CentOS / Ubuntu 下运行以下呼吁来配置 composer 。

  # curl -sS getcomposerorg/installer | php

  #mv composerphar /usr/local/bin/composer

  #chmod+x /usr/local/bin/composer

  composer installation

  5) 安装 Laravel

  我们答允运行以下呼吁从 github 上下载 Laravel 的安装包。

  #wget githubcom/laravel/laravel/archive/developzip

  运行以下呼吁解压安装包而且移动 document 的根目录。

  # unzip developzip

  #mv laravel-develop /var/www/

  此刻操作 compose 呼吁来安装目录下所有 Laravel 所需要的依赖。

  #cd/var/www/laravel-develop/

  # composer install

  compose laravel

  6) 密钥

  为了加密服﹏务器,我们操作以下呼吁来生成一个加密后的 32 位的密钥。

  # php artisan key:generate

  Application key [Lf54qK56s3qDh0ywgf9JdRxO2N0oV9qI]set successfully

  此刻把这个密钥放到 'appphp' 文件,如以下所示。

  #vim/var/www/laravel-develop/config/appphp

  Key encryption

  7) 虚拟主_机和所属用户

  在 composer 安装好后,分派 document 根目录的权限和所属用户,如下所示。

  #chmod775/var/www/laravel-develop/app/storage

  #chown-R apache:apache /var/www/laravel-develop

  用任意一款编辑器打开 apache 服﹏务器的默认配置文件,在文件最后加上虚拟主_机配置。

  #vim/etc/httpd/conf/httpdconf

  ServerName laravel-develop

  DocumentRoot/var/www/laravel/public

  start Directory/var/www/laravel

  AllowOverrideAll

  Directory close

  此刻我们用以下呼吁重启 apache 服﹏务器,打开浏览器检察 localhost 页面。

  CentOS

  #systemctl restart httpd

  Ubuntu

  # service apache2 restart

  8) Laravel 5 网络会见

  打开浏览器然后输入你配置的 IP 地点或者完整域名(Fully qualified domain name)你将会看到 Laravel 5 的默认页面。

  Laravel Default

测试环境:

windows+centos 7

1、基于centos7安装方法:

git clone https://githubcom/devttys0/binwalk

cd binwalk

python setuppy install

在第一步中如果centos中未安装Git,需要先安装Git工具,安装方法如下:

# 安装

yum install -y git

# 查看版本

git version

2、Binwalk的提取与分析

21、固件扫描

 命令:binwalk firmwarebin      通过扫描能够智能地发现目标文件中包含的所有可识别的文件类型。

22、提取文件

 命令:binwalk -e firmwarebin      选项“-e"和“--extract"用于按照定义的配置文件中的提取方法从固件中提取探测到的文件系统。

 命令:binwalk -Me firmwarebin      选项“-M"和“--matryoshka"用于根据magic签名扫描结果进行递归提取,仅对"-e"和“--dd"选项有效。

命令:binwalk -Me -d 5 firmwarebin      选项“-d"和“--depth="用于限制递归提取深度,默认深度为8,仅当“-M"选项存在时有效。

 命令   dd if=(原文件名) of=(提取文件名)skip=数据地址 bs=1

23、显示完整的扫描结果

 命令:binwalk -I firmwarebin      选项"-I"和“--invalid"用于显示扫描的所有结果(即使是扫描过程中被定义为“invalid“的项)。当我们认为binwalk错把有效的文件当成无效文件时,可以通过该选项来检查。

按需求按说是够用了,不过带宽还是有点偏小,如果并发大的话网站访问可能不会很流畅,不过按你说的100访问封顶,应该是够用的(如果是阿里云的话,如果是小idc商这个配置可能比较水);

如果你这个是centos,最好装一个宝塔面板,更容易管理;

不建议用WordPress搭,比如你对WordPress比较熟还可以,系统慢,漏洞多,性能对于新手来说还不如dedecms,漏洞跟dedecms一样。

如果是要做博客建议用z-blog或者emlog等轻量型的博客程序更好。

你要搭建网站,首先要在服务器上装系统,这里假设你装了centos;然后就要装环境,比如是PHP环境一般会装apache+mysql或者nginx+mysql,这些用宝塔面板可以直接安装好,然后才是选择程序,比如WordPress,dedecms,z-blog,emlog(这些都是php程序)等等。

关闭ping扫描,虽然没什么卵用

先切换到root

echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all

1代表关闭

0代表开启

用iptables

iptables -I INPUT -p icmp -j DROP

简单介绍下基本的 dedecms _aq/' target='_blank'>安全设置

一、创建普通用户,禁止root登录,只允许普通用户使用su命令切换到root

这样做的好处是双重密码保护,黑客就算知道了普通用户的密码,如果没有root密码,对服务器上攻击也比较有限

以下是具体做法(需要在root下)

添加普通用户

useradd xxx

设置密码

passwd xxx

这样就创建好了一个普通用户

禁止root登录

vi /etc/ssh/sshd_config

PermitRootLogin no

Systemctl restart sshd

这样就完成了第一步,之后root就无法登录服务器只能通过普通用户su切换

二、修改ssh的默认端口22,因为ssh的端口是22,我们如果修改了该端口,他们就需要花费一点时间来扫描,稍微增加了点难度

以下将端口改为51866可以根据需要自己更改,最好选择10000-65535内的端口

step1 修改/etc/ssh/sshd_config

vi /etc/ssh/sshd_config

#Port 22 //这行去掉#号

Port 51866 //下面添加这一行

为什么不先删除22,以防其他端口没配置成功,而又把22的删除了,无法再次进入服务器

step2 修改SELinux

安装semanage

$ yum provides semanage

$ yum -y install policycoreutils-python

使用以下命令查看当前SElinux 允许的ssh端口:

semanage port -l | grep ssh

添加51866端口到 SELinux

semanage port -a -t ssh_port_t -p tcp 51866

注:操作不成功,可以参考:https://sebastianbladecom/how-to-modify-ssh-port-in-centos7/

失败了话应该是selinux没有打开

然后确认一下是否添加进去

semanage port -l | grep ssh

如果成功会输出

ssh_port_t tcp 51866, 22

step3 重启ssh

systemctl restart sshdservice

查看下ssh是否监听51866端口

netstat -tuln

Step4 防火墙开放51866端口

firewall-cmd --permanent --zone=public --add-port=51866/tcp

firewall-cmd --reload

然后测试试试,能不能通过51866登录,若能登录进来,说明成功,接着删除22端口

vi /etc/ssh/sshd_config

删除22端口 wq

systemctl restart sshdservice

同时防火墙也关闭22端口

firewall-cmd --permanent --zone=public --remove-port=22/tcp

注意如果是使用阿里的服务器需要到阿里里面的安全组添加新的入站规则(应该是因为阿里的服务器是用的内网,需要做端口映射)

三、使用一些类似DenyHosts预防SSH暴力破解的软件(不详细介绍)

其实就是一个python脚本,查看非法的登录,次数超过设置的次数自动将ip加入黑名单。

四、使用云锁(不详细介绍)

参考自http://tim-flyiteyecom/blog/2308234

总的来说做好了前两步能够减少至少百分之五十的入侵,在做好第三步之后,基本可以杜绝百分之八十以上的入侵。当然最重要的还是自己要有安全意识,要多学习一些安全知识和linux的知识。

第三第四其中都有稍微提到一点,感兴趣可以看看

第一步:注册域名

第二步:域名备案,可以自己备案,也可以找人代备,自己备案时间比较长,大概20工作日,有些代备地区可以四五个工作日就完成

第三步:购买服务器,如果你的网站仅仅是展示,不需要后台,以后也不修改任何内容,那么买个虚拟主机足够了,而且对于小白来说也方便操作,如果后期需要修改内容,建议做一个待后台的,毕竟现在一成不变的网页太少了,如果你们网站访问量大的话,可以买服务器,安装一个centos系统,再配一个WDCP或者宝塔管理面板,基本也属于傻瓜式操作。

第四步:配置网站TDK,这块对于SEO很重要,TDK要设置好再去上传网站,再去搜索引擎提交链接,收录之后不要轻易修改网站标题,这样对SEO很不利

第五步:上传你的网站,有了上面的基础之后,上传网站就很简单了

第六步:网站需要经常更新才能利于SEO优化需要域名+服务器/主机+建站程序就可以自己搭建一个属于自己的公司网站了

建议是不要选择自助建站平台,虽然前期看起来好像很轻松,后期就知道了,很多不利于优化,权限限制,代码限制,如果后期了解seo,就知道还是自己掌握网站的域名,程序,服务器是最好的

域名和服务器可以用阿里云的,大服务商比较稳定网页链接

博客程序就用dedecms的,直接套模板去做就可以,网上很多资源的,或者直接某宝几块钱上千个模板

接下去就是搭建的大概流程了

服务器如果是国内的,要先备案,域名要实名认证

上面都好了,就可以把域名解析到服务器,服务器新手建议用win系统的,用宝塔一键配置环境,PHP+MYSQL+IIS

然后还是用宝塔一键开设空间,绑定域名,开设数据库

上传建站程序到刚开设的空间对应的文件夹里,就可以通过域名访问并搭建了哦

网上有很多教程的,可以看看详细的操作,新手也能轻松操作的有高达上万,还有低至百元的。选择建站服务商时,价高的未必靠谱,太低的也实在不可信,别被忽悠了。我推荐一家叫做壹起航的建站公司,做了很多年,信誉、口碑一直都挺好的。做网站需要有域名、服务器和网站程序,程序的话可以用一些开源的cms系统。我可以做网站

DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » 基于CentOS78安装Ambari27+HDP31大数据平台

0条评论

发表评论

提供最优质的资源集合

立即查看 了解详情