php网站开发源码做网站怎么赚钱 111

当前位置： 首页 > news >正文

php网站开发源码,做网站怎么赚钱 111,策划案需要给做网站吗,大兴模板网站建设大数据与Hadoop#xff5c;分布式文件系统#xff5c;分布式Hadoop集群 Hadoop部署Hadoop HDFS分布式文件系统HDFS部署步骤一#xff1a;环境准备HDFS配置文件 查官方手册配置Hadoop集群 日志与排错 mapreduce 分布式离线计算框架YARN集群资源管理系统步骤一#xff1a;安装… 大数据与Hadoop分布式文件系统分布式Hadoop集群 Hadoop部署Hadoop HDFS分布式文件系统HDFS部署步骤一环境准备HDFS配置文件 查官方手册配置Hadoop集群 日志与排错 mapreduce 分布式离线计算框架YARN集群资源管理系统步骤一安装与部署hadoop Hadoop Hadoop是一种分析和处理海量数据的软件平台基于java语言开发可以提供一个分布式基础架构。 特点高可靠性、高扩展性、高效性、高容错性、低成本
部署Hadoop 本案例要求安装单机模式Hadoop 热词分析 最低配置2cpu2G内存10G硬盘 虚拟机IP192.168.1.50 hadoop1 安装部署 hadoop 数据分析查找出现次数最多的单词 1配置主机名为hadoop1ip为192.168.1.50配置yum源系统源 2安装java环境 [roothadoop1 ~]# yum -y install java-1.8.0-openjdk-devel java-1.8.0-openjdk-devel [roothadoop1 ~]# java -version openjdk version 1.8.0_131 OpenJDK Runtime Environment (build 1.8.0_131-b12) OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode) [roothadoop1 ~]# jps 1235 Jps3安装hadoop [roothadoop1 ~]# cd hadoop/ [roothadoop1 hadoop]# ls hadoop-2.7.7.tar.gz kafka_2.12-2.1.0.tgz zookeeper-3.4.13.tar.gz [roothadoop1 hadoop]# tar -xf hadoop-2.7.7.tar.gz [roothadoop1 hadoop]# mv hadoop-2.7.7 /usr/local/hadoop [roothadoop1 hadoop]# chown -R 0.0 /usr/local/hadoop # 为了安全 修改所有者和所属组 [roothadoop1 hadoop]# vim /etc/hosts 192.168.1.50 hadoop1 [roothadoop1 hadoop]# vim /usr/local/hadoop/etc/hadoop-env.sh 25: export JAVA_HOME/usr # java安装路径 33: export HADOOP_CONF_DIR/usr/local/hadoop/etc/hadoop # hadoop配置文件命令 [roothadoop1 hadoop]# /usr/local/hadoop/bin/hadoop version [roothadoop1 ~]# cd /usr/local/hadoop/ [roothadoop1 hadoop]# ./bin/hadoop # 运行5)词频统计 [roothadoop1 hadoop]# mkdir /usr/local/hadoop/input [roothadoop1 hadoop]# ls bin etc include lib libexec LICENSE.txt NOTICE.txt input README.txt sbin share [roothadoop1 hadoop]# cp *.txt /usr/local/hadoop/input [roothadoop1 hadoop]# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount input output //wordcount为参数 统计input这个文件夹存到output这个文件里面这个文件不能存在要是存在会报错是为了防止数据覆盖 [roothadoop1 hadoop]# cat output/part-r-00000 //查看HDFS分布式文件系统 HDFS是Hadoop体系中数据存储管理的基础是一个高度容错的系统用于在低成本的通用硬件上运行。 HDFS角色和概念 Client 客户端 负责 切分文件 访问HDFS 与NameNode交互获取文件位置信息 与DataNode交互读取和写入数据 Block 每块缺省128MB大小没块可以多个副本NamenodeMaster节点 管理HDFS的名称空间和数据块映射信息fsimage 配置副本策略处理所有客户端请求Secondarynode定期合并fsimage和fsedits推送给NameNode fsimage名称空间和数据库的映射信息中 fsedits数据变更日志 紧急情况下 可辅助恢复NameNode 但Secondary NameNode并非NameNode热备Datanode数据存储节点存储实际的数据 汇报存储信息给NameNode HDFS部署 准备集群环境 最低配置2CPU2G内存10G硬盘 虚拟机IP 192.168.1.50 hadoop1 192.168.1.51 node-0001 192.168.1.52 node-0002 192.168.1.53 node-0003 要求禁用selinux、禁用firewalld (所有主机) 安装java-1.8.0-openjdk-devel并配置 /etc/hosts(所有主机) 设置hadoop1 免密登录其他主机、并不用输入 yes 使所有节点能够ping通配置SSH信任关系 节点验证 步骤一环境准备 1编辑/etc/hosts四台主机同样操作以hadoop1为例 [roothadoop1 ~]# vim /etc/hosts 192.168.1.50 hadoop1 192.168.1.51 node-0001 192.168.1.52 node-0002 192.168.1.53 node-0003 2)安装java环境在node-0001node-0002node-0003上面操作以node-0001为例 [rootnode-0001 ~]# yum -y install java-1.8.0-openjdk-devel 3)布置SSH信任关系 [roothadoop1 ~]# vim /etc/ssh/ssh_config //第一次登陆不需要输入yes Host *GSSAPIAuthentication yesStrictHostKeyChecking no [roothadoop1 .ssh]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:Ucl8OCezw92aArY5zPtOrJ9ol1ojRE3EAZ1mgndYQM roothadoop1 The keys randomart image is: —[RSA 2048]—- | oE. | | XB. | | ..Oo. | | o.o… | | .S.. o | | .o | | ooo | | o.o | | oO. | —-[SHA256]—– [roothadoop1 .ssh]# for i in hadoop1 node-{0001…0003};do ssh-copy-id -i /root/.ssh/id_ras.pub \({i} done //部署公钥给hadoop1node-0001node-0002node-00034测试信任关系 [roothadoop1 .ssh]# ssh node-0001 Last login: Fri Sep 7 16:52:00 2018 from 192.168.1.60 [rootnode-0001 ~]# exit logout Connection to node-0001 closed. [roothadoop1 .ssh]# ssh node-0002 Last login: Fri Sep 7 16:52:05 2018 from 192.168.1.60 [rootnode-0002 ~]# exit logout Connection to node-0002 closed. [roothadoop1 .ssh]# ssh node-0003HDFS配置文件 查官方手册 环境配置文件hadoop-env.sh核心配置文件core-site.xmlHDFS配置文件hdfs-site.xml节点配置文件slaves 1修改slaves文件 [roothadoop1 ~]# cd /usr/local/hadoop/etc/hadoop [roothadoop1 hadoop]# vim slaves node-0001 node-0002 node-00032hadoop的核心配置文件core-site [roothadoop1 hadoop]# vim core-site.xml configuration propertynamefs.defaultFS/namevaluehdfs://hadoop1:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/var/hadoop/value/property /configuration [roothadoop1 hadoop]# mkdir /var/hadoop //hadoop的数据根目录3配置hdfs-site文件 [roothadoop1 hadoop]# vim hdfs-site.xml configurationpropertynamedfs.namenode.http-address/namevaluehadoop1:50070/value # 主机名:端口号 查手册/propertypropertynamedfs.namenode.secondary.http-address/namevaluehadoop1:50090/value/propertypropertynamedfs.replication/namevalue2/value # 副本数量/property /configuration配置Hadoop集群 启动集群以下操作仅在hadoop1上执行 [roothadoop1 ~]# for i in node-{0001..0001};do rsync -aXSH --delete /usr/local/hadoop \){i}:/usr/local/ done [roothadoop1 ~]# mkdir /var/hadoop [roothadoop1 ~]# /usr/local/hadoop/bin/hdfs namenode -format [roothadoop1 ~]# /usr/local/hadoop/sbin/start-dfs.sh验证集群配置 [roothadoop1 ~]# for i in hadoop1 node-{0001..0003};do echo \({i}; ssh \){i} jps; echo -e \n; done [roothadoop1 ~]# /usr/local/hadoop/bin/hdfs dfsadmin -report日志与排错 日志文件夹在系统启动时会被自动创建 /usr/local/hadoop/logs日志名称 服务名 - 用户名 - 角色名 - 主机名.out 标准输出服务名 - 用户名 - 角色名 - 主机名.log 日志输出 mapreduce 分布式离线计算框架 1配置mapred-sitehadoop1上面操作 [roothadoop1 ~]# cd /usr/local/hadoop/etc/hadoop/ [roothadoop1 ~]# mv mapred-site.xml.template mapred-site.xml [roothadoop1 ~]# vim mapred-site.xml configuration propertynamemapreduce.framework.name/namevalueyarn/value/property /configurationYARN集群资源管理系统 在之前创建的 4 台虚拟机上部署 Yarn 在虚拟机上安装部署 Yarn hadoop1 部署 resourcemanager node(1,2,3) 部署 nodemanager 在之前创建的 4 台虚拟机上部署 Yarn
步骤一安装与部署hadoop 1配置yarn-sitehadoop1上面操作 [roothadoop1 hadoop]# vim yarn-site.xml configuration !– Site specific YARN configuration properties – propertynameyarn.resourcemanager.hostname/namevaluehadoop1/value/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property /configuration2同步配置hadoop1上面操作 [roothadoop1 ~]# for i in node-{0001..0003}; dorsync -axXSH –delete /usr/local/hadoop/etc \({i}:/usr/local/hadoop/done [roothadoop1 ~]# /usr/local/hadoop/sbin/start-yarn.sh3验证配置hadoop1上面操作 [roothadoop1 ~]# for i in hadoop1 node-{0001..0003}; do echo \){i};ssh ${i} jps;echo -e \n;done [roothadoop1 ~]# /usr/local/hadoop/bin/yarn node -list4web访问hadoop namenode: http://hadoop1:50070 firefox http://hadoop1:8088 (resourcemanager) firefox http://node-0001:8042 (nodemanager)