本文共 1015 字,大约阅读时间需要 3 分钟。
使用PSSH管理实验室测试项目需要搭建一个包含200余台机器的集群。前期我们先搭建了一个32台机器的小集群。
初始时,我觉得只需要安装Hadoop集群,改改配置文件,重复32次就搞定了,工作量也不大。
但随着随机测试的推进,我发现每次需要修改一个参数,就要重复执行同样的操作几十遍,这简直是人不堪受的。
PSSH真的是管理集群的必备神器!
下面是关于PSSH的安装、配置与使用说明。我们假设通过1台主节点(IP:172.16.0.1)来管理99台从节点(IP:172.16.0.2-100)。
系统中已经预装了Python,所以只需在主节点安装PSSH即可。
下载地址为:http://parallel-ssh.googlecode.com/files/pssh-2.3.1.tar.gz
解压后进入目录并进行安装:
wget http://parallel-ssh.googlecode.com/files/pssh-2.3.1.tar.gztar -xvf pssh-2.3.1.tar.gzcd pssh-2.3.1python setup.py buildpython setup.py install
配置主要包含两部分:从节点IP列表文件和主节点到从节点的SSH无密钥登录。
IP列表文件命名为host_list.txt,共有99行,从节点IP为172.16.0.2到172.16.0.100。
SSH无密钥登录配置:
使用ssh-keygen生成密钥对(根据提示输入信息),然后使用ssh-copy-id将密钥复制到从节点,需输入密码:
ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.0.2
在实际使用中,我主要使用pssh和pscp两个工具。
pscp命令示例:
pscp -h host_list.txt -r /home/master/1.txt /home/slave/
pssh命令示例:
psssh -h host_list.txt -P "mkdir /home/slave/test"
pssh与脚本结合使用非常高效,常用命令包括:
sed、cat、重定向>>、expect等工具。
《批量部署SSH私钥认证及PSSH工具使用方法》
《通过PSSH批量管理Linux服务器》
转载地址:http://opefk.baihongyu.com/