动漫视频网站开发,莱芜新闻头条,阿里云建站数据库用什么,上海人才招聘官网2022目录 集群分发脚本xsyncscp#xff08;secure copy#xff09;安全拷贝rsync 远程同步工具集群分发脚本 SSH免密登录免密登录原理SSH免密登录配置生成公钥和私钥授权测试 在现代科技飞速发展的时代#xff0c;数据的备份和迁移成为了一个重要的课题。其中#xff0c;rsync远… 目录 集群分发脚本xsyncscpsecure copy安全拷贝rsync 远程同步工具集群分发脚本 SSH免密登录免密登录原理SSH免密登录配置生成公钥和私钥授权测试 在现代科技飞速发展的时代数据的备份和迁移成为了一个重要的课题。其中rsync远程同步和SSH免密登录成为了程序员们常用的工具和技巧。它们能够帮助我们高效地进行文件同步和管理使数据的传输更加快速和安全。 在本篇文章中我们将深入探索rsync远程同步和SSH免密登录的奥秘。我们将介绍如何配置SSH免密登录以及如何使用rsync来进行文件的远程同步。 集群分发脚本xsync
scpsecure copy安全拷贝
1定义scp可以实现服务器与服务器之间的数据拷贝 2基本语法
scp -r $pdir/$fname $user$host:$pdir/$fname
# scp 命令
# -r 递归
# $pdir/$fname 要拷贝的文件路径/名称
# $user$host:$pdir/$fname 目的地用户名主机目的地路径/名称3案例 在hadoop102上把数据拷贝到hadoop103 scp -r jdk1.8.0_371/ roothadoop103:/opt/module
在hadoop103上拉取hadoop102的数据 scp -r roothadoop102:/opt/module/hadoop-3.2.4 ./
rsync 远程同步工具 rsync是一个功能强大的文件同步工具它能够通过比较源和目标文件的内容差异只传输差异部分从而大幅度提升文件传输的效率。这种差异传输的机制使得rsync在大规模数据备份和迁移中得到了广泛的应用。它能够通过多种传输协议包括本地文件系统、SSH和RSYNC等来实现跨平台和跨网络的文件同步。 rsync主要用于备份和镜像具有速度快、避免复制相同的内容和支持符号链接的特点。 rsync比 scp 复制文件速度要快rsync只对差异化文件做更新scp是把所有文件都复制过去 基本语法
rsync -av $pdir/$fname $userhost:$pdir/$fname
# rsync 命令
# -av -a 归档拷贝 -v 显示复制过程
# $pdir/$fname 要拷贝的文件路径/名称
# $userhost:$pdir/$fname 目的地用户名主机目的地路径/名称案例 在hadoop102上同步hadoop102上的数据到hadoop103 rsync -av hadoop-3.2.4/ roothadoop103:/opt/module/hadoop-3.2.4/
集群分发脚本 循环复制文件到所有节点的相同目录下 rsync命令原始拷贝rsync -av /opt/module roothadoop103:/opt 期望脚本使用方式xsync 要同步的文件名称 期望脚本在任何路径都能使用脚本放在声明了全局环境变量的路径
[amohadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_371/bin:/opt/module/hadoop-3.2.4/bin:/opt/module/hadoop-3.2.4/sbin:/home/amo/.local/bin:/home/amo/binhome目录下创建bin文件夹并在该文件夹下创建xsync文件vim xsync 名字随便起
#!/bin/bash#1.判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi#2.遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
doecho $host #3.遍历所有目录一个个发送for file in $do#4.判断文件是否存在if [ -e $file ]then#5.获取父目录pdir$(cd -P $(dirname $file); pwd)#6.获取当前文件的名称filename$(basename $file)ssh $host mkdir -p $pdirrsync -av $pdir/$filename $host:$pdirelseecho $file does not exists!fidone
done修改脚本 xsync 具有执行权限 chmod 777 xsync
测试脚本 xsync /bin 将脚本复制到/bin中以便全局调用 sudo cp xsync /bin/ 同步环境变量配置root所有者 sudo ./bin/xsync /etc/profile.d/my_env.sh
环境变量生效source /etc/profile
SSH免密登录 SSH免密登录则是一种安全的通信协议它能够建立起安全的连接从而实现在远程服务器上执行命令而无需手动输入密码。通过使用公钥和私钥的加密方式SSH免密登录能够防止密码被窃取并提供更高的安全性。 免密登录原理
A服务器通过ssh-keygen -t rsa命令生成密钥对公钥和私钥A服务器通过ssh-copy-id 服务器B命令将公钥拷贝到B服务器A服务器ssh访问B服务器数据用私钥加密B服务器接收到数据后去授权的key中查找A服务器的公钥并解密数据将采用A公钥加密后的数据返回给A服务器
SSH免密登录配置
#切换到home目录下
cd ~
# 查看home目录下的所有文件包括隐藏文件
ll -al
# 切换到.ssh文件夹下
cd .ssh
# 生成公钥和私钥
ssh-keygen -t rsa
# 授权给另一个服务器
ssh-copy-id hadoop103生成公钥和私钥
# 生成公钥和私钥
[roothadoop102 .ssh]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:pCATVCsPvIqYqZMz0KYnHxIE5V7gsqzMU41co6SkNY roothadoop102
The keys randomart image is:
---[RSA 2048]----
|.o.. |
|. o . |
|..O . |
|o.O . o |
|oE.. S |
|B * . |
|X*. . |
|X..o |
|.Ooo |
----[SHA256]-----授权 将生成的公钥通过命令拷贝到你要授权的服务器 # 授权
[roothadoop102 .ssh]# ssh-copy-id hadoop103
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: /root/.ssh/id_rsa.pub
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
roothadoop103s password: Number of key(s) added: 1Now try logging into the machine, with: ssh hadoop103
and check to make sure that only the key(s) you wanted were added.[roothadoop102 .ssh]# ssh-copy-id hadoop104
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: /root/.ssh/id_rsa.pub
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
roothadoop104s password: Number of key(s) added: 1Now try logging into the machine, with: ssh hadoop104
and check to make sure that only the key(s) you wanted were added.测试
[amohadoop102 ~]$ ssh hadoop103
Last login: Fri Mar 1 19:40:22 2024 from 192.168.1.1
[amohadoop103 ~]$
