python 怎么实现两台服务器上批量复制文件

python 怎么实现两台服务器上批量复制文件,第1张

1、把excel里文件名那一列复制,粘进一个空白的文本文件,命名为filelisttxt,上传到服务器。

2、在服务器上使用脚本导出,python脚本 fileCppy 。

代码示例:

#! python

#coding:utf-8

##!/usr/bin/python

# Filename : fileCppy

import sys

import os

import shutil

fileList='filelisttxt'

targetDir='files'

filedir = open(fileList)

line = filedirreadline()

log = open('runninglog','w')

while line:

line = linestrip('\n');

basename = ospathbasename(line)

exists = ospathexists(line)

if exists :

print 'copy '+line+' to '+osgetcwd()+'/'+targetDir+'/'+basename

logwrite('copy '+line+' to '+osgetcwd()+'/'+targetDir+'/'+basename+'\r\n')

shutilcopy(line,targetDir+'/'+basename)

else:

print line+' not exists'

logwrite(line+' not exists'+'\r\n')

line = filedirreadline()

logclose()

1 确定Python环境:确定要使用的Python版本,并在本地安装相应版本的Python。

2 安装所需的Python库:根据需要,使用pip命令安装需要的Python库。可以使用"pip install 库名"来安装某个库,或者使用"pip install -r requirementstxt"来安装requirementstxt文件中列出的所有库。

3 打包Python环境:将所需的Python库打包成一个targz或zip文件。可以使用命令"tar -czvf environmenttargz python_folder"来将python_folder目录下的所有文件打包成一个targz文件。

4 上传并配置Spark:将打包好的Python环境上传到Spark所在的服务器上,并在Spark配置文件中指定Python环境的路径。可以在Spark的conf/spark-envsh中添加以下内容:

export PYSPARK_PYTHON=/path/to/python_binary_in_environment

其中,/path/to/python_binary_in_environment为Python环境的路径。

5 启动Spark应用程序:通过设置PYSPARK_PYTHON环境变量来使用自己打包的Python环境启动Spark应用程序。可以使用以下命令来启动应用程序:

spark-submit --master spark://localhost:7077 --conf "sparkexecutorEnvPYSPARK_PYTHON=/path/to/python_binary_in_environment" your_apppy

其中,/path/to/python_binary_in_environment为Python环境的路径,your_apppy为要运行的Spark应用程序的主文件。

注意打包的环境中包含了所需的所有依赖库,并且与Spark所使用的Python版本相兼容。

DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » python 怎么实现两台服务器上批量复制文件

0条评论

发表评论

提供最优质的资源集合

立即查看 了解详情