python 怎么实现两台服务器上批量复制文件
1、把excel里文件名那一列复制,粘进一个空白的文本文件,命名为filelisttxt,上传到服务器。
2、在服务器上使用脚本导出,python脚本 fileCppy 。
代码示例:
#! python
#coding:utf-8
##!/usr/bin/python
# Filename : fileCppy
import sys
import os
import shutil
fileList='filelisttxt'
targetDir='files'
filedir = open(fileList)
line = filedirreadline()
log = open('runninglog','w')
while line:
line = linestrip('\n');
basename = ospathbasename(line)
exists = ospathexists(line)
if exists :
print 'copy '+line+' to '+osgetcwd()+'/'+targetDir+'/'+basename
logwrite('copy '+line+' to '+osgetcwd()+'/'+targetDir+'/'+basename+'\r\n')
shutilcopy(line,targetDir+'/'+basename)
else:
print line+' not exists'
logwrite(line+' not exists'+'\r\n')
line = filedirreadline()
logclose()
1 确定Python环境:确定要使用的Python版本,并在本地安装相应版本的Python。
2 安装所需的Python库:根据需要,使用pip命令安装需要的Python库。可以使用"pip install 库名"来安装某个库,或者使用"pip install -r requirementstxt"来安装requirementstxt文件中列出的所有库。
3 打包Python环境:将所需的Python库打包成一个targz或zip文件。可以使用命令"tar -czvf environmenttargz python_folder"来将python_folder目录下的所有文件打包成一个targz文件。
4 上传并配置Spark:将打包好的Python环境上传到Spark所在的服务器上,并在Spark配置文件中指定Python环境的路径。可以在Spark的conf/spark-envsh中添加以下内容:
export PYSPARK_PYTHON=/path/to/python_binary_in_environment
其中,/path/to/python_binary_in_environment为Python环境的路径。
5 启动Spark应用程序:通过设置PYSPARK_PYTHON环境变量来使用自己打包的Python环境启动Spark应用程序。可以使用以下命令来启动应用程序:
spark-submit --master spark://localhost:7077 --conf "sparkexecutorEnvPYSPARK_PYTHON=/path/to/python_binary_in_environment" your_apppy
其中,/path/to/python_binary_in_environment为Python环境的路径,your_apppy为要运行的Spark应用程序的主文件。
注意打包的环境中包含了所需的所有依赖库,并且与Spark所使用的Python版本相兼容。
0条评论