• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

Python2.7下subprocess调用perl脚本增加timeout

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

29 JAN 2016 on Skill

背景

去年(2015年)年底开发了个自动分析崩溃的工具,分两个功能模块。

  1. 解析模块:一个python脚本,获取客户端上传上来的崩溃日志,并在Jenkins上找到对应的版本,下载对应的app文件和dSYM文件,调用Apple提供的symbolicatecrash对崩溃日志中的堆栈地址符号化,找到崩溃的符号存储到本地数据库中。
  2. 展示模块:flask开发的web应用,按照崩溃地址的符号分类展示所有崩溃。

在实际运行中发现一个“找了好多资料”都没解决的问题,symoblicatecrash(这是个perl脚本)在符号化某些日志的时候会“阻塞”(perl进程cpu占用99%)。

一时间找不到直接解决办法,只能采用“躲避”方案。

问题

之前在运行symbolicatecrash命令时,使用 os.system(cmdline) 的方式,此命令会一直阻塞等待 cmdline 命令结束。

于是找 timeout 方法,(以前做Windows开发,一个WaitForSingleObject 就可以等待进程句柄了)找到了subprocess模块,但发现subprocess的方法Popen 在Python2.7下没有 timeout 参数。(Python3.x下有timeout参数)。

搜到一个替代方案,配合threading,


import subprocess, threading

class Command(object):
    def __init__(self, cmd):
        self.cmd = cmd
        self.process = None

    def run(self, timeout):
        def target():
            print 'Thread started'
            self.process = subprocess.Popen(self.cmd, shell=True)
            self.process.communicate()
            print 'Thread finished'

        thread = threading.Thread(target=target)
        thread.start()

        thread.join(timeout)
        if thread.is_alive():
            print 'Terminating process'
            self.process.terminate()
            thread.join()
        print self.process.returncode

command = Command("echo 'Process started'; sleep 2; echo 'Process finished'")
command.run(timeout=3)
command.run(timeout=1)

进程超时解决了,但,symbolicatecrash是个perl脚本,运行后popen返回的是shell执行者 sh 的句柄,而不是 perl 进程的句柄,因此仍然无法强制结束 perl 进程。

这时,找到了 exec 。

通过 exec 可以将popen返回的句柄替换为真实执行的perl进程的句柄。

系统调用exec是以新的进程去代替原来的进程,但进程的PID保持不变。因此,可以这样认为,exec系统调用并没有创建新的进程,只是替换了原来进程上下文的内容。原进程的代码段,数据段,堆栈段被新的进程所代替。 这里使用subprocess调用起perl脚本后,如果不使用exec间接调用,则subprocess拥有的句柄会是shell脚本的执行者sh的句柄,而不是perl的句柄。

因此可以,

command = Command("exec symbolicatecrash ...")
command.run(timeout=15)

鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
使用Perl读取Excel文件发布时间:2022-07-22
下一篇:
如何用Perl对Excel的数据进行提取并分析发布时间:2022-07-22
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap