Python util.build_grab函数代码示例

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› Python›Python编程经验

原作者: [db:作者] 来自: [db:来源] 收藏邀请

本文整理汇总了Python中test.util.build_grab函数的典型用法代码示例。如果您正苦于以下问题：Python build_grab函数的具体用法？Python build_grab怎么用？Python build_grab使用的例子？那么恭喜您, 这里精选的函数代码示例或许可以为您提供帮助。

在下文中一共展示了build_grab函数的20个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于我们的系统推荐出更棒的Python代码示例。

示例1: test_session

    def test_session(self):
        # Test that if Grab gets some cookies from the server
        # then it sends it back
        g = build_grab()
        g.setup(reuse_cookies=True)
        self.server.response["cookies"] = {"foo": "bar"}.items()
        g.go(self.server.get_url())
        self.assertEqual(g.response.cookies["foo"], "bar")
        g.go(self.server.get_url())
        self.assertEqual(self.server.request["headers"]["Cookie"], "foo=bar")
        g.go(self.server.get_url())
        self.assertEqual(self.server.request["headers"]["Cookie"], "foo=bar")

        # Test reuse_cookies=False
        g = build_grab()
        g.setup(reuse_cookies=False)
        self.server.response["cookies"] = {"foo": "baz"}.items()
        g.go(self.server.get_url())
        self.assertEqual(g.response.cookies["foo"], "baz")
        g.go(self.server.get_url())
        self.assertTrue(len(self.server.request["cookies"]) == 0)

        # Test something
        g = build_grab()
        g.setup(reuse_cookies=True)
        self.server.response["cookies"] = {"foo": "bar"}.items()
        g.go(self.server.get_url())
        self.assertEqual(g.response.cookies["foo"], "bar")
        g.clear_cookies()
        g.go(self.server.get_url())
        self.assertTrue(len(self.server.request["cookies"]) == 0)

开发者ID:fangjintang1989，项目名称:grab，代码行数:31，代码来源:grab_cookies.py

示例2: test_load_proxylist

    def test_load_proxylist(self):
        content = '%s\n%s\n%s' % (PROXY1, PROXY2, PROXY3)
        open(TMP_FILE, 'w').write(content)

        # By default auto_change is True
        g = build_grab()
        g.load_proxylist(TMP_FILE, 'text_file')
        self.assertEqual(g.config['proxy_auto_change'], True)
        servers = set()
        for x in six.moves.range(10):
            g.go('http://yandex.ru')
            servers.add(g.config['proxy'])

        self.assertTrue(len(servers) > 1)

        # Disable auto_change
        # By default auto_init is True
        g = build_grab()
        g.load_proxylist(TMP_FILE, 'text_file', auto_change=False)
        self.assertEqual(g.config['proxy_auto_change'], False)
        servers = set()
        for x in six.moves.range(10):
            g.go('http://yandex.ru')
            servers.add(g.config['proxy'])
        self.assertEqual(len(servers), 1)

        # Disable auto_change
        # Disable auto_init
        # Proxylist will not be used by default
        g = build_grab()
        g.load_proxylist(TMP_FILE, 'text_file', auto_change=False,
                         auto_init=False)
        self.assertEqual(g.config['proxy_auto_change'], False)
        g.go(self.server.get_url())
        self.assertEqual(g.config['proxy'], None)

开发者ID:abael，项目名称:grab，代码行数:35，代码来源:grab_proxy.py

示例3: test_load_dump

    def test_load_dump(self):
        g = build_grab()
        cookies = {'foo': 'bar', 'spam': 'ham'}
        g.setup(cookies=cookies)
        g.go(self.server.get_url())
        g.dump_cookies(TMP_FILE)
        self.assertEqual(set(cookies.items()),
                         set((x['name'], x['value'])
                             for x in json.load(open(TMP_FILE))))

        # Test non-ascii
        g = build_grab()
        cookies = {'foo': 'bar', 'spam': u'бегемот'}
        g.setup(cookies=cookies)
        g.go(self.server.get_url())
        g.dump_cookies(TMP_FILE)
        self.assertEqual(set(cookies.items()),
                         set((x['name'], x['value'])
                             for x in json.load(open(TMP_FILE))))

        # Test load cookies
        g = build_grab()
        cookies = [{'name': 'foo', 'value': 'bar'},
                   {'name': 'spam', 'value': u'бегемот'}]
        json.dump(cookies, open(TMP_FILE, 'w'))
        g.load_cookies(TMP_FILE)
        self.assertEqual(set(g.cookies.items()),
                         set((x['name'], x['value']) for x in cookies))

开发者ID:julia-bikova，项目名称:grab，代码行数:28，代码来源:grab_cookies.py

示例4: test_load_dump

    def test_load_dump(self):
        with temp_file() as tmp_file:
            g = build_grab()
            cookies = {"foo": "bar", "spam": "ham"}
            g.setup(cookies=cookies)
            g.go(self.server.get_url())
            g.dump_cookies(tmp_file)
            self.assertEqual(set(cookies.items()), set((x["name"], x["value"]) for x in json.load(open(tmp_file))))

            g = build_grab()
            cookies = {"foo": "bar", "spam": u"begemot"}
            g.setup(cookies=cookies)
            g.go(self.server.get_url())
            g.dump_cookies(tmp_file)
            self.assertEqual(set(cookies.items()), set((x["name"], x["value"]) for x in json.load(open(tmp_file))))

            # Test load cookies
            g = build_grab()
            cookies = [
                {"name": "foo", "value": "bar", "domain": self.server.address},
                {"name": "spam", "value": u"begemot", "domain": self.server.address},
            ]
            json.dump(cookies, open(tmp_file, "w"))
            g.load_cookies(tmp_file)
            self.assertEqual(set(g.cookies.items()), set((x["name"], x["value"]) for x in cookies))

开发者ID:fangjintang1989，项目名称:grab，代码行数:25，代码来源:grab_cookies.py

示例5: test_body_inmemory_false

    def test_body_inmemory_false(self):
        g = build_grab()
        g.setup(body_inmemory=False)
        self.assertRaises(GrabMisuseError, lambda: g.go(self.server.get_url()))

        self.server.response['get.data'] = b'foo'
        g = build_grab()
        g.setup(body_inmemory=False)
        g.setup(body_storage_dir=TMP_DIR)
        g.go(self.server.get_url())
        self.assertTrue(os.path.exists(g.response.body_path))
        self.assertTrue(TMP_DIR in g.response.body_path)
        self.assertEqual(b'foo', open(g.response.body_path, 'rb').read())
        self.assertEqual(g.response._bytes_body, None)
        old_path = g.response.body_path

        g.go(self.server.get_url())
        self.assertTrue(old_path != g.response.body_path)

        self.server.response['get.data'] = 'foo'
        g = build_grab()
        g.setup(body_inmemory=False)
        g.setup(body_storage_dir=TMP_DIR)
        g.setup(body_storage_filename='music.mp3')
        g.go(self.server.get_url())
        self.assertTrue(os.path.exists(g.response.body_path))
        self.assertTrue(TMP_DIR in g.response.body_path)
        self.assertEqual(b'foo', open(g.response.body_path, 'rb').read())
        self.assertEqual(os.path.join(TMP_DIR, 'music.mp3'),
                         g.response.body_path)
        self.assertEqual(g.response.body, b'foo')
        self.assertEqual(g.response._bytes_body, None)

开发者ID:noscripter，项目名称:grab，代码行数:32，代码来源:grab_response_body_processing.py

示例6: test_session

    def test_session(self):
        # Test that if Grab gets some cookies from the server
        # then it sends it back
        g = build_grab()
        g.setup(reuse_cookies=True)
        SERVER.RESPONSE['cookies'] = {'foo': 'bar'}
        g.go(SERVER.BASE_URL)
        self.assertEqual(g.response.cookies['foo'], 'bar')
        g.go(SERVER.BASE_URL)
        self.assertEqual(SERVER.REQUEST['headers']['Cookie'], 'foo=bar')
        g.go(SERVER.BASE_URL)
        self.assertEqual(SERVER.REQUEST['headers']['Cookie'], 'foo=bar')

        # Test reuse_cookies=False
        g = build_grab()
        g.setup(reuse_cookies=False)
        SERVER.RESPONSE['cookies'] = {'foo': 'baz'}
        g.go(SERVER.BASE_URL)
        self.assertEqual(g.response.cookies['foo'], 'baz')
        g.go(SERVER.BASE_URL)
        self.assertTrue(len(SERVER.REQUEST['cookies']) == 0)

        # Test something
        g = build_grab()
        g.setup(reuse_cookies=True)
        SERVER.RESPONSE['cookies'] = {'foo': 'bar'}
        g.go(SERVER.BASE_URL)
        self.assertEqual(g.response.cookies['foo'], 'bar')
        g.clear_cookies()
        g.go(SERVER.BASE_URL)
        self.assertTrue(len(SERVER.REQUEST['cookies']) == 0)

开发者ID:Scaurus，项目名称:grab，代码行数:31，代码来源:grab_cookies.py

示例7: test_load_proxylist

    def test_load_proxylist(self):
        content = "%s\n%s\n%s" % (PROXY1, PROXY2, PROXY3)
        open(TMP_FILE, "w").write(content)

        # By default auto_change is True
        g = build_grab()
        g.load_proxylist(TMP_FILE, "text_file")
        self.assertEqual(g.config["proxy_auto_change"], True)
        servers = set()
        for x in xrange(10):
            g.go("http://yandex.ru")
            servers.add(g.config["proxy"])

        self.assertTrue(len(servers) > 1)

        # Disable auto_change
        # By default auto_init is True
        g = build_grab()
        g.load_proxylist(TMP_FILE, "text_file", auto_change=False)
        self.assertEqual(g.config["proxy_auto_change"], False)
        servers = set()
        for x in xrange(10):
            g.go("http://yandex.ru")
            servers.add(g.config["proxy"])
        self.assertEqual(len(servers), 1)

        # Disable auto_change
        # Disable auto_init
        # Proxylist will not be used by default
        g = build_grab()
        g.load_proxylist(TMP_FILE, "text_file", auto_change=False, auto_init=False)
        self.assertEqual(g.config["proxy_auto_change"], False)
        g.go(SERVER.BASE_URL)
        self.assertEqual(g.config["proxy"], None)

开发者ID:qqalexqq，项目名称:grab，代码行数:34，代码来源:grab_proxy.py

示例8: test_load_proxylist

    def test_load_proxylist(self):
        with temp_file() as tmp_file:
            content = "%s\n%s\n%s" % (PROXY1, PROXY2, PROXY3)
            open(tmp_file, "w").write(content)

            # By default auto_change is True
            g = build_grab()
            g.load_proxylist(tmp_file, "text_file")
            self.assertEqual(g.config["proxy_auto_change"], True)
            servers = set()
            for x in six.moves.range(10):
                g.go("http://yandex.ru")
                servers.add(g.config["proxy"])

            self.assertTrue(len(servers) > 1)

            # Disable auto_change
            # By default auto_init is True
            g = build_grab()
            g.load_proxylist(tmp_file, "text_file", auto_change=False)
            self.assertEqual(g.config["proxy_auto_change"], False)
            servers = set()
            for x in six.moves.range(10):
                g.go("http://yandex.ru")
                servers.add(g.config["proxy"])
            self.assertEqual(len(servers), 1)

            # Disable auto_change
            # Disable auto_init
            # Proxylist will not be used by default
            g = build_grab()
            g.load_proxylist(tmp_file, "text_file", auto_change=False, auto_init=False)
            self.assertEqual(g.config["proxy_auto_change"], False)
            g.go(self.server.get_url())
            self.assertEqual(g.config["proxy"], None)

开发者ID:fangjintang1989，项目名称:grab，代码行数:35，代码来源:grab_proxy.py

示例9: test_body_inmemory

    def test_body_inmemory(self):
        g = build_grab()
        g.setup(body_inmemory=False)
        self.assertRaises(GrabMisuseError, lambda: g.go(SERVER.BASE_URL))

        SERVER.RESPONSE['get'] = 'foo'
        g = build_grab()
        g.setup(body_inmemory=False)
        g.setup(body_storage_dir=TMP_DIR)
        g.go(SERVER.BASE_URL)
        self.assertTrue(os.path.exists(g.response.body_path))
        self.assertTrue(TMP_DIR in g.response.body_path)
        self.assertEqual('foo', open(g.response.body_path).read())
        old_path = g.response.body_path

        g.go(SERVER.BASE_URL)
        self.assertTrue(old_path != g.response.body_path)

        SERVER.RESPONSE['get'] = 'foo'
        g = build_grab()
        g.setup(body_inmemory=False)
        g.setup(body_storage_dir=TMP_DIR)
        g.setup(body_storage_filename='musik.mp3')
        g.go(SERVER.BASE_URL)
        self.assertTrue(os.path.exists(g.response.body_path))
        self.assertTrue(TMP_DIR in g.response.body_path)
        self.assertEqual('foo', open(g.response.body_path).read())
        self.assertEqual(os.path.join(TMP_DIR, 'musik.mp3'), g.response.body_path)

开发者ID:qqalexqq，项目名称:grab，代码行数:28，代码来源:grab_response_body_processing.py

示例10: test_unicode_post

    def test_unicode_post(self):
        # By default, unicode post should be converted into utf-8
        g = build_grab()
        data = u'фыва'
        g.setup(post=data, url=self.server.get_url())
        g.request()
        self.assertEqual(self.server.request['data'], data.encode('utf-8'))

        # Now try cp1251 with charset option
        self.server.request['charset'] = 'cp1251'
        g = build_grab()
        data = u'фыва'
        g.setup(post=data, url=self.server.get_url(),
                charset='cp1251', debug=True)
        g.request()
        self.assertEqual(self.server.request['data'], data.encode('cp1251'))

        # Now try dict with unicode value & charset option
        self.server.request['charset'] = 'cp1251'
        g = build_grab()
        data = u'фыва'
        g.setup(post={'foo': data}, url=self.server.get_url(),
                charset='cp1251', debug=True)
        g.request()
        test = 'foo=%s' % quote(data.encode('cp1251'))
        test = test.encode('utf-8')  # py3 hack
        self.assertEqual(self.server.request['data'], test)

开发者ID:abael，项目名称:grab，代码行数:27，代码来源:grab_post_request.py

示例11: test_adopt

 def test_adopt(self):
     g = build_grab()
     self.server.response["get.data"] = "Moon"
     g.go(self.server.get_url())
     g2 = build_grab()
     self.assertEqual(g2.config["url"], None)
     g2.adopt(g)
     self.assertTrue(b"Moon" in g2.response.body)
     self.assertEqual(g2.config["url"], self.server.get_url())

开发者ID:gwynnbleidd1984，项目名称:grab，代码行数:9，代码来源:grab_api.py

示例12: test_clone

 def test_clone(self):
     g = build_grab()
     SERVER.RESPONSE['get'] = 'Moon'
     g.go(SERVER.BASE_URL)
     self.assertTrue('Moon' in g.response.body)
     g2 = build_grab()
     self.assertEqual(g2.response, None)
     g2 = g.clone()
     self.assertTrue('Moon' in g.response.body)

开发者ID:qqalexqq，项目名称:grab，代码行数:9，代码来源:grab_api.py

示例13: test_make_url_absolute

 def test_make_url_absolute(self):
     g = build_grab()
     self.server.response['get.data'] = '<base href="http://foo/bar/">'
     g.go(self.server.get_url())
     absolute_url = g.make_url_absolute('/foobar', resolve_base=True)
     self.assertEqual(absolute_url, 'http://foo/foobar')
     g = build_grab()
     absolute_url = g.make_url_absolute('/foobar')
     self.assertEqual(absolute_url, '/foobar')

开发者ID:Michael-F-Bryan，项目名称:grab，代码行数:9，代码来源:grab_api.py

示例14: test_adopt

 def test_adopt(self):
     g = build_grab()
     SERVER.RESPONSE['get'] = 'Moon'
     g.go(SERVER.BASE_URL)
     g2 = build_grab()
     self.assertEqual(g2.config['url'], None)
     g2.adopt(g)
     self.assertTrue('Moon' in g2.response.body)
     self.assertEqual(g2.config['url'], SERVER.BASE_URL)

开发者ID:qqalexqq，项目名称:grab，代码行数:9，代码来源:grab_api.py

示例15: test_body_inmemory

    def test_body_inmemory(self):
        g = build_grab()
        g.setup(body_inmemory=False)
        self.assertRaises(GrabMisuseError, lambda: g.go(SERVER.BASE_URL))

        SERVER.RESPONSE['get'] = 'foo'
        g = build_grab()
        g.setup(body_inmemory=False)
        g.setup(body_storage_dir=TMP_DIR)
        g.go(SERVER.BASE_URL)

开发者ID:Kuznitsin，项目名称:grab，代码行数:10，代码来源:grab_response_body_processing.py

示例16: test_empty_document

    def test_empty_document(self):
        self.server.response['get.data'] = 'oops'
        g = build_grab()
        g.go(self.server.get_url())
        g.xpath_exists('//anytag')

        self.server.response['get.data'] = '<frameset></frameset>'
        g = build_grab()
        g.go(self.server.get_url())
        g.xpath_exists('//anytag')

开发者ID:Michael-F-Bryan，项目名称:grab，代码行数:10，代码来源:ext_lxml.py

示例17: test_body_inmemory

    def test_body_inmemory(self):
        g = build_grab()
        g.setup(body_inmemory=False)
        self.assertRaises(GrabMisuseError, lambda: g.go(self.server.get_url()))

        self.server.response["get.data"] = "foo"
        g = build_grab()
        g.setup(body_inmemory=False)
        g.setup(body_storage_dir=TMP_DIR)
        g.go(self.server.get_url())

开发者ID:gwynnbleidd1984，项目名称:grab，代码行数:10，代码来源:grab_response_body_processing.py

示例18: test_empty_document

    def test_empty_document(self):
        SERVER.RESPONSE['get'] = 'oops'
        g = build_grab()
        g.go(SERVER.BASE_URL)
        g.xpath_exists('//anytag')

        SERVER.RESPONSE['get'] = '<frameset></frameset>'
        g = build_grab()
        g.go(SERVER.BASE_URL)
        g.xpath_exists('//anytag')

开发者ID:Kuznitsin，项目名称:grab，代码行数:10，代码来源:ext_lxml.py

示例19: test_options_method

    def test_options_method(self):
        g = build_grab()
        g.setup(method="options", post=b"abc")
        g.go(self.server.get_url())
        self.assertEquals("OPTIONS", self.server.request["method"])
        self.assertEquals("3", self.server.request["headers"]["Content-Length"])

        g = build_grab()
        g.setup(method="options")
        g.go(self.server.get_url())
        self.assertEquals("OPTIONS", self.server.request["method"])
        self.assertTrue("Content-Length" not in self.server.request["headers"])

开发者ID:yegorov-p，项目名称:grab，代码行数:12，代码来源:grab_request.py

示例20: test_redirect_session

    def test_redirect_session(self):
        g = build_grab()
        self.server.response["cookies"] = {"foo": "bar"}.items()
        g.go(self.server.get_url())
        self.assertEqual(g.response.cookies["foo"], "bar")

        # Setup one-time redirect
        g = build_grab()
        self.server.response["cookies"] = {}
        self.server.response_once["headers"] = [("Location", self.server.get_url()), ("Set-Cookie", "foo=bar")]
        self.server.response_once["code"] = 302
        g.go(self.server.get_url())
        self.assertEqual(self.server.request["cookies"]["foo"].value, "bar")

开发者ID:fangjintang1989，项目名称:grab，代码行数:13，代码来源:grab_cookies.py

注：本文中的test.util.build_grab函数示例由纯净天空整理自Github/MSDocs等源码及文档管理平台，相关代码片段筛选自各路编程大神贡献的开源项目，源码版权归原作者所有，传播和使用请参考对应项目的License；未经允许，请勿转载。

鲜花

握手

雷人

路过

鸡蛋

该文章已有0人参与评论

请发表评论

全部评论

专题导读

More+

10-27 六六分期app的软件客服如何联系？(六六分期

11-06 可心卡盟:win10系统火狐flash插件崩溃怎么

11-06 亲亲特价:怎么删除回收站图标

11-06 济南大学虚拟社区:鲁大师节能降温的具体办

11-06 xlueops.exe:无线网络安装向导

11-06 女斗合众国:win7系统cf与主机连接不稳定怎

11-06 0xc000022-[cf烟雾头]cf怎么调烟雾头

11-06 qizideyouhuo:应用程序无法正常启动0xc0000

11-06 ipz-185:win7系统vcf文件怎么打开

11-06 傻哥蹦迪:win10系统s4怎么打开usb调试

11-06 八神浩树gtaste:回收站清空了怎么恢复

11-06 妖尾之黑色守护:win10系统电脑没有1440x900

11-06 校园至尊魔王小说:win7系统浏览网页时字体

11-06 女斗合众国:win10系统访问共享文件夹提示请

11-06 tokyo hot n0654:恢复win7系统默认字体一招

11-06 雨酷仙境:设置win7系统转移临时文件夹腾出

11-06 阿穆纳伊之杖:win7系统开始菜单在右边还原

11-06 tunespotting:win10系统火狐flash插件总是

11-06 甘尔葛分析师：计谋网站seo关键词暴涨有什

11-06 蔡贵霖: 计谋网站seo关键词暴涨有什么秘密

11-06 博益网首页:ao3网页版进入不了解决方法

11-06 漏斗子专栏: 网站数据分析小白易懂精华篇

11-06 见证双虹怎么做:win7系统开启telnet命令的

11-06 颾狐蝶蜋:系统资源不足无法完成请求的服务

11-06 国光中学校歌:提交网站到alexa查询详细步骤

11-06 西安有情天:静态网页和动态网页的区别

11-06 红木雅尚斋:外部链接构造对网站的好处

11-06 前官礼遇：防止域名劫持–增强域安全性的10

11-06 密传二转答案: 中文分词算法有哪些

11-06 金泉家园邮编:百度快照劫持的表现及应对方

Python util.build_spider函数代码示例发布时间：2022-05-27

Python rest_mock.t_rest函数代码示例发布时间：2022-05-27

Python util.grid_equal函数代码示例

1 Python 入门教程

Python入门教程 Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言。 P

阅读：13936|2022-01-22

2 Python wikiutil.getFrontPage函数代码示例

Python wikiutil.getFrontPage函数代码示例

阅读：10292|2022-05-24

3 Python 简介

Python 简介 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本

阅读：4173|2022-01-22

4 Python tests.group函数代码示例

Python tests.group函数代码示例

阅读：4064|2022-05-27

5 Python util.check_if_user_has_permission

Python util.check_if_user_has_permission函数代码示例

阅读：3889|2022-05-27

6 Python 操练实例98

Python 练习实例98 Python 100例题目：从键盘输入一个字符串，将小写字母全部转换成大

阅读：3539|2022-01-22

7 Python 环境搭建

Python 环境搭建本章节我们将向大家介绍如何在本地搭建 Python 开发环境。 Py

阅读：3069|2022-01-22

8 Python 基础语法

Python 基础语法 Python 语言与 Perl，C 和 Java 等语言有许多相似之处。但是，也

阅读：2727|2022-01-22

9 Python output.darkgreen函数代码示例

Python output.darkgreen函数代码示例

阅读：2682|2022-05-25

10 Python 中文编码

Python 中文编码前面章节中我们已经学会了如何用 Python 输出 Hello, World!，英文没

阅读：2346|2022-01-22

客服电话

电子邮件

Python util.build_grab函数代码示例

示例1: test_session

示例2: test_load_proxylist

示例3: test_load_dump

示例4: test_load_dump

示例5: test_body_inmemory_false

示例6: test_session

示例7: test_load_proxylist

示例8: test_load_proxylist

示例9: test_body_inmemory

示例10: test_unicode_post

示例11: test_adopt

示例12: test_clone

示例13: test_make_url_absolute

示例14: test_adopt

示例15: test_body_inmemory

示例16: test_empty_document

示例17: test_body_inmemory

示例18: test_empty_document

示例19: test_options_method

示例20: test_redirect_session

请发表评论

全部评论

上一篇：

下一篇：

Python util.grid_equal函数代码示例

Python util.get_worker_name函数代码示例

Python util.get_webmention_target函数代

Python util.get_uuid函数代码示例

Python util.get_type_by_name函数代码示例

Python util.grid_equal函数代码示例

Python util.get_worker_name函数代码示例

Python util.get_webmention_target函数代

Python util.get_uuid函数代码示例

Python util.get_type_by_name函数代码示例

Python util.get_stdout函数代码示例

关于我们

产品与服务

解决方案

139-2527-9053