4_queue_concurrent_web_spider

发表于2024-09-04|更新于2026-06-10|Tornado

|浏览量:

`Queue` example => 并发网络蜘蛛

Tornado 的 tornado.queues 模块为协程实现了异步生产者/消费者模式，类似于 Python 标准库的队列模块为线程实现的模式。

产生 Queue.get 的协程会暂停，直到队列中有一个项目。如果队列有最大大小 se，则产生 Queue.put 的协程将暂停，直到有空间容纳另一个项目。

队列维护未完成任务的计数，从零开始。 put 增加计数； task_done 会减少它。

在此处的网络蜘蛛示例中，队列开始时仅包含 base_url。当工作人员获取页面时，它会解析链接并将新链接放入队列中，然后调用 task_done 来递减计数器 1。最终，worker 获取了一个其 URL 之前都已经见过的页面，并且队列中也没有剩余的工作。因此，该工作人员对 task_done 的调用会将计数器递减至零。正在等待加入的主协程未暂停并完成。

点击这里阅读web_spider.py

文章作者: xhj

文章链接: https://hzhzxfs.github.io/2024/09/04/4_queue_concurrent_web_spider/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 xhj的博客！

相关推荐

8_running_and_deploying

运行和部署您无需配置 WSGI 容器来查找您的应用程序，只需编写一个启动服务器的 main() 函数即可。 1234567def main(): app = make_app() app.listen(8080) IOLoop.current().start()if __name__ == "__main__": main() 进程和端口由于Python GIL（全局解释器锁）的存在，需要运行多个Python进程才能充分利用多CPU机器。 Tornado 包含一个内置的多进程模式，可以同时启动多个进程。这需要对标准 main 函数稍作修改： 123456def main(): app = make_app() server = tornado.httpserver.HTTPServer(app) server.bind(8080) server.start(0) # fork on process per CPU IOLoop.current().start() 这是启动多个进程并让它们共享同一端口的最...

6_templates_and_ui

模板和用户界面Tornado 可以与任何其他 Python 模板语言一起使用，尽管没有将这些系统集成到 RequestHandler.render 中的规定。只需将模板渲染为字符串并将其传递给 RequestHandler.write 即可。配置模板Tornado 在与引用模板文件的 .py 文件相同的目录中查找模板文件。要将模板文件放在不同的目录中，请使用 template_path Application setting（或覆盖 RequestHandler.get_templdate_path）。要从非文件系统位置加载模板，请子类化 tornado.template.BaseLoader 并传递一个实例作为 template_loaderapplication 设置。编译好的模板默认会被缓存；要关闭此缓存并重新加载模板，以便对基础文件的更改始终可见，请使用应用程序设置 compiled_template_cache=False 或 debug=True 模板语法Tornado 模板只是 HTML，其中嵌入了标记中的 Python 控制序列和表达式： 12345...

5_structure_of_tornado_app

龙卷风 Web 应用程序的结构龙卷风 Web 应用程序通常由一个或多个 RequestHandler 子类、一个将传入请求路由到处理程序的 Application 对象以及一个用于启动服务器的 main() 函数组成。这是 Tornado Web 应用程序的示例 1234567891011121314151617import tornado.ioloopimport tornado.webclass MainHandler(tornado.web.RequestHandler): def get(self): self.write('Hello world')def make_app(): return tornado.web.Application([ (r"/", MainHandler) ])if __name__ == "__main__": app = make_app() app.listen(8080) tornado.ioloop.IO...

协奏曲协程是在 Tornado 中编写异步代码的推荐方法。协程使用 yield 或 await 关键字来挂起和恢复执行，而不是回调链（gevent 等框架中的协作轻量级线程有时也称为协程，但在 Tornado 中，所有协程都使用显式上下文切换并称为异步函数）。协程没有线程的开销，它们还通过减少可能发生上下文切换的位置数量，使并发性更容易推理。 1234async def fetch_coroutine(url): client = AsyncHTTPClient() resp = await client.fetch(url) return resp.body 本机 <-> 装饰 coroutinesPython 3.5（或更高版本）使用 yield 或 await 来构建本机协程。使用旧版本的 Python，您可以使用装饰协程或基于收益的协程。在龙卷风中， tornado.gen.coroutine 提供它，您可以通过以下两种方法使用协程： 1234@gen.coroutinedef fun(): data = yield fun...

7_auth_and_security

身份验证和安全Cookie 和安全 Cookie您可以使用 set_cookie 方法在用户浏览器中设置 cookie。 1234567class MainHandler(tornado.web.RequestHandler): def get(self): if not self.get_cookie("mycookie"): self.set_cookie("mycookie", "myvalue") self.write("Set your cookie success.") else: self.write("Your cookie is set.") Cookie 并不安全，并且很容易被客户修改。如果您需要设置 cookie 来识别当前登录的用户，则需要对 cookie 进行签名以防止伪造。 Tornado 支持使用 set_secure_cookie 和 get_secu...

2_asynchronous_and_no-blocking_IO

ASYNCHRONOUS AND NO-BLOCKING IOReal-Time web features require a long-lived mostly-idle connection per user. In a traditional synchronous web server, this implies devoting one thread to each other, which can be expensive. To minimize the cost of concurrent connections, Tornado uses a single-threaded event-loop. Thus, all application code shoule aim to be asynchronous and non-blocking because only one operation can be active as a time. BlockingA function blocks when it waits for something happe...