aiomysql异步数据库
发布于 2021-01-19
前言 前面使用aiohttp+asyncio实现了异步爬虫，但对于数据存储还是常规的pymysql去进行连接和保存数据。本篇文章测 …
笔记
人人美剧迅雷链接多线程多进程爬虫分析
发布于 2021-01-13
浅谈GIL 使用python中的多线程就不得不聊聊GIL，基于cpython，当时为python实现多线程时的初衷是为了保证线程的 …
asyncio+requests实现异步爬虫
发布于 2021-01-12
使用asyncio+requests实现的异步爬虫，考虑到一些操作不能使用协程函数去调用，但还想用异步，就可以用线程池或者进程池结合loop.run_in
