LLM 技术趋势雷达：关于Fetch的思考

1. 同步与异步：为什么选择 httpx.AsyncClient？ 核心目标是提升并发能力。在抓取 GitHub、arXiv 这类请求延迟小但频率高的场景里，异步能有效减少等待时间，释放线程资源，提高整体吞吐效率。相比于传统 requests 方式，httpx.AsyncClient 允许我们非阻塞地发出多个请求，是构建高性能抓取模块的关键。 如果强行用同步代码实现并发，我们通常要用线程池控制，比如： from concurrent.futures import ThreadPoolExecut...