requests 利用 gzip 压缩优化大 XML 响应的处理方法
  bxzTbUwSHjCk 2023年11月19日 33 0

requests 利用 gzip 压缩优化大 XML 响应的处理方法_开发者

在处理大XML响应时,我遇到了问题。由于响应的大小可能达到数百万字节,因此将整个响应加载到内存中并交给XML解析器进行处理是不可能的。我正在使用lxml进行解析,并将response.raw作为参数传递给其iterparse()函数,这是在requests文档中描述的某个地方。

然而,我所调用的API并不十分好。因此,即使我明确要求不使用压缩数据,该API仍然可能返回Content-Encoding: gzip。此外,这些极其重复和冗长的XML文件的压缩比率非常好(10x以上),因此我希望能够利用压缩响应。

解决方案:

为了解决这个问题,我可以使用functools.partial来替换响应的read方法,或者将其包装在其他方式中,以便进行如下操作:

response.raw.read = functools.partial(response.raw.read, decode_content=True)

然后将response.raw传递给解析器。这个解决方案可以帮助我在处理大XML响应时更高效地利用gzip压缩。

我建议将这个解决方案添加到requests的文档中,例如在FAQ中,这样其他开发者也可以受益于这个优化方法。

这个方法可以显著提高处理大XML响应的效率,尤其是在处理压缩响应时,可以减少内存的使用,提高性能。希望这个解决方案对其他开发者也能有所帮助。如果有任何疑问或需要进一步的解释,请随时提出。

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月19日 0

暂无评论

推荐阅读
bxzTbUwSHjCk