Web抓取通常涉及下载，存储和处理Web内容，在本章中了解如何处理从Web下载的内容。 无涯教程在抓取过程中获得的网络媒体内容可以是图像，音频和视频文件，以及非网页形式的数据文件。但是，能否信任下载的数据，尤其是将要下载并存储在计算机内存中的数据扩展名?这使得了解将要本地存储的数据类型至关重要。 从网页获取内容 在本节中，将学习如何下载基于Web服务器信息正确表示媒体类型的媒体内容，无涯教程可以像上一章一样借助Pythonrequests模块来做到这一点。 首先，需要导入必要的Python模块，如下所示: importrequests 现在，提供要在本地下载和存储的媒体内容的URL。 u...

在前面的章节中，无涯教程学习了有关通过各种Python模块从网页中提取数据或进行网页抓取的知识。在本章中研究各种技术来处理已抓取的数据。 要处理已抓取的数据，必须将数据以特定格式存储在本地计算机上，例如电子表格(CSV)，JSON或有时存储在MySQL等数据库中。 CSV和JSON数据处理 首先，从网页抓取后，无涯教程将信息写入CSV文件或电子表格中，首先通过一个简单的示例来理解，在该示例中，将像以前一样使用BeautifulSoup模块获取信息，然后使用PythonCSV模块将文本信息写入CSV文件。 首先，需要导入必要的Python库，如下所示: importrequests fro...

在本章中，让无涯教程学习可用于Web抓取的各种Python模块。 虚拟环境 Virtualenv是用于创建隔离的Python环境的工具。借助virtualenv，可以创建一个文件夹，其中包含使用Python项目所需的软件包所需的所有可执行文件。它还允许添加和修改Python模块，而无需访问全局安装。 您可以使用以下命令安装virtualenv (base)D:\ProgramData>pipinstallvirtualenv Collectingvirtualenv Downloading https://files.pythonhosted.org/packages/b6/30/...

在本章中，让无涯教程学习如何在动态网站上执行Web抓取示例。 动态网站示例 让无涯教程看一个动态网站的示例,了解为什么很难抓取，在这里将以从http://example.webscraping.com/places/default/search 述网页中抓取数据 importre importurllib.request response=urllib.request.urlopen('http://example.webscraping.com/places/default/search') html=response.read() text=html.decode() re...

在上一章中，无涯教程已经看到了抓取动态网站。在本章中了解对基于用户输入的网站(即基于表单的网站)的抓取。 如今，WWW正朝着社交媒体以及用户生成的内容发展，因此出现了一个问题，如何才能访问登录之外的信息?为此，需要处理表单和登录名。 在前几章中，使用HTTPGET方法来请求信息，但是在本章中，将使用HTTPPOST方法将信息推送到Web服务器进行存储和分析。 登录表单交互 在本节中，将借助Python请求库处理一个简单的提交表单。 首先，需要导入requests请求库，如下所示: importrequests 现在，需要提供有关登录表单字段的信息。 parameters={‘Name':...

Web抓取是从Web提取信息的自动过程，本章将为您提供有关Web抓取的深入概念，它与Web抓取的比较以及为什么要选择Web抓取。 网页抓取 字典中"Scrapping"一词的含义表示可以从网络中获取某些东西，这里出现两个问题:无涯教程可以从网上获得什么以及如何获得它。 第一个问题的答案是"数据"，数据对于任何程序员都是必不可少的，每个编程项目的基本要求是大量有用的数据。 第二个问题的答案有些棘手，因为有很多方法可以获取数据，通常，可能会从数据库或数据文件以及其他来源获取数据，但是，如果需要大量在线可用数据，该怎么办?获取此类数据的一种方法是手动搜索(在Web浏览器中单击)并保存(将其复制...