C語言中文網 目錄

Python Scrapy安裝(超級詳細,一看就懂)

安裝 Scrapy 與安裝其他 Python 包沒有區別,同樣使用如下命令來安裝:

pip install scrapy

如果在命令行窗口中運行該命令,將會看到程序并不立即下載、安裝 Scrapy,而是不斷地下載大量第三方包。

如果在命令行窗口中提示找不到 pip 命令,則也可以通過 python 命令運行 pip 模塊來安裝 Scrapy,例如 python -m pip install scrapy

這是因為 Scrapy 需要依賴、大量第三方包。典型的,Scrapy 需要依賴如下第三方包:
  • pyOpenSSL:Python 用于支持 SSL(Security Socket Layer)的包。
  • cryptography:Python 用于加密的庫。
  • CFFI:Python 用于調用 C 的接口庫。
  • zope.interface:為 Python 缺少接口而提供擴展的庫。
  • lxml:一個處理 XML、HTML 文檔的庫,比 Python 內置的 xml 模塊更好用。
  • cssselect:Python 用于處理 CSS 選擇器的擴展包。
  • Twisted:為 Python 提供的基于事件驅動的網絡引擎包。
  • ......

如果在 Python 環境下沒有這些第三方包,那么 Python 會根據依賴自動下載并安裝它們。這個過程原本沒啥好講的,pip 通常會自動完成整個過程,我們只需要等待即可。但 pip 在自動下載、安裝 Twisted 時會提示以下錯誤:

error:Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":http://landinghub.visualstudio.com/visual-cpp-build-tools

按照上面的錯誤提示,我們需要先下載和安裝 Microsoft Visual C++ Build Tools 工具,然后才能安裝 Twisted。為了安裝一個小小的 Twisted 包,難道就需要安裝一個龐大的 Microsoft Visual C++ Build Tools?

答案是否定的,提示上面的錯誤只是因為 pip 自動下載的 Twisted 安裝包有一些缺陷,因此可以先自行下載 Twisted 安裝包。登錄 www.lfd.uci.edu/~gohlke/pythonlibs/ 站點,在該頁面中間查找“Twisted”項目,可以看到如圖 1 所示的下載鏈接。

Twisted 包的下載鏈接
圖 1 Twisted 包的下載鏈接

從圖 1 所示的鏈接可以看到,當前 Twisted 的最新版是 18.9.0,Twisted 為 2.7、3.5、3.6、3.7 等不同版本的 Python 提供了對應的安裝包。由于本教程內容主要以 Python 3.6 為主,因此應該下載 Twisted 的 Python 3.6 版本,其中文件名帶 win32 的是 32 位版本,而帶 win_amd64 的則是 64 位版本,此處還需要根據操作系統的位數選擇對應的版本。

在下載了合適的 Twisted 安裝包后,會得到一個 Twisted-18.9.0-cp36-cp36m-win_amd64.whl 文件(針對 64 位系統的),該文件就是 Twisted 安裝包。

運行如下命令來安裝 Twisted 包。

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

在安裝過程中會自動檢查,如有必要,會自動下載并安裝 Twisted 所依賴的第三方包,如 zope.interface、Automat、incremental 等。

在安裝完成后,會提示如下安裝成功的信息:

Successfully installed Twisted-18.9.0

在成功安裝 Twisted 包之后,再次執行 pip install scrapy 命令,即可成功安裝 Scrapy。在安裝成功后,會顯示如下提示信息:

Successfully installed Scrapy-1.6.1

在成功安裝 Scrapy 之后,可以通過 pydoc 來查看 Scrapy 的文檔。在命令行窗口中輸入如下命令:

python -m pydoc -p 8899

運行上面命令之后,打開瀏覽器查看 http://localhost:8899/ 頁面,可以在 Python 安裝目錄的lib\site-packages下看到 Scrapy 的文檔,如圖 2 所示。

Scrapy 的文檔
圖 2 Scrapy 的文檔

精美而實用的網站,提供C語言C++STLLinuxShellJavaGo語言等教程,以及socketGCCviSwing設計模式JSP等專題。

Copyright ?2011-2018 biancheng.net, 陜ICP備15000209號

底部Logo