Screaming Frog 是什麼?一款優化 SEO 的網頁爬取工具
Screaming Frog 是一款網站 SEO 技術項目檢測工具,其運作方式是透過模擬搜尋引擎爬蟲爬取頁面的過程,分析網站內容與架構並給予修正建議,為我們減輕人工檢查網站的時間與失誤,非常適合需要中、大型網站(網站大於 2,000 頁)擁有者或同時需要管理多個網站的行銷人員。
了解尋引擎爬蟲運作邏輯:認識 Google 搜尋引擎及運作方式,掌握演算法的秘密增進網站 SEO 排名
從安裝到介面功能總覽,快速上手 Screaming Frog
知道 Screaming Frog 是什麼樣的工具之後,接下來就要教大家如何使用啦!大家只需要進入 Screaming Frog 官方網站,點選「SEO Spider Tool」並完成下載就能開始使用囉!
在開始使用 Screaming Frog 之前,先讓我們認識工具介面上的各個欄位:
- URL 網址輸入欄位
- Overview 網站總覽
- Issues 網站問題重要性排序
- Site Structure 網站架構
- Response Time 頁面回應時間測試
A. URL 網址輸入欄位
和大部分的工具一樣,Screaming Frog 的網址搜尋欄位在介面的最上面,將想要檢查的網站網址貼入欄位中並按下開始,Screaming Frog 爬蟲便會開始爬取網站,稍微等待一下就能取得網站的檢查報告囉!
B. Overview 網站總覽
在 Overview 網站總覽的欄位可以看到網站所有頁面 URL 的檢索結果,並且其中也包含網站的頁面類型組成,以 Ranking 網站舉例,從下圖可以發現網站大多是由 HTML 以及少部分的JavaScript、CSS 與圖片組成。
C. Issues 網站問題重要性排序
Screaming Frog 爬蟲檢測完網站後,會將偵測到的網站問題羅列出來,而 Issues 議題欄位的功能則是標示這些問題的重要程度,幫助使用者判斷哪些問題應該被優優先解決。
以下是 Issues 功能內會顯示的標籤與其意義:
- Issue Priority High 為高等程度優先處理
- Issue Priority Medium 為中等程度優先處理
- Issue Priority Low 為低等程度優先處理
D. Site Structure 網站架構
在網站架構欄位,可看到完整的網站結構分類,以及這些分類中包含哪些網頁。
E. Response Time 頁面回應時間測試
頁面回應時間欄位會統整各個網頁載入的時間長度,使用者可以透過這個欄位快速找到載入時間較長的頁面並進行調整。
Screaming Frog 常用 7 大功能
接著整理出在 Screaming Frog 中較常用到的幾個功能,介紹它們在 SEO 操作層面的影響與使用情境,並附上這些功能的操作步驟:
- Broken Links 損壞連結檢查
- Duplicate Content 重複頁面檢查
- Page Titles 頁面標題檢查
- Meta Description 描述文字檢查
- XML Sitemap 網站地圖生成
- Redirect 重新導向檢查
- API Access 數據串接
A. Broken Links
Broken Links 是用來檢查頁面損壞連結的功能。當網站中有過多的損壞連結,對於網站體質來說是不健康的,並且容易被 Google 認為網站過於老舊,不利於 SEO 操作。因此定期移除頁面中的損壞連結,是 SEO 操作人員維持網站整體健康度的重要環節。
而在實務操作上,我們通常會透過「檢測網站中的 404 頁面」的方式,回推哪些頁面包含損壞連結,操作步驟如下:
a. 點選分頁列的 Response Codes ,點選篩選列中的 Client Error 4xx(客戶端錯誤)
b. 點選 Status Code 為 404 的欄位,再點選 Inlinks(狀態碼存在的頁面連結)
c. 下方資訊欄中「From」出現的即為損壞連結存在的頁面,資訊欄「To」則是頁面中偵測到的損壞連結,需到網站後台針對損壞連結進行修正或移除。
「From」與「To」連結畫面示意圖
點擊損壞連結頁面後,會連至 404 頁面,需將此連結進行301轉址或移除
B. Duplicate Content
當一個或多個網域中有相似內容,不只會造成使用者體驗不佳,也會讓搜尋引擎混淆、不知道該將排名給哪一個頁面,導致網站排名難以操作,而 Screaming Frog 中的 「Duplicate Content」就是用來快速找出重複頁面的功能。
利用這個功能找出內容重複的頁面之後,再將這些頁面設定 301 轉址 或 Canonical 標記,就能夠解決重複內容影響到排名的問題囉!
a. 在檢索網站前,先到 Configuration > Content > Duplicates ,定義重複內容的比例
b. 勾選 Enable Near Duplicates ,定義相似內容百分比,點選確定
c. 輸入網址並檢索之後,點選分頁欄 Content 區塊,分別在篩選列勾選 Exact Duplicates 和 Near Duplicates ,查看網站中是否有重複或相似內容,如果有檢查出來,可以針對頁面內容進行調整或刪除重複內容頁面。
延伸閱讀:善用 Canonical 語法,避免網站重複內容影響 SEO 排名
C. Page Titles
Page Title 功能可以用來檢查網頁的 Title Tags 是否都有妥善設置。Title Tags 中文為「標題標記」,是放置在網頁語法 <head> 段落中、用來定義網頁標題的 HTML 標記。而 Tilte Tags 之所以被列為檢查項目之一的理由是因為搜尋結果頁、網頁分頁標籤中出現的標題都是以此設定,可說是操作 SEO 絕對不可以缺少的元素,如果透過 Screaming Frog 工具檢查到有缺失的標題標記切記要補上喔!
標題標記在程式碼中的呈現方式
<head>
<title> Ranking工具教學操作知識庫 | Ranking SEO </title>
</head>
標題標記在搜尋結果預覽出現的畫面
頁面標記在瀏覽器分頁出現的畫面
點選 Page Title ,在右方 Overview 中,檢查標題設置情況,可以優先檢查 Missing 也就是標題有缺失的頁面,如下圖紅框處,藍框處為其餘頁面標題配置情況,也可以一起查看:
D. Meta Description
Meta Description 功能可以用來檢查頁面的描述文字是否設置成功,雖然描述文字目前並未被 Google 列為影響排名的絕對要素,但由於它的功能是讓使用者在觀看 SERP 時便能掌握每個網站的內容概要,對網站的點擊率有一定的影響,所以還是建議大家善用這個功能檢查自家網站的描述文字是否有缺漏喔!
- 點選 Meta Description 的分頁欄,檢查出網頁的描述文字情況
延伸閱讀:【HTML Meta Tags 攻略】掌握 Meta Title & Description,搶佔 SEO 高位!
E. XML Sitemap
XML Sitemap 顧名思義是用來產出網站地圖的功能,通常會在架設新網站時或網站內容有大幅度更新時使用,透過這份涵蓋整個網站資訊的地圖,加速爬蟲爬取並掌握網網站的架構內容。
a. 點選 Sitemaps > XML Sitemaps
b. 在一開始 Response Codes 預設的 Code 會是正常(2xx),這裡可以不用特別設定,直接點選 Export
c. 產生 Sitemap 後,再上傳到網站資料夾中,就設置完成囉!
d. 最後回到 Google Search Console 提交 Sitemap,讓 Google 更快造訪網站。
延伸閱讀:Sitemap是什麼?一次掌握Sitemap網站地圖製作與提交流程!
F. Redirection
在 Redirection 欄位,可以查看出需要重新導向的頁面。至於我們什麼時候會需要將頁面重新導向呢?當網址有更動,像是遇到搬站或網址重新命名時,設置重新導向能將頁面權重和流量轉移到新頁面。當使用者點擊舊網址,會重新導向到新網址,就不會發生像是找不到頁面的問題。
在左側欄位點選分頁 Response Codes ,勾選 Redirection(3xx),可以在下方清單中查看連結是否被導向正確的頁面。
延伸閱讀:【301轉址教學】做SEO必學!301轉址為什麼重要?301轉址工具介紹
G. API Access
使用 API Access 可以協助我們串接在操作 SEO 常會需要用到的數據指標工具: Google Analytics( Google 流量分析)、Google Search Console( Google 網站管理員)以及 PageSpeedInsight (網頁使用者體驗指標)等,方便監測控管。
使用的方式就是在 Configuration > API Access 選擇要串接的工具即可。
延伸閱讀:【Google Search Console教學篇】從安裝到功能設定一次解鎖
Screaming Frog 免費版與付費版的差異
免費版和付費版最大的差異在於,免費版最高只能檢索 500 條 URL,而付費版則沒有上限,基本上免費版已經符合大部分技術搜尋引擎優化會使用到的功能。如果你是屬於剛架設好網站的初學者,建議使用免費版就夠了;如果你的網站頁面非常多,或你是從事 SEO 的專員,需要檢查多個網站,則可以考慮購買付費版。
下方整理出免費版與付費版的功能差異
檢核項目 | 免費版 | 付費版 |
找出損壞連結,頁面錯誤與重新導向 | O | O |
檢查頁面標題和描述文字 | O | O |
檢查出重複頁面 | O | O |
產生 XML Sitemap | O | O |
設置 hreflang 標籤 | O | O |
URL 檢索限制 | 500 條 URL | 無限制 |
GA & GSC & PageSpeedInsight 整合 | X | O |
拼字與文法檢查 | X | O |
客製化產出 robots.txt 檔 | X | O |
JavaScript Rendering | X | O |
Screaming Frog 與常用到的 SEO 工具比較
目前市面上操作 SEO 的工具大多為國外付費軟體,除了本文介紹的 Screaming Frog 之外,下方也整理出幾款 SEO 從業人員常用的工具,更毛遂自薦自家的 Ranking AI SEO 工具!不僅支援繁中地區關鍵字,且系統會自動產出 AI 建議字詞與 SEO 優化建議,是一款介面簡單好上手的 SEO 工具,特別適合需要大量寫文的部落客、經營品牌的行銷人員。
比較各款 SEO 工具
工具項目 |
主要用途 |
語言 |
費用 |
檢查網站體質(Technical SEO )例如:
|
英文 |
約 NT$8,000/年 |
|
|
英文 |
每月 NT$3,000/起 |
|
|
英文/簡體中文 |
每月 NT$360/起 |
|
|
英文 |
可免費使用 付費版每月 NT$2,000/起 |
|
|
中文 |
每月 NT$888/起 |
更多款SEO工具推薦|延伸閱讀:SEO優化必備:精選SEO軟體工具大全讓你效率加倍
結論:Screaming Frog 為你做好網站基礎建置
Screaming Frog 常使用在技術搜尋引擎優化的基礎建置,從一開始的檢索網站到蒐集相關追蹤數據,Screaming Frog 協助你將基礎建置的流程簡單化,改善搜尋引擎排名,未來只要定期進行檢查與維護即可。
大家可以考量自身學習 SEO 狀況以及實際操作情境,適時搭配最後一段介紹到的 SEO 工具,而如果對於 Ranking AI SEO 工具有興趣,請馬上點擊註冊,立即使用!掌握關鍵字佈局!