آموزش کامل اسکریمینگ فراگ Screaming Frog

🟢 ۱. مقدمه

اگر بخواهم به‌عنوان یک متخصص سئو حرفه‌ای با شما صادق باشم، یکی از مهم‌ترین ابزارهایی که همیشه در جعبه‌ابزار سئوکارها پیدا می‌شود، Screaming Frog است. این نرم‌افزار دقیقا همان کاری را انجام می‌دهد که ربات‌های گوگل هنگام خزش سایت شما انجام می‌دهند: بررسی تمام صفحات، لینک‌ها، کدهای وضعیت، متاتگ‌ها و حتی محتوای تکراری. به همین دلیل، Screaming Frog یکی از بهترین ابزارها برای آنالیز سئو تکنیکال به‌شمار می‌رود.

اهمیت این ابزار در سئو به حدی بالاست که هم برای یک وب‌سایت کوچک با ۵۰ صفحه و هم برای یک فروشگاه اینترنتی بزرگ با ده‌ها هزار صفحه کاربرد دارد. در وب‌سایت‌های کوچک، به شما کمک می‌کند سریع خطاهای ساده مثل لینک‌های شکسته یا متاتگ‌های ناقص را پیدا کنید. در وب‌سایت‌های بزرگ‌تر، Screaming Frog مثل یک نقشه‌بردار حرفه‌ای، ساختار و معماری کل سایت را در اختیار شما قرار می‌دهد تا بتوانید عیب‌یابی دقیق و بهینه‌سازی هدفمند انجام دهید.

در این مقاله قصد دارم با زبانی ساده اما کاملاً تخصصی، یک آموزش Screaming Frog ارائه کنم تا بدون اتلاف وقت، یاد بگیرید چطور این ابزار را نصب، اجرا و برای بهبود سئو سایت خودتان یا مشتریانتان استفاده کنید.

🟢 ۲. نصب و راه‌اندازی Screaming Frog

یکی از ویژگی‌های خوب Screaming Frog این است که هم روی ویندوز و هم روی مک (MacOS) نصب می‌شود. برای شروع کافی است در گوگل عبارت ” دانلود برنامه Screaming Frog” را سرچ کنید تا نسخه های پولی را به صورت ک.ر.ک شده دریافت کنید. (من خودم از پی سی دانلود این برنامه را دانلود کردم!) فرآیند نصب بسیار ساده است و فقط چند دقیقه زمان می‌برد.

🔹 نسخه رایگان vs نسخه پولی

• در نسخه رایگان شما می‌توانید تا ۵۰۰ آدرس (URL) را خزش کنید. این نسخه برای سایت‌های کوچک یا برای تست اولیه بسیار مناسب است.
• در نسخه پولی، محدودیت‌ها برداشته می‌شوند و امکانات حرفه‌ای مثل اتصال به Google Analytics، Google Search Console، بررسی Core Web Vitals، تحلیل داده‌های ساختاریافته (Structured Data) و حتی بررسی سرعت صفحات در اختیار شما قرار می‌گیرد. اگر قصد دارید به‌طور جدی روی سئو تکنیکال کار کنید، دانلود نسخه پولی ضروری محسوب می‌شود.

🔹 تنظیمات اولیه بعد از نصب
بعد از نصب، بهتر است قبل از شروع خزش سایت، چند تنظیم ساده انجام دهید:

1. در بخش Configuration > Spider مشخص کنید که آیا می‌خواهید تصاویر، فایل‌های CSS و جاوااسکریپت هم بررسی شوند یا فقط صفحات HTML.
2. اگر وب‌سایت شما بزرگ است، می‌توانید محدودیت‌های مربوط به عمق خزش (Crawl Depth) یا سرعت خزش را تنظیم کنید تا نرم‌افزار هم سریع‌تر و هم دقیق‌تر کار کند.
3. اگر قصد دارید از Google Analytics یا Search Console داده بگیرید، کافی است در بخش API Access حساب خود را متصل کنید.

با همین تنظیمات اولیه، Screaming Frog آماده است تا اولین Crawl سایت شما را انجام دهد و تصویر دقیقی از وضعیت سئو تکنیکال وب‌سایتتان به شما نشان بدهد.

🟢 ۳. نحوه کرال (Crawl) کردن سایت با اسکریمینگ فراگ:

خب حالا که Screaming Frog را نصب و تنظیمات اولیه را انجام دادیم، وقت آن رسیده اولین خزش (Crawl) سایت را شروع کنیم. اینجاست که نرم‌افزار وارد عمل می‌شود و تمام صفحات سایت شما را مثل یک موتور جستجو بررسی می‌کند. اجازه بدهید قدم‌به‌قدم با هم پیش برویم.

🔹 معرفی بخش‌های اصلی نرم‌افزار
وقتی نرم‌افزار را باز می‌کنید، رابط کاربری آن در نگاه اول ساده به‌نظر می‌رسد اما در واقع پر از قابلیت‌های کاربردی است. مهم‌ترین بخش‌ها:

نوار جستجو (Search Bar): در بالای صفحه قرار دارد و جایی است که آدرس سایت یا صفحه مورد نظر را وارد می‌کنید.

بخش نتایج (Results): در قسمت وسط نرم‌افزار تمام URLهایی که خزش می‌شوند، همراه با اطلاعاتشان (مثل Status Code، Title، Meta Description و …) نمایش داده می‌شوند.

فیلترها و تب‌ها (Tabs): بالای بخش نتایج، تب‌های مختلفی مثل Internal، External، Response Codes، Page Titles، Meta Description، H1، H2 و … وجود دارند که به شما کمک می‌کنند داده‌ها را براساس نوعشان دسته‌بندی و تحلیل کنید.

بخش جزئیات پایین (Lower Window Pane): وقتی روی یک URL کلیک می‌کنید، در این قسمت اطلاعات دقیق‌تری مثل Inlinks، Outlinks و حتی ریدایرکت‌ها را مشاهده خواهید کرد.

این ساختار باعث می‌شود بدون سردرگمی بتوانید خیلی سریع به داده‌هایی که نیاز دارید دسترسی پیدا کنید.

🔹 نحوه وارد کردن آدرس دامنه
برای شروع خزش کافی است:

1. در نوار جستجو بالای نرم‌افزار، آدرس دامنه مورد نظر (مثلاً https://example.com) را وارد کنید.
2. روی دکمه Start کلیک کنید.
3. از همین لحظه، Screaming Frog شروع می‌کند به خزش تمام لینک‌های داخلی (Internal Links) و خارجی (External Links) که در صفحات پیدا می‌کند.

نکته جالب این است که این نرم‌افزار دقیقاً مانند خزنده‌های گوگل، از لینک به لینک حرکت می‌کند و صفحات را اسکن می‌کند. بنابراین می‌توانید مطمئن باشید نتایجی که به دست می‌آورید بسیار به واقعیت نزدیک است.

🔹 محدودیت‌ها در نسخه رایگان
همان‌طور که قبلاً هم اشاره کردم، نسخه رایگان Screaming Frog یک محدودیت مهم دارد:

شما فقط می‌توانید ۵۰۰ URL را در هر Crawl بررسی کنید.

این موضوع برای وب‌سایت‌های کوچک مشکلی ایجاد نمی‌کند، اما اگر سایت شما بزرگ‌تر باشد (مثلاً یک فروشگاه اینترنتی یا وب‌سایت خبری)، قطعاً به نسخه پولی نیاز پیدا خواهید کرد. چراکه در پروژه‌های حرفه‌ای، آنالیز فقط روی ۵۰۰ صفحه عملاً کافی نیست و بخش بزرگی از سایت خارج از دید شما باقی می‌ماند.

با این حال، حتی در نسخه رایگان هم می‌توانید تجربه‌ای کامل از نحوه کار با Screaming Frog داشته باشید و بخش‌های مهم سایتتان را تست کنید.

🟢 ۴. تحلیل نتایج خزش

وقتی خزش سایت با Screaming Frog به پایان رسید، حالا نوبت به جذاب‌ترین بخش ماجرا می‌رسد: تحلیل نتایج. اینجا همان جایی است که داده‌های خام تبدیل به بینش‌های کاربردی می‌شوند و شما می‌توانید مشکلات فنی سایت را کشف کنید. اجازه بدهید یکی‌یکی بخش‌های کلیدی را بررسی کنیم.

🔹 بررسی وضعیت کدهای HTTP (۴۰۴، ۳۰۱، ۵۰۰ و …) با اسکریمینگ فراگ

یکی از اولین چیزهایی که باید بعد از خزش سایت نگاه کنید، Status Code یا همان کدهای پاسخ HTTP است. این کدها مشخص می‌کنند که صفحه شما برای کاربران و موتورهای جستجو چه وضعیتی دارد:

۲۰۰ (OK): صفحه بدون مشکل در دسترس است.

۳۰۱ (Redirect Permanent): صفحه به‌طور دائم به آدرس دیگری منتقل شده است.

۳۰۲ (Redirect Temporary): ریدایرکت موقت است و معمولاً برای سئو توصیه نمی‌شود.

۴۰۴ (Not Found): صفحه پیدا نمی‌شود (یکی از رایج‌ترین خطاهای سئو).

۵۰۰ (Server Error): مشکلی در سرور وجود دارد و صفحه بارگذاری نمی‌شود.

در تب Response Codes می‌توانید تمام این وضعیت‌ها را مشاهده کنید و خیلی سریع بفهمید کدام صفحات نیاز به اصلاح دارند.

🔹 شناسایی ریدایرکت‌ها و زنجیره ریدایرکت (Redirect Chains)
ریدایرکت‌ها همیشه در سئو موضوع حساسی هستند. اگر به‌درستی استفاده شوند، می‌توانند به حفظ ارزش لینک‌ها کمک کنند؛ اما اگر بیش از حد یا نادرست استفاده شوند، هم روی سرعت سایت و هم روی بودجه خزش (Crawl Budget) اثر منفی می‌گذارند.

Screaming Frog این قابلیت را دارد که نه‌تنها ریدایرکت‌های ساده (۳۰۱ یا ۳۰۲) را شناسایی کند، بلکه زنجیره ریدایرکت (Redirect Chain) را هم نشان دهد.
مثال:

این یعنی کاربر و موتور جستجو برای رسیدن به صفحه نهایی مجبورند چندین بار مسیر را تغییر دهند. بهترین کار این است که این زنجیره‌ها را کوتاه کنید و ریدایرکت مستقیم به صفحه مقصد بزنید.

🔹 پیدا کردن لینک‌های شکسته (Broken Links)
لینک‌های شکسته یکی از دردسرسازترین مشکلات در هر وب‌سایتی هستند. وقتی کاربر یا ربات گوگل روی لینکی کلیک می‌کند که به صفحه ۴۰۴ ختم می‌شود، هم تجربه کاربری آسیب می‌بیند و هم اعتبار سایت پایین می‌آید.

در Screaming Frog کافی است به تب Response Codes بروید، فیلتر را روی Client Error (4xx) بگذارید و تمام لینک‌های شکسته را مشاهده کنید. حتی در بخش Inlinks می‌توانید ببینید این لینک‌های خراب از کدام صفحات سایت شما لینک گرفته‌اند.

این یعنی نه‌تنها صفحه مشکل‌دار را شناسایی می‌کنید، بلکه دقیقاً می‌فهمید باید کجا بروید و لینک شکسته را اصلاح کنید.

✅ تا این مرحله شما با استفاده از Screaming Frog توانسته‌اید تصویری شفاف از سلامت سایت خود از نظر کدهای وضعیت، ریدایرکت‌ها و لینک‌های شکسته به‌دست بیاورید. این همان پایه‌ی اصلی سئو تکنیکال است که اگر به آن توجه نکنید، حتی بهترین محتوای دنیا هم نمی‌تواند جایگاه خوبی در گوگل بگیرد.

🟢 ۵. بهینه‌سازی عناصر سئو داخلی

بعد از بررسی وضعیت فنی سایت، حالا وقت آن است که به یکی از مهم‌ترین بخش‌های سئو داخلی (On-Page SEO) بپردازیم. این همان جایی است که جزئیات کوچک اما حیاتی مثل تایتل‌ها، توضیحات متا، هدینگ‌ها و تصاویر می‌توانند سرنوشت رتبه‌بندی شما در گوگل را تغییر دهند. خوشبختانه Screaming Frog ابزار فوق‌العاده‌ای برای شناسایی مشکلات این عناصر در کل سایت است.

🔹 بررسی و تحلیل تایتل‌ها (Page Titles)
تایتل یا عنوان صفحه یکی از قوی‌ترین سیگنال‌های رتبه‌بندی برای گوگل است. در Screaming Frog تب Page Titles دقیقاً برای این منظور طراحی شده است. در این بخش می‌توانید به‌راحتی موارد زیر را پیدا کنید:

صفحات بدون تایتل (Missing)

تایتل‌های تکراری (Duplicate)

تایتل‌های خیلی کوتاه یا خیلی بلند (Short / Long)

تایتل‌های بیش از حد مشابه (Near Duplicates)

نکته حرفه‌ای: بهترین طول عنوان معمولاً بین ۵۰ تا ۶۰ کاراکتر است. علاوه بر این، بهتر است در هر تایتل، کلمه کلیدی اصلی صفحه به‌طور طبیعی حضور داشته باشد.

🔹 توضیحات متا (Meta Description)
توضیحات متا مستقیماً در رتبه‌بندی گوگل تأثیر ندارد، اما یکی از کلیدی‌ترین عوامل برای افزایش نرخ کلیک (CTR) است. در تب Meta Description می‌توانید ببینید:

1. چه صفحاتی توضیحات متا ندارند.
2. کدام توضیحات تکراری هستند.
3. توضیحات خیلی کوتاه یا طولانی (بهترین طول ۱۵۰ تا ۱۶۰ کاراکتر).

اگر متوجه شدید صفحات زیادی فاقد متا دیسکریپشن هستند، همین یک کار ساده – یعنی نوشتن توضیحات جذاب و یونیک – می‌تواند ترافیک ارگانیک سایت شما را چندین برابر کند.

🔹 هدینگ‌ها (H1 تا H6)
هدینگ‌ها برای کاربران و موتورهای جستجو نقش ساختاری و معنایی دارند. به‌خصوص H1 که مثل عنوان اصلی صفحه عمل می‌کند. در Screaming Frog تب‌های H1 و H2 وجود دارند که به شما کمک می‌کنند مشکلات زیر را شناسایی کنید:

صفحات بدون H1 یا H2

وجود چند H1 در یک صفحه (اشتباه رایج و مضر)

هدینگ‌های تکراری یا بیش از حد مشابه

پیشنهاد من این است که هر صفحه یک H1 یونیک داشته باشد که شامل کلمه کلیدی اصلی باشد و سایر هدینگ‌ها (H2-H6) برای بخش‌بندی منطقی محتوا استفاده شوند.

🔹 تگ‌های Alt تصاویر (Image Alt Text)
یکی از مواردی که اغلب نادیده گرفته می‌شود، متن جایگزین تصاویر (Alt Text) است. این متن علاوه بر کمک به دسترس‌پذیری (Accessibility)، به گوگل کمک می‌کند محتوای تصویر را درک کند. در تب Images می‌توانید بررسی کنید:

کدام تصاویر بدون تگ Alt هستند.

Altهایی که خیلی طولانی یا خیلی کوتاه نوشته شده‌اند.

تصاویر با حجم بیش از حد بالا که ممکن است سرعت سایت را کاهش دهند.

بهترین حالت این است که متن Alt توصیفی باشد، کوتاه نوشته شود (کمتر از ۱۲۵ کاراکتر) و در صورت نیاز شامل کلمه کلیدی مرتبط باشد.

✅ با استفاده از گزارش‌های Screaming Frog در این بخش، شما می‌توانید مطمئن شوید که سایتتان از نظر عناصر سئو داخلی بهینه‌سازی شده و هیچ فرصت طلایی برای بهبود CTR و رتبه‌بندی از دست نرفته است.

🟢 ۶. ساختار URL و معماری سایت

یکی از پایه‌های اصلی سئو، داشتن یک ساختار URL و معماری سایت اصولی است. اگر صفحات شما به‌درستی سازماندهی نشده باشند، هم کاربران دچار سردرگمی می‌شوند و هم موتورهای جستجو برای ایندکس کردن محتوا به مشکل برمی‌خورند. Screaming Frog در این مرحله بهترین دوست شماست چون دقیقاً نشان می‌دهد ساختار سایت از نگاه یک ربات چطور دیده می‌شود.

🔹 شناسایی URLهای طولانی یا غیر بهینه
در تب URLs شما می‌توانید تمام آدرس‌های سایتتان را ببینید و به‌راحتی موارد زیر را شناسایی کنید:

URLهای خیلی طولانی (بیشتر از ۱۱۵ کاراکتر) که هم برای کاربر ناخوانا هستند و هم برای موتورهای جستجو سنگین.

وجود پارامترهای اضافی مثل ?id=123&session=abc که معمولاً باعث ایجاد Duplicate Content می‌شوند.

URLهای بدون کلمه کلیدی یا پر از کاراکترهای غیرضروری.

بهترین حالت این است که آدرس صفحات شما کوتاه، توصیفی و شامل کلمات کلیدی مرتبط باشد. مثلاً:

به‌مراتب بهتر از:

🔹 بررسی عمق صفحات (Crawl Depth)
یکی از گزارش‌های بسیار ارزشمند Screaming Frog، Crawl Depth یا عمق خزش است. این عدد نشان می‌دهد که یک صفحه با چند کلیک از صفحه اصلی (Homepage) قابل دسترسی است.

1. بهترین حالت این است که صفحات مهم (مثل صفحات دسته‌بندی، خدمات یا محصولات اصلی) نهایتاً در سطح ۲ یا ۳ کلیک از صفحه اصلی باشند.
2. اگر صفحه‌ای در عمق ۵ یا ۶ کلیک قرار داشته باشد، احتمال اینکه گوگل به‌طور منظم آن را ایندکس کند بسیار پایین می‌آید.

در قسمت Site Structure > Crawl Depth می‌توانید یک نقشه بصری از معماری سایت دریافت کنید و بفهمید آیا صفحات کلیدی شما در دسترس آسان هستند یا خیر.

🔹 تحلیل ساختار لینک‌سازی داخلی (Internal Linking) با Screaming Frog

لینک‌سازی داخلی ستون فقرات یک معماری سایت بهینه است. هرچه لینک‌های داخلی بهتر طراحی شوند:

• کاربران راحت‌تر در سایت حرکت می‌کنند.
• گوگل سریع‌تر ارتباط بین صفحات را درک می‌کند.
• اعتبار (Link Equity) در کل سایت بهتر توزیع می‌شود.

در Screaming Frog می‌توانید:

تعداد لینک‌های داخلی هر صفحه (Inlinks) و لینک‌های خروجی (Outlinks) را بررسی کنید.

صفحاتی که لینک داخلی کمی دارند یا اصلاً لینک نشده‌اند (Orphan Pages) را شناسایی کنید.

ببینید کدام صفحات بیشترین لینک داخلی را دریافت کرده‌اند (این‌ها همان صفحات قدرتمند شما هستند).

یک نکته حرفه‌ای: همیشه مطمئن شوید صفحات مهم سایت (مثل لندینگ‌پیج‌ها یا مقالات کلیدی) از چندین صفحه مختلف لینک داخلی دریافت کنند. این کار سیگنال اهمیت آن صفحات را به گوگل منتقل می‌کند.

🟢 ۷. نحوه پیدا کردن محتوای تکراری و مشکلات محتوایی با برنامه اسکریمینگ فراگ

یکی از چالش‌های بزرگ در سئو تکنیکال، محتوای تکراری (Duplicate Content) و صفحاتی است که ارزش محتوایی کمی دارند. اگر این مشکلات در سایت شما وجود داشته باشد، عملاً بخشی از بودجه خزش (Crawl Budget) هدر می‌رود و گوگل در تشخیص صفحات اصلی دچار مشکل می‌شود. Screaming Frog دقیقاً به شما کمک می‌کند این مشکلات را شناسایی و برطرف کنید.

🔹 تشخیص صفحات Duplicate Content
محتوای تکراری می‌تواند در شکل‌های مختلف ظاهر شود:

چندین صفحه با تایتل یا متا دیسکریپشن یکسان

محتوای متنی یکسان یا بسیار مشابه در چند صفحه

URLهای متفاوت که به یک محتوای مشابه اشاره می‌کنند (مثلاً با یا بدون اسلش / در انتها یا نسخه‌های دارای www و بدون آن)

در Screaming Frog شما می‌توانید در تب‌های Page Titles، Meta Description، H1 و حتی Content صفحات مشابه یا تکراری را فیلتر کنید. ابزار به‌وضوح نشان می‌دهد کدام صفحات نیاز به بازنویسی محتوا یا تجمیع (Merge) دارند.

🔹 تگ Canonical
یکی از بهترین راهکارها برای مدیریت محتوای تکراری، استفاده درست از تگ Canonical است. این تگ به گوگل می‌گوید که نسخه اصلی و معتبر یک محتوا کدام است.

در تب Canonicals می‌توانید بررسی کنید:

• کدام صفحات Canonical دارند و آیا به درستی تنظیم شده‌اند.
• آیا Canonical به خود صفحه (Self-Referencing) اشاره می‌کند یا به صفحه دیگری.
• وجود خطاهای رایج مثل Canonicalهای زنجیره‌ای یا اشاره به صفحات غیر موجود.

نکته حرفه‌ای: همیشه مطمئن شوید که Canonical به صفحه درست اشاره دارد و از استفاده بیش‌ازحد یا نادرست از آن پرهیز کنید.

🔹 بررسی صفحات Thin Content
یکی دیگر از مشکلات رایج، وجود صفحاتی است که محتوای بسیار کم یا بی‌ارزش دارند، معروف به Thin Content. این صفحات معمولاً یا خیلی کوتاه هستند (کمتر از ۳۰۰ کلمه) یا هیچ ارزش واقعی برای کاربر ندارند.

با استفاده از Screaming Frog می‌توانید طول محتوای هر صفحه را ببینید (از طریق Word Count در تب Content) و صفحاتی که محتوای خیلی کم دارند را شناسایی کنید. این صفحات سه راه‌حل کلی دارند:

1. تکمیل محتوا: اضافه کردن متن، تصاویر یا ویدئو برای افزایش ارزش صفحه.
2. تجمیع محتوا: ترکیب چند صفحه ضعیف در یک صفحه جامع‌تر.
3. حذف یا Noindex: اگر صفحه واقعاً ارزش سئویی ندارد، بهتر است آن را حذف کنید یا در ایندکس گوگل قرار ندهید.

🟢 ۸. سرعت و Core Web Vitals (در نسخه پولی + API)

در سال‌های اخیر، گوگل بارها تأکید کرده که سرعت سایت و تجربه کاربری (UX) نقش مهمی در رتبه‌بندی ایفا می‌کنند. به‌ویژه با معرفی Core Web Vitals، دیگر فقط داشتن محتوای خوب کافی نیست؛ صفحات شما باید سریع، روان و بدون تجربه کاربری آزاردهنده باشند. خوشبختانه Screaming Frog (نسخه پولی) این امکان را به شما می‌دهد که از طریق اتصال به Google PageSpeed Insights API، داده‌های دقیق Core Web Vitals را مستقیماً داخل نرم‌افزار مشاهده کنید.

🔹 اتصال به Google PageSpeed Insights
برای اینکه بتوانید داده‌های مربوط به سرعت و تجربه کاربری را وارد Screaming Frog کنید، کافی است مراحل زیر را طی کنید:

• به Configuration > API Access > PageSpeed Insights بروید.
• با استفاده از یک API Key از Google Cloud، اتصال را فعال کنید.
• انتخاب کنید که می‌خواهید داده‌ها برای دسکتاپ، موبایل یا هر دو جمع‌آوری شود.

از این لحظه به بعد، هر زمان سایتی را Crawl کنید، Screaming Frog علاوه بر اطلاعات سئو تکنیکال، داده‌های Core Web Vitals آن را هم نمایش می‌دهد. البته من در مقاله چگونه با Core Web Vitals رتبه بهتری در گوگل بگیریم؟ به این که Core Web Vitals چیست و اینکه چطور به وسیله آن رتبه بهتری در گوگل بگیریم پرداخته ام که خواندن آن خالی از لطف نیست.

🔹 بررسی مشکلات مربوط به سرعت و عملکرد سایت
پس از اتصال به PageSpeed Insights، شما می‌توانید گزارش‌های کلیدی زیر را در Screaming Frog مشاهده کنید:

1. Largest Contentful Paint (LCP): مدت‌زمان بارگذاری بزرگ‌ترین بخش قابل مشاهده در صفحه. (باید کمتر از ۲.۵ ثانیه باشد)
2. First Input Delay (FID): میزان تأخیر در اولین تعامل کاربر با صفحه. (باید کمتر از ۱۰۰ میلی‌ثانیه باشد)
3. Cumulative Layout Shift (CLS): پایداری بصری صفحه (مثلاً پرش المان‌ها در حین بارگذاری). (باید کمتر از ۰.۱ باشد)
4. Total Blocking Time (TBT): مدت‌زمانی که اسکریپت‌ها مانع تعامل کاربر می‌شوند.

علاوه بر این، Screaming Frog لیستی از مشکلات رایج سرعت سایت مثل تصاویر سنگین، فایل‌های CSS/JS بلاک‌کننده، استفاده نکردن از کش مرورگر، و نبود فشرده‌سازی Gzip را هم نشان می‌دهد.

✅ مزیت اصلی این قابلیت این است که شما دیگر مجبور نیستید هر صفحه را جداگانه در PageSpeed Insights بررسی کنید. Screaming Frog به‌صورت خودکار داده‌های صدها یا هزاران صفحه را جمع‌آوری و در یک گزارش کامل به شما تحویل می‌دهد.

به این ترتیب، می‌توانید به‌جای حدس زدن، دقیقاً بدانید کدام صفحات سایت باعث کندی تجربه کاربری می‌شوند و چه اقداماتی باید برای بهبود سرعت انجام دهید.

🟢 ۹. خروجی گرفتن از داده‌ها در اسکریمینگ فراگ

وقتی خزش سایت به پایان رسید و شما تمام داده‌های ارزشمند را در Screaming Frog مشاهده کردید، مرحله مهم بعدی فرا می‌رسد: خروجی گرفتن از داده‌ها. واقعیت این است که بیشتر مدیران سایت، کارفرماها یا حتی اعضای تیم سئو وقت یا دانش کافی برای کار مستقیم با نرم‌افزار را ندارند. بنابراین این شما هستید که باید داده‌ها را به شکل قابل فهم و کاربردی ارائه دهید.

🔹 ذخیره گزارش‌ها در فرمت Excel یا CSV
Screaming Frog این امکان را می‌دهد که تقریباً از هر بخشی گزارش خروجی بگیرید. برای این کار کافی است به منوی Export در بالای نرم‌افزار مراجعه کنید.

فرمت‌های اصلی خروجی:

CSV → برای کار سریع و پردازش با ابزارهای مختلف

XLSX (Excel) → برای تحلیل‌های جزئی‌تر و ارائه به تیم یا کارفرما

مثال: اگر می‌خواهید فقط لیست صفحات دارای خطای ۴۰۴ را ذخیره کنید، کافی است وارد تب Response Codes شوید، فیلتر را روی Client Error (4xx) بگذارید و خروجی بگیرید.

🔹 استفاده از فیلترها برای گزارش‌های اختصاصی
قدرت اصلی Screaming Frog در همین قابلیت فیلتر کردن داده‌هاست. شما می‌توانید قبل از خروجی گرفتن، دقیقاً مشخص کنید چه داده‌ای نیاز دارید.

نمونه‌های پرکاربرد:

• گزارش سئو داخلی: تایتل‌ها و متا دیسکریپشن‌های خالی یا تکراری
• گزارش لینک‌ها: لینک‌های شکسته و زنجیره ریدایرکت‌ها
• گزارش محتوا: صفحاتی با محتوای کم (Thin Content) یا محتوای تکراری (Duplicate)
• گزارش تصاویر: فایل‌های سنگین یا تصاویر بدون تگ Alt

این فیلترها کمک می‌کنند گزارش‌های شما هدفمند باشند و فقط مشکلاتی که باید برطرف شوند در اختیار تیم قرار بگیرد.

🔹 نحوه ارائه گزارش به کارفرما/تیم سئو
یک نکته کلیدی در خدمات سئو این است که فقط داده‌ها را ارائه نکنید؛ بلکه آن‌ها را به بینش (Insight) و راهکار تبدیل کنید. کارفرما یا تیم انتظار دارند بدانند:

1. مشکل چیست؟
2. این مشکل چه اثری روی سئو سایت دارد؟
3. راه‌حل پیشنهادی شما چیست؟

پیشنهاد من این است که بعد از خروجی گرفتن، داده‌ها را در یک فایل Excel یا Google Sheets دسته‌بندی کنید و ستون‌های زیر را اضافه کنید:

1. نوع مشکل (مثلاً لینک شکسته، متا تکراری، سرعت پایین)

2. صفحات آسیب‌دیده

3. اولویت رفع مشکل (High / Medium / Low)

4. راهکار پیشنهادی

این مدل گزارش باعث می‌شود حتی کسانی که متخصص سئو نیستند، به‌راحتی متوجه اهمیت مشکلات و اقدامات بعدی شوند.

🟢 ۱۰. نکات حرفه‌ای و کاربردهای پیشرفته

تا اینجا شما با مبانی و استفاده عملی Screaming Frog آشنا شدید و توانستید خزش سایت، تحلیل وضعیت صفحات و بهینه‌سازی عناصر سئو داخلی را انجام دهید. حالا وقت آن است که وارد سطح حرفه‌ای‌تر شویم و قابلیت‌های پیشرفته این ابزار را بررسی کنیم. این بخش مخصوص کسانی است که می‌خواهند از Screaming Frog به‌عنوان یک ابزار حرفه‌ای سئو تکنیکال استفاده کنند.

🔹 اتصال Screaming Frog به Google Analytics و Search Console
یکی از قابلیت‌های حرفه‌ای Screaming Frog، اتصال به سرویس‌های گوگل است:

1. Google Analytics (GA):
   با اتصال GA می‌توانید داده‌هایی مثل تعداد بازدید، نرخ پرش (Bounce Rate) و مدت زمان حضور کاربران روی هر صفحه را مستقیماً داخل نرم‌افزار ببینید. این اطلاعات کمک می‌کند صفحاتی که از نظر فنی خوب هستند اما عملکرد ضعیفی دارند را شناسایی کنید.
2. Google Search Console (GSC):
   اتصال GSC به شما اجازه می‌دهد صفحات سایت و کلمات کلیدی‌ای که در نتایج جستجو عملکرد دارند را تحلیل کنید. به‌طور مثال می‌توانید ببینید یک صفحه دارای رتبه بالاست اما CTR پایینی دارد و نیاز به بهینه‌سازی متا دیسکریپشن دارد.

این دو اتصال باعث می‌شوند تحلیل شما فقط بر اساس داده‌های فنی نباشد، بلکه تصویر واقعی عملکرد صفحات در نتایج گوگل هم دیده شود.

🔹 بررسی داده‌های ساختاریافته (Structured Data)
Structured Data یا داده‌های ساختاریافته به گوگل کمک می‌کنند محتوای صفحات شما را بهتر درک کند و حتی Rich Snippet ایجاد شود. در Screaming Frog می‌توانید:

بررسی کنید چه صفحات دارای Structured Data هستند.

خطاهای رایج Schema مثل Missing Required Properties یا Invalid Types را پیدا کنید.

صفحات بدون Structured Data را شناسایی کرده و برای اضافه کردن آن برنامه‌ریزی کنید.

استفاده صحیح از Structured Data باعث افزایش نمایش جذاب صفحات در نتایج جستجو و افزایش CTR می‌شود.

🔹 تحلیل ربات‌ها (robots.txt، meta robots، noindex)
کنترل ربات‌های گوگل و دسترسی آن‌ها به صفحات سایت، بخش حیاتی سئو تکنیکال است. Screaming Frog این امکان را می‌دهد که:

• بررسی کنید کدام صفحات با robots.txt مسدود شده‌اند.
• صفحات دارای meta robots: noindex را شناسایی کنید.
• اطمینان حاصل کنید صفحات مهم به اشتباه از ایندکس گوگل حذف نشده‌اند.

تحلیل این موارد به شما کمک می‌کند تا بودجه خزش سایت (Crawl Budget) بهینه شود و ربات‌ها به صفحات مهم دسترسی داشته باشند.

✅ با استفاده از این نکات حرفه‌ای و قابلیت‌های پیشرفته، Screaming Frog دیگر فقط یک ابزار خزش نیست؛ بلکه یک سیستم کامل تحلیل و بهینه‌سازی سئو تکنیکال محسوب می‌شود. شما می‌توانید داده‌های فنی، تجربه کاربری و اطلاعات عملکردی سایت را یکپارچه تحلیل کنید و راهکارهای هدفمند برای افزایش رتبه و بهبود عملکرد ارائه دهید.

🟢 ۱۱. جمع‌بندی

حالا که با تمام مراحل کار با Screaming Frog آشنا شدید، وقت آن است که همه چیز را جمع‌بندی کنیم و یک تصویر کلی از کاربردها و مزایای این ابزار در سئو ارائه دهیم.

🔹 مزایا و کاربردهای اصلی Screaming Frog در سئو
Screaming Frog یک ابزار همه‌کاره برای تحلیل سایت است که می‌تواند:

• وضعیت فنی سایت را بررسی کند (کدهای HTTP، ریدایرکت‌ها و لینک‌های شکسته).
• عناصر مهم سئو داخلی مثل تایتل‌ها، متا دیسکریپشن‌ها، هدینگ‌ها و تگ‌های Alt تصاویر را تحلیل کند.
• ساختار URL و لینک‌سازی داخلی را بهینه کند و مشکلات معماری سایت را شناسایی نماید.
• محتوای تکراری و صفحات کم‌ارزش (Thin Content) را پیدا کرده و با استفاده از تگ Canonical آن‌ها را مدیریت کند.
• در نسخه پولی با اتصال به Google Analytics و Search Console، داده‌های عملکردی صفحات را تحلیل کند و حتی Core Web Vitals و مشکلات سرعت را بررسی نماید.
• Structured Data و دسترسی ربات‌ها را تحلیل کرده و اطمینان حاصل کند که صفحات مهم برای گوگل قابل خزش و ایندکس هستند.

به زبان ساده، Screaming Frog به شما کمک می‌کند سایتتان را از صفر تا صد از نظر فنی و سئو داخلی بررسی و بهینه کنید.

🔹 بهترین سناریوهای استفاده

• وب‌سایت‌های کوچک: برای شناسایی سریع لینک‌های شکسته، متاتگ‌های ناقص و صفحات کم‌ارزش.
• وب‌سایت‌های بزرگ و فروشگاه‌های آنلاین: برای مدیریت معماری سایت، بررسی زنجیره ریدایرکت‌ها، Crawl Depth و بودجه خزش.
• تحلیل رقبا: می‌توانید سایت رقبا را Crawl کرده و فرصت‌های سئو را شناسایی کنید.
• گزارش‌دهی حرفه‌ای به کارفرما: با خروجی‌های Excel/CSV و فیلترهای اختصاصی، داده‌ها را به شکل قابل فهم ارائه دهید.

🔹 نکات پایانی برای یادگیری بیشتر

1. تمرین مداوم: بهترین راه برای تسلط روی Screaming Frog، اجرای Crawlهای متعدد روی سایت خود یا سایت‌های تست است.
2. ترکیب با سایر ابزارها: استفاده همزمان از Google Analytics، Search Console و PageSpeed Insights دید کاملی از عملکرد سایت به شما می‌دهد.
3. به‌روزرسانی‌ها را دنبال کنید: Screaming Frog هر سال امکانات جدیدی اضافه می‌کند؛ با نسخه جدید کار کردن همیشه مزیت دارد.
4. تحلیل داده‌ها، نه فقط جمع‌آوری آن‌ها: داده‌های خزش ارزشمند هستند وقتی بتوانید از آن‌ها بینش عملی استخراج کنید.

✅ کلام نهایی این است که Screaming Frog یک ابزار ضروری برای هر متخصص سئو حرفه‌ای است. از خزش اولیه صفحات گرفته تا تحلیل عمیق ساختار سایت، سئو داخلی و عملکرد صفحات، همه چیز در یک ابزار در دسترس شماست. با یادگیری اصول و نکات حرفه‌ای که در این مقاله ارائه شد، شما آماده هستید تا سایت خود یا مشتریانتان را به صورت کامل و حرفه‌ای بهینه‌سازی کنید.