چطور با اسکریمینگ فراگ Screaming frog سایت را کرال کنیم؟

اگر وارد دنیای سئو شده‌اید، احتمالاً اسم Screaming Frog را زیاد شنیده‌اید. این ابزار محبوب مثل یک عنکبوت کوچک است که سایت شما را با دقت می‌خزد (crawl می‌کند) و اطلاعات ارزشمندی از وضعیت فنی آن جمع‌آوری می‌کند؛ از خطاهای ۴۰۴ گرفته تا متا تگ‌های ناقص و ریدایرکت‌های زنجیره‌ای.
خبر خوب این است که استفاده از Screaming Frog اصلاً سخت نیست و حتی اگر برای اولین بار سراغش می‌روید، خیلی سریع می‌توانید با آن کار کنید. در این راهنما، قدم‌به‌قدم به شما نشان می‌دهم چطور اولین کرال سایت‌تان را با این ابزار راه‌اندازی کنید تا خیلی زود به یک سئوکار حرفه‌ای تبدیل شوید. 😎

🚀 شروع اولین کرال با Screaming Frog

وقتی برنامه را نصب کردید و آماده شدید، وقتشه اولین کرال خودتان را انجام بدهید. این مرحله خیلی ساده‌تر از چیزی است که تصور می‌کنید و تنها با چند کلیک می‌توانید نتایج فوق‌العاده‌ای بگیرید.

در بالای نرم‌افزار، یک کادر مشخص وجود دارد که باید آدرس وب‌سایت‌تان را در آن وارد کنید.
مثلاً: https://example.com
توصیه می‌کنم آدرس را کامل و با https وارد کنید تا همه صفحات به درستی شناسایی شوند. بعد از وارد کردن URL، آماده رفتن به مرحله بعد هستید.

⚙️ تنظیم حالت Crawl Mode

Screaming Frog چند حالت مختلف برای کرال دارد.
برای شروع کار، روی حالت “Spider” بمانید (که حالت پیش‌فرض است).
این حالت باعث می‌شود ابزار مثل یک موتور جستجو عمل کند و صفحات سایت را لینک به لینک بررسی کند.
بعدها می‌توانید حالت‌های دیگر را هم امتحان کنید، اما برای اولین تجربه، Spider بهترین گزینه است.

🌐 انتخاب نوع کرال (وب‌سایت، فایل XML، لیست URLها و…)

بسته به نیازتان می‌توانید یکی از حالت‌های زیر را انتخاب کنید:

• Website: مناسب برای کرال کل سایت (پیشنهاد برای اولین بار ✅)
• XML Sitemap: وقتی می‌خواهید فقط نقشه سایت را بررسی کنید.
• List Mode: اگر فقط یک سری URL مشخص دارید.

برای شروع، همان حالت Website عالی است. فقط مطمئن شوید سایت موردنظرتان دسترسی عمومی دارد و جلوی کرال بسته نشده است.

▶️ فشردن Start و مشاهده روند کرال

حالا وقتشه روی دکمه Start کلیک کنید 🎯
در همین لحظه Screaming Frog شروع به خزیدن صفحات سایت شما می‌کند و اطلاعات را در جدول‌های مختلف نمایش می‌دهد.
اگر سایت بزرگ باشد، ممکن است چند دقیقه طول بکشد؛ اما برای سایت‌های کوچک، نتایج خیلی سریع آماده می‌شود.
می‌توانید هم‌زمان با کرال، به تب‌های مختلف سر بزنید و وضعیت صفحات را ببینید.

🧩 تحلیل نتایج کرال سایت با Screaming Frog

بعد از اینکه اولین کرال را انجام دادید، وقت آن است که داده‌های جمع‌آوری‌شده را بررسی کنید. Screaming Frog اطلاعات را در تب‌های مختلف نمایش می‌دهد و هر تب بخش خاصی از وضعیت فنی سایت شما را نشان می‌دهد. در ادامه مهم‌ترین تب‌ها را با هم مرور می‌کنیم 👇

🔍 تب Internal (صفحات داخلی سایت)

تب Internal همان جایی است که تمام صفحات داخلی سایت شما — یعنی هر چیزی که زیر همان دامنه اصلی قرار دارد — فهرست می‌شود. وقتی سایتت را کرال می‌کنی، Screaming Frog از صفحه اصلی شروع می‌کند و به تمام لینک‌هایی که درون سایتت هست سر می‌زند. در این تب می‌توانی ببینی دقیقاً چه صفحاتی پیدا شده‌اند، هرکدام چه نوع محتوایی دارند و در چه وضعیتی‌اند.

در ستون Status Code مشخص می‌شود هر صفحه با چه پاسخی از سرور روبه‌رو شده است؛ مثلاً اگر 200 باشد یعنی صفحه سالم است، ولی اگر 404 باشد یعنی لینک شکسته‌ست. ستون Content Type هم نوع فایل را مشخص می‌کند (مثلاً text/html یا image/png) تا بفهمی دقیقاً چه چیزی کرال شده.

حالا بخش جذابش: ستون Inlinks و Outlinks.
در “Inlinks” می‌فهمی چند لینک داخلی به این صفحه اشاره دارند — اگر صفر باشد یعنی صفحه‌ای داری که هیچ‌جا به آن لینک نداده‌ای (Orphan Page). این صفحات معمولاً در گوگل هم دیده نمی‌شوند، پس حتماً بررسی‌شان کن. در “Outlinks” هم می‌بینی از هر صفحه به چند صفحه دیگر لینک داده‌ای.

🔧 ترفند عملی:
از بالای تب، روی فیلتر «HTML» کلیک کن تا فقط صفحات واقعی (نه فایل‌ها و عکس‌ها) را ببینی. بعد از منوی “Bulk Export” گزینه “All Inlinks” را بزن تا همه لینک‌های داخلی سایتت را در یک فایل Excel بگیری. با این فایل می‌توانی ساختار لینک‌دهی داخلی‌ات را تحلیل کنی، صفحات کم‌اهمیت را حذف کنی و لینک بیشتری به صفحات کلیدی بدهی.

در واقع، تب Internal بهت نقشه‌ی زنده‌ای از ساختار واقعی سایت می‌دهد — مثل این است که همه اتاق‌های خانه‌ات را ببینی و بفهمی از کجا به کجا راه دارد.

🌐 تب External (لینک‌های خارجی)

در تب External، Screaming Frog تمام لینک‌هایی را که از سایتت به بیرون داده‌ای (یعنی به سایت‌های دیگر) فهرست می‌کند. این لینک‌ها ممکن است در مقالات، فوتر، منو یا حتی در تصاویر قرار گرفته باشند. وجود لینک‌های خارجی برای اعتبار محتوای سایت مفید است، ولی باید مراقب باشی مقصدشان معتبر و در دسترس باشد.

در ستون Status Code می‌توانی ببینی وضعیت هر لینک چطور است. اگر مثلاً لینکی به سایتی می‌رود که دیگر وجود ندارد (کد 404)، بهتر است آن را اصلاح یا حذف کنی چون تجربه کاربری را خراب می‌کند. ستون Follow هم بهت می‌گوید لینک Dofollow است یا Nofollow — که در سئو اهمیت دارد چون فقط لینک‌های Dofollow «اعتبار» منتقل می‌کنند.

📊 مثال عملی:
فرض کن مقاله‌ای داری درباره‌ی «آموزش سئو» و داخلش به منابع مختلف لینک داده‌ای. بعد از کرال، در تب External متوجه می‌شوی دو لینک منبع، خطای 404 می‌دهند. اینجا باید وارد محتوای مقاله شوی و یا لینک را اصلاح کنی یا منبع جایگزین پیدا کنی.

🧠 ترفند کاربردی:
از منوی بالا گزینه‌ی “Bulk Export → External Links” را انتخاب کن تا تمام لینک‌های خارجی را در یک فایل خروجی بگیری. بعد در Excel با فیلتر کردن Status Code = 404 یا 5xx، همه لینک‌های خراب را به‌راحتی پیدا می‌کنی.

⚠️ تب Response Codes (کدهای وضعیت صفحات)

تب Response Codes مثل مرکز کنترل سلامت سایت است. هر صفحه‌ای که کرال می‌شود، سرور یک «کد پاسخ» به Screaming Frog برمی‌گرداند و این تب همه‌ی آن‌ها را نمایش می‌دهد.

مثلاً:

• 200: همه‌چیز عالی است! صفحه درست بارگذاری شده.
• 301 / 302: صفحه به جای دیگری ریدایرکت شده.
• 404: صفحه پیدا نشد.
• 500: خطای سرور.

در نگاه اول شاید فقط عدد ببینی، اما این تب پر از فرصت برای بهبود سئوست. مثلاً می‌توانی تمام ریدایرکت‌ها را پیدا کنی و زنجیره‌های طولانی (Redirect Chain) را حذف کنی تا سرعت سایت بهتر شود. یا صفحات 404 را اصلاح کنی تا کاربران به صفحه خطا نخورند.

⚙️ کار عملی:
در فیلتر بالای تب، روی “Client Error (4xx)” کلیک کن تا فقط صفحات 404 را ببینی. حالا روی یکی از آن‌ها کلیک کن و در پنل پایین (پایین صفحه) روی تب “Inlinks” برو. اینجا دقیقاً می‌فهمی از کجا به این لینک شکسته اشاره شده! بعد می‌توانی همان لینک‌ها را در سایتت ویرایش کنی.

همچنین، با انتخاب فیلتر “Redirection (3xx)” می‌توانی زنجیره‌های ریدایرکت را پیدا کنی. اگر چند ریدایرکت پشت‌سر‌هم داری، بهتر است مستقیم‌ترین مسیر را بسازی (مثلاً از A→B→C به A→C).

🏷️ تب Page Titles (عنوان صفحات)

تب Page Titles یکی از جذاب‌ترین و مفیدترین بخش‌های Screaming Frog است؛ مخصوصاً اگر بخواهی سئوی درون‌صفحه سایتت را جدی دنبال کنی. در این تب، تمام تگ‌های عنوان (Title Tag) صفحات سایت نمایش داده می‌شود. عنوان صفحه همان متنی است که در تب مرورگر و نتایج گوگل می‌بینی — و یکی از مهم‌ترین فاکتورهای رتبه‌بندی در سئو است.

هر ردیف در این تب نشان‌دهنده‌ی یک صفحه است و چند ستون مهم دارد:

• Title 1: متن عنوان فعلی صفحه

• Length: طول عنوان بر اساس کاراکتر

• Pixel Width: طول بصری عنوان (بر اساس پیکسل، برای نمایش در نتایج گوگل)

• Status Code / Indexability: وضعیت صفحه

• Duplicate / Missing / Over 60 Characters: فیلترهایی برای بررسی کیفیت تایتل‌ها

👨‍💻 چطور از این تب استفاده کنیم؟
بعد از کرال کامل سایت، وارد تب Page Titles شو و از منوی بالای صفحه روی فیلتر «Missing» کلیک کن. این فیلتر صفحاتی را نشان می‌دهد که اصلاً تایتل ندارند. این صفحات باید در اولویت باشند چون بدون عنوان، هم در گوگل عملکرد ضعیفی دارند و هم نرخ کلیک (CTR) پایینی.

سپس برو روی فیلتر Duplicate تا صفحاتی که عنوان تکراری دارند را ببینی. این مورد معمولاً در فروشگاه‌های اینترنتی زیاد اتفاق می‌افتد؛ مثلاً چند صفحه برای یک محصول مشابه با عنوان “خرید کفش مردانه” ایجاد شده. در این حالت، باید عنوان‌ها را شخصی‌سازی کنی تا هر صفحه هدف خاصی داشته باشد.

📊 ترفند حرفه‌ای:
از منوی “Bulk Export → Page Titles → All” استفاده کن تا همه تایتل‌ها را در فایل اکسل بگیری. سپس با فیلترکردن ستون Length، صفحاتی را پیدا کن که طول عنوان کمتر از ۳۰ یا بیشتر از ۶۵ کاراکتر است.
بهترین طول برای نمایش در نتایج گوگل حدود ۵۰ تا ۶۰ کاراکتر (۵۰۰ تا ۶۰۰ پیکسل) است.

🧠 نکته‌ی مهم سئویی:
حتماً سعی کن در ابتدای عنوان از کلمه کلیدی اصلی استفاده کنی، برند خودت را در انتها اضافه کنی، و عنوان را طوری بنویسی که کاربر حس کند جواب نیازش در همان صفحه است.

مثلاً:
❌ بد: “صفحه اصلی – شرکت ما”
✅ خوب: “طراحی سایت حرفه‌ای با قیمت مناسب | شرکت وب‌پلاس”

اگر از Screaming Frog درست استفاده کنی، تب Page Titles بهت کمک می‌کند تا در چند ساعت همه‌ی عنوان‌های سایت را تحلیل و بهینه‌سازی کنی — کاری که معمولاً روزها طول می‌کشد!

✏️ تب Meta Description (توضیحات متا)

تب Meta Description دقیقاً به اندازه‌ی Page Titles مهم است. اینجا Screaming Frog تمام توضیحات متای صفحات را جمع‌آوری می‌کند تا بتوانی بررسی کنی که آیا نوشته شده‌اند، چقدر طول دارند، و آیا تکراری یا بی‌کیفیت هستند یا نه.

توضیحات متا همان متن کوتاهی است که زیر عنوان هر نتیجه در گوگل نمایش داده می‌شود. گوگل همیشه از این متن استفاده نمی‌کند، ولی اگر خوب نوشته شود، می‌تواند نرخ کلیک را چند برابر کند.

🔎 ستون‌های کلیدی در این تب:

• Meta Description 1: متن توضیح متا
• Length / Pixel Width: طول توضیح بر اساس کاراکتر یا پیکسل
• Duplicate / Missing / Over 155 Characters: وضعیت کیفیت
• Indexability: اینکه صفحه قابل ایندکس است یا نه

👨‍🏫 چطور بررسی و اصلاح کنیم؟
ابتدا فیلتر را روی Missing بگذار تا صفحاتی که توضیح متا ندارند پیدا شوند. این صفحات را باید با توضیحات جذاب، کوتاه و شامل کلمه کلیدی پر کنی. مثلاً:

“آموزش کامل Screaming Frog به زبان ساده | یاد بگیرید چطور سایت‌تان را مثل یک حرفه‌ای کرال کنید.”

بعد فیلتر را روی Duplicate بگذار تا توضیحات تکراری را پیدا کنی. این مورد معمولاً در سایت‌هایی با صفحات مشابه زیاد دیده می‌شود (مثلاً صفحات دسته‌بندی یا تگ‌ها). توضیح تکراری باعث می‌شود گوگل نتواند تشخیص دهد کدام صفحه برای کلمه کلیدی خاص مهم‌تر است.

✍️ ترفند عملی:
از گزینه “Export → Meta Description → All” استفاده کن تا کل داده‌ها را در اکسل داشته باشی. سپس با فیلتر کردن ستون Length، صفحاتی را با توضیحات خیلی کوتاه (زیر ۸۰ کاراکتر) یا خیلی بلند (بیش از ۱۵۵ کاراکتر) پیدا کن.
طول ایده‌آل توضیحات متا معمولاً ۱۲۰ تا ۱۵۵ کاراکتر است.

💡 نکته حرفه‌ای سئو:

• سعی کن در توضیح متا از Call To Action استفاده کنی (مثل “بیشتر بدانید”، “همین حالا یاد بگیرید”، “دانلود رایگان”).
• از کلمه کلیدی اصلی استفاده کن، ولی زیاده‌روی نکن.
• توصیف را طوری بنویس که حس کنجکاوی کاربر را تحریک کند.

مثلاً:
❌ بد: “آموزش Screaming Frog برای سئو سایت”
✅ خوب: “یاد بگیرید چطور با Screaming Frog سایت‌تان را کرال کنید و خطاهای سئو را در چند دقیقه پیدا کنید!”

❌ شناسایی خطاهای 404 در Screaming Frog

خطای 404 یعنی صفحه‌ای که وجود ندارد یا حذف شده، ولی هنوز در سایت به آن لینک داده‌ای. این یکی از شایع‌ترین مشکلات فنی در سئو است و اگر درست مدیریت نشود، هم روی تجربه کاربر تأثیر منفی می‌گذارد، هم اعتبار صفحات سایت را کاهش می‌دهد. خوشبختانه Screaming Frog یکی از بهترین ابزارها برای شناسایی دقیق خطاهای 404 است.

اول از همه، سایتت را به‌طور کامل کرال کن. وقتی کرال تمام شد، به تب Response Codes برو. در بالای جدول، یک منوی کشویی وجود دارد با عنوان “Filter”. از آنجا گزینه Client Error (4xx) را انتخاب کن. حالا همه صفحات و لینک‌هایی که خطای 404 می‌دهند در لیست ظاهر می‌شوند.

در ستون Address می‌بینی کدام URLها خطا دارند، و در ستون Status Code عدد 404 را مشاهده می‌کنی. برای اینکه بفهمی از کجا به این لینک‌ها اشاره شده، روی هر ردیف دوبار کلیک کن یا آن را انتخاب کن و در پایین پنجره به تب Inlinks برو. این بخش دقیقاً نشان می‌دهد که چه صفحاتی از سایتت به آن لینک داده‌اند.

مثلاً فرض کن در وبلاگت لینکی به مقاله‌ی «آموزش گوگل آنالیتیکس» داری، اما آن مقاله مدتی پیش حذف شده است. در تب Inlinks می‌بینی که سه مقاله دیگر هنوز به آن صفحه اشاره دارند. حالا به‌راحتی می‌توانی وارد آن صفحات شوی و لینک‌ها را حذف یا به نسخه‌ی جدید مقاله هدایت کنی.

💡 ترفند حرفه‌ای:
از منوی بالا به مسیر Reports → Client Error (4xx) برو. با این کار، Screaming Frog گزارشی کامل از تمام خطاهای 404 به همراه منبع آن‌ها برایت خروجی می‌گیرد. فایل CSV را در Excel باز کن، ستون Source را فیلتر کن تا ببینی کدام صفحات بیشتر دچار لینک شکسته‌اند.

✅ نکات مهم برای اصلاح:

1. اگر صفحه حذف شده است اما جایگزین مشابه دارد، بهتر است ریدایرکت 301 بسازی تا کاربران به نسخه‌ی جدید منتقل شوند.
2. اگر صفحه عمداً حذف شده و دیگر لازم نیست، تمام لینک‌های داخلی که به آن اشاره دارند را حذف کن.
3. اگر لینک‌های 404 زیادی در سایت داری، کرال را دوباره اجرا کن تا مطمئن شوی همه اصلاح شده‌اند.

در نهایت، حذف لینک‌های شکسته فقط برای گوگل نیست — کاربران وقتی روی لینکی کلیک می‌کنند و به صفحه 404 می‌رسند، حس بدی پیدا می‌کنند و احتمال بازگشتشان کمتر می‌شود. با Screaming Frog می‌توانی خیلی سریع این مشکل را پیدا و رفع کنی تا تجربه کاربری و اعتبار سایتت حفظ شود.

🔁 شناسایی ریدایرکت‌های زنجیره‌ای (Redirect Chains) با اسکریمینگ فراگ

ریدایرکت‌ها ابزار مفیدی‌اند، مخصوصاً وقتی URL صفحات تغییر می‌کند. اما وقتی چند ریدایرکت پشت سر هم اتفاق می‌افتد، به آن می‌گویند Redirect Chain — مثلاً وقتی صفحه A به B ریدایرکت می‌شود، بعد B به C. این زنجیره‌ها سرعت سایت را کاهش می‌دهند و ممکن است بخشی از اعتبار سئو را از بین ببرند.

برای پیدا کردنشان در Screaming Frog، بعد از کرال کامل سایت، دوباره به تب Response Codes برو و فیلتر “Redirection (3xx)” را انتخاب کن. در اینجا تمام URLهایی که ریدایرکت دارند نمایش داده می‌شوند. ستون Status Code معمولاً عدد 301 یا 302 را نشان می‌دهد.

حالا برای دیدن زنجیره‌ها، از منوی بالا مسیر زیر را دنبال کن:
Reports → Redirect Chains
وقتی این گزینه را انتخاب می‌کنی، Screaming Frog یک فایل CSV برایت می‌سازد که تمام مسیرهای ریدایرکت را به‌صورت دقیق نشان می‌دهد.

در این فایل سه ستون اصلی وجود دارد:

• Redirect Chain Start: آدرس صفحه اولیه
• Redirect Chain End: مقصد نهایی
• Number of Redirects: تعداد مراحل بین شروع و پایان

مثلاً ممکن است ببینی:

در این حالت، بهتر است ریدایرکت مستقیم از صفحه اول به آخر تنظیم کنی (A → C) تا زنجیره حذف شود.

💡 ترفند کاربردی:
اگر سایت بزرگی داری، این گزارش را در Excel باز کن و ستون “Number of Redirects” را از بزرگ به کوچک مرتب کن. هر ردیفی که عددش بیش از ۱ است یعنی زنجیره‌ای وجود دارد که باید اصلاح شود.

✅ اصلاح عملی:

• در CMS یا فایل htaccess مسیر ریدایرکت را کوتاه کن.
• مطمئن شو هیچ صفحه‌ای به URL موقت (میانی) لینک نداده است.
• کرال جدید بگیر تا مطمئن شوی زنجیره‌ها حذف شده‌اند.

ریدایرکت زنجیره‌ای مثل مسیر پر پیچ‌وخم برای کاربر است. با حذف آن‌ها، مسیر مستقیم‌تر، سرعت بهتر، و انتقال کامل اعتبار لینک‌ها را تضمین می‌کنی.

🏷️ شناسایی صفحات بدون تگ عنوان با اسکریمینگ فراگ

تگ عنوان (Title Tag) مثل تابلوی ورودی هر صفحه است — هم برای کاربر و هم برای موتور جستجو. اگر صفحه‌ای بدون تایتل باشد، گوگل نمی‌تواند موضوع آن را درست درک کند و احتمال رتبه‌گرفتنش به‌شدت پایین می‌آید.

برای پیدا کردن این صفحات، در Screaming Frog به تب Page Titles برو. در بالای جدول، از منوی فیلتر گزینه Missing را انتخاب کن. حالا تمام صفحاتی که فاقد عنوان هستند در لیست ظاهر می‌شوند. در ستون Address URL صفحه را می‌بینی و در ستون Status Code وضعیت آن (مثلاً 200).

برای بررسی دقیق‌تر، می‌توانی یکی از URLها را انتخاب و در پایین صفحه، تب Inlinks را باز کنی تا ببینی از کدام صفحات سایت به آن لینک داده شده. این کار بهت کمک می‌کند بفهمی آیا آن صفحه مهم است یا خیر.

👨‍💻 کار عملی:
لیست صفحات بدون عنوان را با گزینه “Export → Page Titles → Missing” خروجی بگیر. حالا در Excel می‌توانی کنار هر URL، یک تایتل پیشنهادی بنویسی. برای نوشتن تایتل مناسب:

• از کلمه کلیدی اصلی در ابتدای عنوان استفاده کن.
• برند یا نام سایت را در انتها بیاور.
• طول تایتل بین ۵۰ تا ۶۰ کاراکتر باشد.
• برای هر صفحه عنوان منحصربه‌فرد بنویس.

مثلاً اگر صفحه‌ای درباره “آموزش Screaming Frog” داری، عنوان پیشنهادی می‌تواند باشد:
«آموزش کامل Screaming Frog برای تحلیل سئو سایت | وب‌پلاس»

💡 ترفند:
بعد از اضافه‌کردن تایتل‌ها در CMS، دوباره سایت را کرال کن تا مطمئن شوی تغییرات اعمال شده و هیچ صفحه‌ای دیگر در فیلتر Missing ظاهر نمی‌شود.

📑 بررسی وضعیت ایندکس و محتوای تکراری در Screaming Frog

یکی از مهم‌ترین بخش‌های تحلیل سئو، بررسی وضعیت ایندکس صفحات و شناسایی محتوای تکراری است. اگر صفحات مهم سایتت در گوگل ایندکس نشده باشند یا چند صفحه محتوای یکسان داشته باشند، سایتت نمی‌تواند رتبه‌بندی خوبی در نتایج جستجو کسب کند. خوشبختانه Screaming Frog ابزار فوق‌العاده‌ای برای تشخیص این مشکلات دارد.

🔹 وضعیت ایندکس صفحات

بعد از کرال سایت، به تب Internal برو. یکی از ستون‌های مهم Indexability است. این ستون بهت می‌گوید که آیا هر صفحه برای موتورهای جستجو قابل ایندکس است یا خیر. چند حالت رایج وجود دارد:

Indexable: صفحه قابل ایندکس است و می‌تواند در نتایج گوگل نمایش داده شود.

Non-Indexable: صفحه به دلایلی قابل ایندکس نیست (مثلاً تگ noindex دارد یا فایل robots.txt آن را مسدود کرده است).

صفحات غیرقابل ایندکس را بررسی کن. اگر صفحه‌ای مهم است ولی به‌صورت Non-Indexable نمایش داده می‌شود، باید مشکل را رفع کنی. مثلاً:

• بررسی کن که آیا تگ noindex به اشتباه روی آن گذاشته شده است.
• مطمئن شو فایل robots.txt جلوی دسترسی موتور جستجو به آن صفحه را نگرفته باشد.
• اگر صفحه نباید ایندکس شود، همین وضعیت درست است و نیازی به تغییر ندارد.

از منوی بالای Screaming Frog گزینه Reports → Indexability را انتخاب کن. با این کار یک گزارش کامل از وضعیت ایندکس همه صفحات دریافت می‌کنی و می‌توانی با تیم فنی یا تولید محتوا هماهنگ کنی تا صفحات مهم به درستی ایندکس شوند.

🔹 شناسایی محتوای تکراری

محتوای تکراری (Duplicate Content) زمانی اتفاق می‌افتد که چند صفحه از سایت محتوای مشابه یا یکسان داشته باشند. این مسئله باعث می‌شود گوگل نتواند تشخیص دهد کدام صفحه را رتبه دهد و ممکن است اعتبار صفحات به‌طور مساوی تقسیم شود یا اصلاً رتبه‌ای کسب نکنند.

برای بررسی این موضوع در Screaming Frog، چند تب و ابزار مفید وجود دارد:

Page Titles: فیلتر Duplicate Titles را بزن تا ببینی کدام صفحات عنوان یکسان دارند.

Meta Description: فیلتر Duplicate Description، توضیحات متای تکراری را نشان می‌دهد.

Content Hash / Duplicate Content Tool: با فعال کردن گزینه Content → Duplicate Content، Screaming Frog محتوای صفحات را بررسی کرده و صفحات با محتوای یکسان را شناسایی می‌کند.

فرض کن چند صفحه دسته‌بندی محصولات داری و همه توضیحات یکسانی دارند. Screaming Frog این صفحات را به‌عنوان Duplicate نشان می‌دهد. راهکارهای عملی:

• محتوای صفحات را منحصربه‌فرد کن، حتی با اضافه کردن پاراگراف کوتاه یا ویژگی محصول خاص.
• از تگ canonical استفاده کن تا مشخص شود کدام صفحه اصلی است و بقیه نسخه‌های جایگزین‌اند.
• لینک‌دهی داخلی را به صفحه اصلی (canonical) هدایت کن تا اعتبار سایت به درستی منتقل شود.

بعد از شناسایی محتوای تکراری، می‌توانی از گزینه Bulk Export → Duplicate Pages گزارش بگیری و آن را در اکسل بررسی کنی. ستون‌های مهم شامل URL اصلی، URL تکراری، نوع محتوای تکراری و تعداد کلمات مشابه هستند. با این کار می‌توانی به صورت دقیق برنامه اصلاح محتوا و بهبود سئو سایتت را بچینی.

⚠️ خطاهای متداول در اولین کرال

وقتی برای اولین بار سایتت را با Screaming Frog کرال می‌کنی، ممکن است با چند مشکل رایج روبه‌رو شوی که تجربه کار با ابزار را کمی گیج‌کننده می‌کنند. خوشبختانه اکثر این خطاها قابل پیشگیری یا اصلاح هستند:

1. مسدود بودن سایت توسط robots.txt:
   گاهی سایت اجازه دسترسی به همه صفحات را به Screaming Frog نمی‌دهد. در این حالت، صفحات مهم کرال نمی‌شوند. راهکار: قبل از کرال، فایل robots.txt را بررسی کن یا در تنظیمات Screaming Frog گزینه‌ی “Ignore robots.txt” را فعال کن (البته با دقت).

2. Timeout یا قطع ارتباط با سرور:
   اگر سرعت سایت پایین باشد یا سرور محدودیت داشته باشد، کرال ممکن است متوقف شود. راهکار: سرعت کرال (Crawl Speed) را کاهش بده یا از گزینه‌ی “Respect Crawl Delay” استفاده کن تا فشار روی سرور کمتر شود.

3. خطاهای 404 و ریدایرکت‌های متعدد:
   در اولین کرال احتمال دارد صفحات قدیمی یا حذف شده را پیدا کنی. با بررسی دقیق تب Response Codes و استفاده از گزارش Redirect Chains می‌توانی این خطاها را رفع کنی.

4. صفحات بدون عنوان یا توضیحات متا:
   این مورد در اولین کرال زیاد دیده می‌شود و با تب Page Titles و Meta Description قابل شناسایی و اصلاح است.

همیشه بعد از اولین کرال، یک گزارش خروجی از تمام خطاها بگیر و آن‌ها را دسته‌بندی کن؛ این کار باعث می‌شود مسیر بهبود سایتت روشن و برنامه‌ریزی‌شده باشد.

🔄 تفاوت Crawl و Audit

بسیاری از کاربران جدید Screaming Frog ممکن است بین Crawl و Audit سردرگم شوند، اما تفاوت ساده است:

Crawl:
این همان فرآیند اصلی کرال سایت است. Screaming Frog تمام صفحات، لینک‌ها، متاها، ریدایرکت‌ها و کدهای وضعیت HTTP را بررسی می‌کند. هدف Crawl، جمع‌آوری داده‌های فنی سایت و شناسایی مشکلات اولیه است. این حالت برای اولین کرال، پیدا کردن صفحات 404، لینک‌های شکسته و محتوای تکراری عالی است.

Audit:
این گزینه بیشتر برای بررسی دقیق عملکرد سئو و کیفیت محتوا استفاده می‌شود. Audit شامل تحلیل داخلی، بررسی سرعت بارگذاری، ارزیابی متادیتا و حتی بررسی معیارهای بهینه‌سازی محتواست. به نوعی Audit، مرحله بعد از Crawl است که بهت کمک می‌کند داده‌ها را تفسیر و بهبود دهی.

فرض کن اول سایتت را Crawl کردی و فهمیدی ۱۰ صفحه 404 دارد و ۵ ریدایرکت زنجیره‌ای وجود دارد. در مرحله بعد می‌توانی Audit انجام دهی تا ببینی این صفحات چه تاثیری روی سئو و CTR دارند و چطور باید اصلاح شوند.

🏁 خلاصه مطلب

در این مقاله یاد گرفتیم که چطور برای اولین بار سایت خود را با Screaming Frog کرال کنیم و اطلاعات ارزشمندی از وضعیت فنی، لینک‌ها، متاها و صفحات تکراری به‌دست بیاوریم.

چند نکته کلیدی برای بهبود سئو:

1. اولین کرال برای شناسایی مشکلات اولیه حیاتی است.

2. تب‌های Internal و External بهت کمک می‌کنند ساختار لینک‌ها و لینک‌های خارجی سایت را بررسی کنی.

3. Response Codes و Redirect Chains برای اصلاح خطاهای 404 و ریدایرکت‌ها ضروری‌اند.

4. Page Titles و Meta Description را برای بهبود سئوی درون‌صفحه بررسی کن.

5. بررسی ایندکس و محتوای تکراری باعث می‌شود صفحات مهم سایت دیده شوند و رتبه بهتر بگیرند.

6. Crawl و Audit ابزارهای مکملی هستند که هم داده جمع‌آوری می‌کنند و هم تحلیل دقیق ارائه می‌دهند.

💡 توصیه پایانی: کرال سایت با Screaming Frog را دوره‌ای انجام بده، خطاها و مشکلات را ثبت کن و به‌طور مداوم صفحات را بهینه‌سازی کن. با این کار سایتت همیشه سالم، گوگل‌پسند و کاربرپسند باقی می‌ماند.