11 فاکتور کلیدی چک لیست سئو تکنیکال که برای هر سایتی لازم است!

وقتی صحبت از سئو تکنیکال می‌شود، بسیاری از وبمسترها فقط به محتوا یا لینک‌سازی فکر می‌کنند. اما حقیقت این است که اگر زیرساخت فنی وب‌سایت شما درست کار نکند، حتی بهترین محتوا هم شانس زیادی برای دیده شدن نخواهد داشت. در این مقاله قصد دارم یک چک لیست سئو تکنیکال جامع و در عین حال کاربردی را مرور کنیم تا مطمئن شوید وب‌سایت‌تان آماده رقابت در نتایج گوگل است.

📋 چک لیست سئو تکنیکال گام به گام (به صورت جدولی) برای استفاده راحت تر در پروژه ها

۱. بررسی سرعت و عملکرد سایت

اولین مورد از چک لیست سئو تکنیکال، سرعت بارگذاری صفحات یکی از سیگنال‌های کلیدی الگوریتم‌های رتبه‌بندی گوگل است. تحقیقات نشان می‌دهد اگر بارگذاری یک صفحه بیش از ۳ ثانیه طول بکشد، نرخ پرش (Bounce Rate) به‌شدت افزایش پیدا می‌کند. بنابراین، بهبود عملکرد سایت نه‌تنها بر سئو تکنیکال تأثیر دارد، بلکه تجربه کاربری (UX) را هم بهبود می‌بخشد.

برای بررسی و بهینه‌سازی سرعت، این مراحل را در نظر بگیرید:

تحلیل دقیق با ابزارها:

ابزارهایی مثل Google PageSpeed Insights، GTmetrix، Pingdom و Lighthouse اطلاعات دقیقی درباره معیارهای کلیدی مثل TTFB (Time to First Byte)، LCP (Largest Contentful Paint) و CLS (Cumulative Layout Shift) در اختیار شما می‌گذارند. این داده‌ها مشخص می‌کنند کدام بخش‌ها نیاز فوری به بهینه‌سازی دارند.

بهینه‌سازی تصاویر:

تصاویر معمولاً ۵۰ تا ۷۰ درصد حجم یک صفحه وب را تشکیل می‌دهند. برای کاهش حجم بدون افت کیفیت:

استفاده از فرمت‌های مدرن مثل WebP و AVIF.

پیاده‌سازی Lazy Loading برای جلوگیری از بارگذاری تصاویر خارج از دید کاربر.

استفاده از ابزارهای فشرده‌سازی مانند TinyPNG یا ImageOptim.

کشینگ (Caching):

فعال‌سازی کش مرورگر و Server-Side Caching باعث می‌شود کاربران هنگام بازدید مجدد، صفحات را بسیار سریع‌تر مشاهده کنند.

بهینه‌سازی کد:

فشرده‌سازی (Minify) فایل‌های CSS، JavaScript و HTML.

ترکیب چند فایل کوچک در یک فایل برای کاهش تعداد درخواست‌ها (HTTP Requests).

استفاده از Defer و Async برای بارگذاری اسکریپت‌ها.

استفاده از CDN (شبکه توزیع محتوا):
سرویس‌هایی مثل ابرآروان یا پارس پک نسخه‌ای از محتوای سایت شما را روی سرورهای مختلف جهان ذخیره می‌کنند و باعث می‌شوند کاربران از نزدیک‌ترین سرور محتوا را دریافت کنند.

بهینه‌سازی سمت سرور:
ارتقاء هاست، استفاده از HTTP/2 یا HTTP/3، فعال‌سازی Gzip/Brotli Compression و انتخاب یک سرور قدرتمند می‌تواند سرعت پاسخگویی سرور را بهبود دهد.

۲. اطمینان از موبایل فرندلی بودن سایت

از سال ۲۰۱۹ گوگل به طور کامل Mobile-First Indexing را اجرا کرده است. این یعنی گوگل اول نسخه موبایل سایت شما را برای ایندکس و رتبه‌بندی بررسی می‌کند، نه دسکتاپ. بنابراین، تجربه کاربری موبایل دیگر یک گزینه نیست، بلکه یک ضرورت است.

برای اطمینان از موبایل‌فرندلی بودن سایت، این نکات حیاتی را رعایت کنید:

طراحی ریسپانسیو (Responsive Design):
استفاده از CSS Media Queries و فریم‌ورک‌هایی مثل Bootstrap یا Tailwind CSS کمک می‌کند صفحات سایت شما روی انواع دستگاه‌ها (موبایل، تبلت، دسکتاپ) به درستی نمایش داده شوند.

تجربه کاربری (UX) در موبایل:

اندازه دکمه‌ها و لینک‌ها باید مناسب انگشت کاربر باشد (طبق توصیه گوگل، حداقل ۴۸ پیکسل).

فاصله کافی بین المان‌ها وجود داشته باشد تا کاربر به اشتباه روی دکمه دیگر کلیک نکند.

فونت‌ها خوانا و بدون نیاز به زوم باشند.

یکسان بودن محتوا در موبایل و دسکتاپ:
مطمئن شوید محتوای نسخه موبایل به هیچ وجه کمتر از دسکتاپ نباشد. برخی وبمسترها برای سبک‌تر کردن موبایل، بخش‌هایی از محتوا را حذف می‌کنند که این کار می‌تواند به افت رتبه سئو منجر شود.

بهینه‌سازی سرعت موبایل:
سرعت در موبایل اهمیت دوچندان دارد چون کاربران اغلب از اینترنت همراه (Mobile Data) استفاده می‌کنند. فشرده‌سازی منابع، کاهش استفاده از اسکریپت‌های سنگین و فعال‌سازی AMP (Accelerated Mobile Pages) برای برخی سایت‌ها می‌تواند مفید باشد.

تست موبایل فرندلی بودن:
از ابزار رسمی Mobile-Friendly Test گوگل استفاده کنید تا مطمئن شوید سایت شما هیچ مشکلی در نمایش روی موبایل ندارد.

۳. بهینه‌سازی ساختار URL

ساختار URL یکی از سیگنال‌های مهم خدمات سئو است که هم بر درک موتورهای جستجو از محتوای صفحه تأثیر می‌گذارد و هم تجربه کاربری را بهبود می‌بخشد. یک URL بهینه می‌تواند CTR نتایج جستجو را افزایش دهد و باعث درک بهتر موضوع صفحه توسط ربات‌های گوگل شود.

نکات کلیدی در بهینه‌سازی URL:

استفاده از کلمات کلیدی هدفمند: قرار دادن کلمه کلیدی اصلی در آدرس صفحه به گوگل کمک می‌کند تا سریع‌تر موضوع محتوا را تشخیص دهد. به عنوان مثال:

example.com/seo-url-optimization به‌مراتب بهتر از example.com/page123?id=45 است.

کوتاه و خوانا بودن: URL باید ساده، مختصر و قابل درک برای کاربر باشد. طولانی بودن آدرس یا استفاده از پارامترهای متعدد می‌تواند هم کاربر و هم موتور جستجو را سردرگم کند.

استفاده از خط تیره (-): برای جدا کردن کلمات در آدرس همیشه از خط تیره استفاده کنید. گوگل خط تیره را به‌عنوان جداکننده کلمات در نظر می‌گیرد، در حالی که آندرلاین (_) چنین قابلیتی ندارد.

اجتناب از کاراکترهای غیرضروری: از نمادهایی مثل ?, =, % یا اعداد تصادفی خودداری کنید، مگر آنکه واقعاً به آن‌ها نیاز داشته باشید.

ثبات در ساختار: ساختار URL در کل وب‌سایت باید یکپارچه باشد. این موضوع به مدیریت سایت، ایندکس بهتر و درک معماری وب‌سایت توسط گوگل کمک می‌کند.

۴. بررسی و بهبود Indexability

ایندکس شدن پیش‌نیاز اصلی دیده‌شدن در نتایج گوگل است. اگر صفحه‌ای ایندکس نشود، حتی بهترین محتوا و سئو داخلی هم بی‌اثر خواهد بود. بنابراین باید مطمئن شوید که موانع فنی مانع دیده‌شدن صفحات شما توسط موتورهای جستجو نمی‌شوند.

گام‌های کلیدی برای بهبود Indexability:

بررسی فایل robots.txt:
مطمئن شوید که صفحات مهم توسط این فایل بلاک نشده‌اند. بسیاری از سایت‌ها به اشتباه بخش‌های حیاتی مانند دسته‌بندی‌ها یا صفحات محصول را در این فایل Disallow می‌کنند.

مدیریت صحیح XML Sitemap:
نقشه سایت باید همیشه به‌روز باشد و فقط شامل صفحاتی باشد که قصد ایندکس‌شدن آن‌ها را دارید. همچنین بهتر است این فایل به Google Search Console معرفی شود تا ربات‌ها راحت‌تر صفحات را شناسایی کنند.

بررسی Coverage Report در Google Search Console:
این بخش اطلاعات دقیقی درباره وضعیت ایندکس صفحات شما ارائه می‌دهد (Valid, Excluded, Error). با تحلیل خطاها می‌توانید مشکلاتی مثل:

استفاده اشتباه از تگ‌های noindex

ریدایرکت‌های نادرست

خطاهای سرور (5xx)

صفحات تکراری (Duplicate)
را شناسایی و رفع کنید.

بهبود Crawl Budget:
در سایت‌های بزرگ، مدیریت بودجه خزش اهمیت بالایی دارد. حذف صفحات کم‌ارزش (Thin Content)، کاهش پارامترهای غیرضروری در URL و بهینه‌سازی لینک‌سازی داخلی می‌تواند باعث شود ربات‌های گوگل زمان و منابع خود را صرف صفحات ارزشمند کنند.

۵. بهینه‌سازی ساختار داخلی سایت (Internal Linking)

لینک‌سازی داخلی یکی از مؤثرترین و در عین حال کم‌هزینه‌ترین گزینه های چک لیست سئو تکنیکال برای تقویت سئو سایت است. یک ساختار داخلی هوشمند نه تنها باعث بهبود Crawlability و درک معماری سایت توسط موتورهای جستجو می‌شود، بلکه جریان Link Equity را بهینه کرده و ارزش صفحات کلیدی را افزایش می‌دهد.

اصول کلیدی لینک‌سازی داخلی حرفه‌ای:

ایجاد ارتباط موضوعی (Topical Clustering): مقالات و صفحات مرتبط باید از طریق لینک‌های داخلی به یکدیگر متصل باشند تا گوگل بتواند سیگنال قوی‌تری در مورد موضوع اصلی وب‌سایت دریافت کند.

استفاده استراتژیک از Anchor Text: انکرتکست باید به‌صورت توصیفی و حاوی کلمات کلیدی مرتبط باشد، اما از بهینه‌سازی بیش از حد (Over-Optimization) اجتناب کنید. استفاده متعادل از انکرهای Exact Match، Partial Match و برند، بهترین نتیجه را دارد.

شناسایی و رفع صفحات یتیم (Orphan Pages): صفحاتی که هیچ لینکی به آن‌ها اشاره نمی‌کند عملاً برای گوگل “نامرئی” هستند. با ابزارهایی مثل Screaming Frog یا Ahrefs این صفحات را پیدا کرده و در ساختار داخلی جای دهید.

مدیریت عمق لینک (Click Depth): محتوای مهم باید در نهایت با ۳ کلیک از صفحه اصلی در دسترس باشد. صفحات با عمق زیاد معمولاً کمتر ایندکس شده و اعتبار کمتری دریافت می‌کنند.

اولویت‌بندی صفحات کلیدی: لینک‌های داخلی باید وزن بیشتری به صفحات پول‌ساز (مانند صفحات محصول یا سرویس) منتقل کنند. این کار از طریق لینک‌دهی بیشتر و برجسته‌تر در محتوای مرتبط انجام می‌شود.

۶. استفاده از Structured Data (اسکیما)

Structured Data یا همان داده‌های ساختاریافته یکی از مهم‌ترین تکنیک‌های Technical SEO است که به موتورهای جستجو کمک می‌کند محتوای شما را بهتر درک کرده و آن را در قالب Rich Results در نتایج نمایش دهند. این ویژگی باعث افزایش CTR و بهبود حضور برند شما در SERP می‌شود.

کاربردهای مهم Structured Data در سئو:

• Breadcrumb Markup: نمایش مسیر صفحات در نتایج جستجو که علاوه بر بهبود تجربه کاربری، سیگنال مثبتی برای معماری سایت ارسال می‌کند.
• Review و Rating: ستاره‌های امتیازدهی و نظرات کاربران باعث افزایش نرخ کلیک و اعتماد کاربران می‌شود، به‌خصوص برای صفحات محصول یا خدمات.
• FAQ و HowTo Schema: اضافه کردن FAQ یا راهنماها در نتایج جستجو می‌تواند فضای بیشتری در SERP اشغال کرده و توجه بیشتری جلب کند.
• Organization و Local Business Markup: به برندینگ کمک می‌کند و اطلاعات حیاتی مثل لوگو، شماره تماس، ساعت کاری و لوکیشن را مستقیماً در نتایج گوگل نمایش می‌دهد.
• Article و BlogPosting Schema: برای محتوای خبری و بلاگ ضروری است و به گوگل کمک می‌کند زمان انتشار، نویسنده و موضوع مقاله را بهتر درک کند.

نکته حرفه‌ای:
همیشه بعد از پیاده‌سازی اسکیما، کدها را با ابزار Rich Results Test یا بخش Enhancements در Google Search Console بررسی کنید. وجود خطا یا هشدار در داده‌های ساختاریافته می‌تواند باعث عدم نمایش Rich Snippet شود.

۷. رفع ارورهای Crawl (Crawl Errors)

اگر ربات‌های گوگل نتوانند به‌درستی به محتوای شما دسترسی پیدا کنند، عملاً بخش قابل‌توجهی از تلاش‌های سئو بی‌اثر خواهد بود. مدیریت و رفع خطاهای Crawl یکی از پایه‌های چک بست سئو تکنیکال است که تضمین می‌کند بودجه خزش (Crawl Budget) سایت بهینه مصرف شود.

نکات کلیدی در رفع Crawl Errors:

بررسی و رفع خطاهای ۴۰۴ (Not Found):
صفحات ۴۰۴ مکرر می‌توانند باعث هدررفت لینک اکوییتی و تجربه بد کاربر شوند. این صفحات باید یا به صفحه مرتبط از طریق 301 Redirect هدایت شوند یا در صورت غیرضروری بودن از ایندکس خارج شوند.

رفع خطاهای ۵۰۰ (Server Errors):
ارورهای سرور نشان‌دهنده مشکلات فنی هستند که مستقیماً بر اعتماد گوگل اثر منفی می‌گذارند. پایش مداوم لاگ‌های سرور و مانیتورینگ منابع هاست اهمیت زیادی دارد.

اصلاح ریدایرکت‌های اشتباه:
زنجیره‌های ریدایرکت (Redirect Chains) و ریدایرکت‌های حلقه‌ای (Redirect Loops) بودجه خزش را هدر می‌دهند و سرعت ایندکس صفحات را کاهش می‌دهند. همیشه از ریدایرکت مستقیم و کوتاه استفاده کنید.

استفاده الزامی از HTTPS:
گوگل استفاده از پروتکل امن HTTPS را یک فاکتور رتبه‌بندی اعلام کرده است. علاوه بر این، صفحات HTTP و HTTPS به‌صورت جداگانه ایندکس می‌شوند؛ بنابراین وجود نسخه‌های ترکیبی می‌تواند باعث Duplicate Content شود.

مانیتورینگ در Search Console:
بخش Crawl Stats و Coverage Report در Google Search Console ابزار اصلی شما برای تشخیص و رفع خطاهای دسترسی هستند. بررسی منظم این گزارش‌ها باید جزئی ثابت از روتین سئو تکنیکال شما باشد.

۸. بهینه‌سازی Core Web Vitals

گوگل با معرفی Core Web Vitals تمرکز ویژه‌ای روی تجربه کاربری قرار داده است. این شاخص‌ها نه تنها مستقیماً بر سئو تأثیر می‌گذارند، بلکه به‌طور مستقیم نرخ تبدیل (Conversion Rate) و نرخ پرش (Bounce Rate) را نیز تحت‌تأثیر قرار می‌دهند.

سه معیار اصلی Core Web Vitals:

• LCP (Largest Contentful Paint): مدت‌زمان بارگذاری بزرگ‌ترین المان قابل مشاهده (مثل تصویر یا بلوک متنی). مقدار مطلوب: زیر ۲.۵ ثانیه.
• FID (First Input Delay): زمان پاسخ‌دهی صفحه به اولین تعامل کاربر (کلیک، اسکرول و…). مقدار مطلوب: زیر ۱۰۰ میلی‌ثانیه.
• CLS (Cumulative Layout Shift): میزان جابه‌جایی ناگهانی المان‌ها در حین بارگذاری. مقدار مطلوب: کمتر از ۰.۱.

استراتژی‌های عملی برای بهبود Core Web Vitals:

در ادامه 5 تا استراتژی برای بهبود Core Web Vitals سایت شما معرفی میکنم که امیدوارم برایتان مفید واقع شود.

1. بهینه‌سازی تصاویر و ویدئوها: استفاده از فرمت‌های مدرن (WebP, AVIF)، Lazy Loading و CDN برای کاهش حجم و افزایش سرعت بارگذاری.
2. بهینه‌سازی اسکریپت‌ها و CSS: حذف یا به‌تعویق‌انداختن (Defer) اسکریپت‌های غیرضروری، Minify کردن فایل‌ها و بارگذاری Async جاوااسکریپت.
3. تسریع رندر المان‌های حیاتی: اطمینان از اینکه محتوای Above the Fold (بخش ابتدایی صفحه) سریع‌تر از سایر بخش‌ها بارگذاری شود.
4. پایداری Layout: تعیین ابعاد ثابت برای تصاویر، ویدئوها و تبلیغات به‌طوری‌که از تغییر مکان ناگهانی المان‌ها جلوگیری شود.
5. استفاده از ابزارهای مانیتورینگ: ابزارهایی مثل PageSpeed Insights، Lighthouse و Chrome User Experience Report برای سنجش و پیگیری بهبودها ضروری هستند.

۹. امنیت و پروتکل HTTPS

استفاده از پروتکل HTTPS یکی از مهم‌ترین گزینه های چک لیست سئو تکنیکال در بهبود امنیت وب‌سایت و اعتماد کاربران است. موتورهای جستجو مانند گوگل به صراحت اعلام کرده‌اند که وجود گواهی SSL معتبر یک فاکتور رتبه‌بندی محسوب می‌شود. اما تنها نصب گواهی کافی نیست؛ باید چند نکته کلیدی رعایت شود:

انتخاب و نصب گواهی SSL معتبر:
استفاده از گواهی‌های معتبر (مانند Let’s Encrypt، DigiCert یا Comodo) باعث می‌شود مرورگرها سایت شما را به عنوان یک محیط امن شناسایی کنند. گواهی‌های رایگان Let’s Encrypt برای اکثر وب‌سایت‌ها کافی هستند، اما در پروژه‌های بزرگ‌تر یا فروشگاه‌های اینترنتی بهتر است از گواهی‌های پیشرفته‌تر (EV یا OV) استفاده شود.

ریدایرکت همه نسخه‌ها به دامنه اصلی HTTPS:
برای جلوگیری از مشکلات محتوای تکراری و حفظ اعتبار لینک‌ها، لازم است تمام نسخه‌های سایت (HTTP، HTTPS، www و non-www) تنها به یک نسخه اصلی (Canonical Version) ریدایرکت شوند. بهترین روش استفاده از ریدایرکت 301 دائمی در سطح سرور است.

بررسی و رفع خطاهای Mixed Content:
بسیاری از سایت‌ها بعد از فعال‌سازی HTTPS همچنان بخشی از منابع خود (تصاویر، اسکریپت‌ها یا CSS) را از طریق HTTP لود می‌کنند. این موضوع باعث بروز خطای Mixed Content در مرورگرها و کاهش اعتماد کاربر می‌شود. تمام منابع باید به صورت کامل از طریق HTTPS بارگذاری شوند.

ابزارهای تست و مانیتورینگ:

SSL Labs Test (از Qualys) برای بررسی کیفیت و امنیت پیاده‌سازی گواهی SSL و رتبه‌بندی سایت.

Why No Padlock برای شناسایی منابع ناامن و خطاهای Mixed Content.

استفاده از ابزارهای توسعه‌دهنده مرورگر (DevTools) برای بررسی درخواست‌های HTTP/HTTPS.

۱۰ بررسی ساختار داده‌ها و تحلیل لاگ‌ها — راهنمای عملی گام‌به‌گام

آنالیز لاگ‌های سرور یکی از پیشرفته‌ترین روش‌های سئو تکنیکال محسوب می‌شود که به کمک آن می‌توان رفتار واقعی ربات‌های موتورهای جستجو (به‌ویژه Googlebot) را ردیابی و تحلیل کرد. برخلاف ابزارهای کراول معمولی که صرفاً ساختار سایت را شبیه‌سازی می‌کنند، بررسی لاگ‌ها نشان می‌دهد کدام صفحات توسط ربات‌ها واقعاً بازدید شده‌اند و چه میزان از بودجه Crawl صرف بخش‌های حیاتی سایت می‌شود.

• فهمیدن اینکه Googlebot واقعاً کدام URLها را می‌بیند، چند بار، با چه وضعیت‌هایی (۲xx/۳xx/۴xx/۵xx) و با چه سرعتی.
• یافتن هدررفت Crawl Budget روی صفحات غیرضروری (پارامتری/فیلتر/جستجو/تکراری).
• استخراج فهرست کارهای اولویت‌دار برای بهبود ایندکس، سرعت و معماری اطلاعات.

مسیر A) اگر دسترسی سرور ندارید (مدیران غیر فنی)

1. Search Console → Crawl Stats را هفتگی چک کنید: تغییرات حجم Crawl، نوع فایل‌ها، پاسخ سرور.
2. از Screaming Frog SEO Spider یک Crawl کامل بگیرید و:

   • صفحات Non-Indexable (noindex، canonicals، ریدایرکت‌ها) را لیست کنید.

   • مسیرها/پارامترهایی که ارزش سئویی ندارند را مشخص کنید.

3. همان‌جا یک چک‌لیست اقدام بسازید: حذف از ایندکس، ریدایرکت 301، بهبود لینک‌سازی داخلی، به‌روزرسانی Sitemap.
4. در صورت امکان از همکار فنی بخواهید «مسیر B» را اجرا کند تا تحلیل دقیق لاگ‌ها هم اضافه شود.

مسیر B) اگر به سرور دسترسی دارید (فنی/DevOps)

گام ۱ — اطمینان از فعال بودن لاگ و فیلدهای مهم

• Apache: مسیر معمول /var/log/apache2/access.log
• Nginx: مسیر معمول /var/log/nginx/access.log
• IIS: %SystemDrive%\inetpub\logs\LogFiles\W3SVC1
• اگر Nginx دارید، مطمئن شوید log_format شامل $request_time باشد تا زمان پاسخ را ببینید:

log_format main ‘$remote_addr – $remote_user [$time_local] “$request” ‘
‘$status $body_bytes_sent “$http_referer” “$http_user_agent” ‘
‘$host $request_time’;
access_log /var/log/nginx/access.log main;

Retention را حداقل ۳۰ روز بگذارید (برای روندها).

گام ۲ — دانلود/استخراج لاگ‌ها

Linux/SSH:

# فشرده‌ها + فایل جاری را یکجا بردار

sudo tar -czf /tmp/access-logs.tar.gz /var/log/nginx/access.log* /var/log/apache2/access.log*

# سپس با scp دانلود کنید

scp user@server:/tmp/access-logs.tar.gz .

cPanel: بخش Raw Access → دانلود لاگ‌های خام.

Cloudflare: Logpull/Logpush به S3/Storage (اگر پشت CDN هستید، لاگ‌های اوریجین + CDN هر دو مفیدند).

گام ۳ — فیلتر کردن ربات‌های گوگل و اعتبارسنجی

هشدار: User-Agent قابل جعل است. برای Googlebot باید IP را همستی (Reverse DNS + Forward) تأیید کنید.

الگوهای UA مهم:
Googlebot، Google-InspectionTool، AdsBot-Google، GoogleOther

فیلتر اولیه:

zgrep -Ei ‘Googlebot|Google-InspectionTool|AdsBot-Google|GoogleOther’ access.log* > google-raw.log

استخراج IPها برای اعتبارسنجی:

awk ‘{print $1}’ google-raw.log | sort -u > google-ips.txt

اعتبارسنجی نمونه‌ای (بصورت تکی روی چند IP پرتکرار):

host 66.249.66.1 # باید PTR به googlebot.com یا google.com ختم شود

 سپس Forward-Confirm:

host crawl-66-249-66-1.googlebot.com

 IP برگشتی باید با IP اولیه یکی باشد

اگر تطابق نداشت، آن IP را از تحلیل حذف کنید (بات جعلی).

گام ۴ — ساخت دیتاست تمیز و شاخص‌های پایه

مسیر درخواستی (URL) را بیرون بکشید (در اکثر لاگ‌های Combined، ستون 7 است):

awk -F\” ‘{print $2″||”$3″||”$1}’ google-raw.log | awk ‘{print $1}’ | awk ‘{print $2}’ > urls.txt
# ساده‌تر:
awk -F\” ‘{print $2}’ google-raw.log | awk ‘{print $2}’ > urls.txt

شمارش فراوانی Crawl هر URL:

sort urls.txt | uniq -c | sort -nr > url_crawl_frequency.tsv

توزیع وضعیت‌های پاسخ:

awk -F\” ‘{print $3}’ google-raw.log | awk ‘{print $1}’ | awk ‘{print $1}’ | sort | uniq -c | sort -nr > status_counts.tsv

میانگین/صدک‌های زمان پاسخ (اگر $request_time دارید و در آخر لاگ است):

awk ‘{print $NF}’ google-raw.log | sort -n > rt.txt
# صدک 50/90/95
awk ‘NR==int(n*0.50){print “p50:”,$1} NR==int(n*0.90){print “p90:”,$1} NR==int(n*0.95){print “p95:”,$1}’ n=$(wc -l < rt.txt) rt.txt

گام ۵ — یافتن هدررفت Crawl Budget

URLهای پارامتری (اغلب بی‌ارزش):

grep -F ‘?’ urls.txt | sort | uniq -c | sort -nr | head -50 > top-params.tsv

دایرکتوری‌های پرمصرف:

awk -F/ ‘{print “/”$2″/”}’ urls.txt | sort | uniq -c | sort -nr > top-folders.tsv

Redirect chains (با ترکیب وضعیت 3xx و همان URL مقصد که دوباره 3xx/200 می‌دهد؛ توصیه: این بخش را دقیق‌تر در ابزار لاگ‌آنالیز انجام دهید).

۴۰۴ و ۵xx پرتکرار:

awk -F\” ‘{print $2″||”$3}’ google-raw.log | awk ‘{print $2″ “$3}’ | \
awk ‘$2 ~ /^404|500|502|503|504$/ {print $1}’ | sort | uniq -c | sort -nr | head -50 > top-errors.tsv

گام ۶ — تحلیل تصویری با ابزار تخصصی

گزینه ۱: Screaming Frog Log Analyzer (محلی و سریع)

1. New Project → Add Log Files و لاگ‌ها را ایمپورت کنید (Auto-detect format).

2. Filters → User Agents را روی Googlebot و مشتقاتش بگذارید.

3. از تب‌های Status Codes، Directories، Response Times گزارش بگیرید.

4. اگر یک Crawl از Screaming Frog SEO Spider هم دارید، آن را Import → Crawl File کنید تا:

   • Crawled by Googlebot but Not in Crawl (و بالعکس) را ببینید.

   • صفحات ارزشمند که کم‌کراول شده‌اند را جدا کنید.

5. Export خروجی‌ها برای گزارش مدیریتی.

گزینه ۲: OnCrawl یا Botify (سازمانی)

1. پروژه را بسازید، Log Monitoring را فعال کنید (اتصال S3/FTP).
2. فیلتر Googlebot، داشبوردهای Crawl Budget / Orphan pages / Depth.
3. آلارم برای جهش خطاهای ۵xx یا افزایش Crawl روی مسیرهای بی‌ارزش.

گام ۷ — تصمیمات فنی بر اساس شواهد

صفحات بی‌ارزش/پارامتری:

اگر نمی‌خواهید اصلاً خزیده شوند: robots.txt → Disallow.

اگر لازم است دیده شوند ولی ایندکس نشوند: اجازه Crawl بدهید و noindex بگذارید (توجه: noindex نیاز به Crawl دارد).

برای نسخه‌های تکراری: canonical به نسخه اصلی، و در صورت امکان 301 تجمیعی.

Redirect chain‌ها را به یک 301 مستقیم تبدیل کنید.

۴۰۴ پرتکرار: یا 301 به مرتبط‌ترین مقصد یا صفحه را احیا کنید.

۵xx: ظرفیت سرور/کَش/timeout را بهبود دهید؛ اگر پیک Crawl باعث فشار است، crawl-delay (برای برخی ربات‌ها) یا محدودسازی سطح CDN بررسی شود.

URLهای مهم اما کم‌کراول:

لینک‌سازی داخلی بهبود، قرار دادن در XML Sitemap با lastmod تازه،

لینک از صفحات پرقدرت داخلی، و به‌روزرسانی محتوا.

سرعت برای ربات‌ها: اگر request_time بالا بود، منابع سنگین، رهگیری/احراز غیرضروری، یا قوانین WAF را برای Googlebot بازبینی کنید.

خروجی‌هایی که باید ماهانه گزارش کنید (نمونه قالب)

تعداد URL یکتای خزیده‌شده توسط Googlebot: X

نرخ ۲xx / ۳xx / ۴xx / ۵xx: %

Top 10 مسیرهای پرخزش: /category/ ، /search/ ، /filter/…

Top پارامترها با بیشترین هدررفت: ?sort=, ?color=, ?utm= …

URLهای مهم ولی کم‌کراول: فهرست ۲۰ URL هدف با پیشنهاد اقدام

میانگین/صدک‌های زمان پاسخ به Googlebot: p50/p90/p95

اقدامات انجام‌شده این ماه: (ریدایرکت‌ها، disallowها، canonicalها، بهبود سرعت)

اقدامات ماه آینده و Owner هر اقدام

پیشنهاد: این گزارش را در یک شیت واحد نگه دارید و هر ماه فقط تب جدید اضافه کنید تا روندها را ببینید.

چک‌لیست سریع اجرا

1. فعال بودن لاگ + نگهداری ۳۰ روزه
2. دانلود و فیلتر Googlebot (با اعتبارسنجی IP)
3. استخراج KPIها: فراوانی Crawl، Status Codes، زمان پاسخ، پارامترها، مسیرها
4. تحلیل با SF Log Analyzer / OnCrawl / Botify
5. تدوین اقدامات: robots.txt / noindex / canonical / 301 / لینک‌سازی / Sitemap
6. گزارش مدیریتی + پیگیری اجرای تیکت‌ها

۱۱. مانیتورینگ و به‌روزرسانی دوره‌ای

سئو یک فرایند یک‌باره نیست؛ بلکه نیاز به پایش مداوم و بهبود مستمر دارد. تغییرات الگوریتم‌های گوگل، رفتار رقبا و حتی تغییر نیازهای کاربران باعث می‌شود که نتایج سئو همیشه در معرض نوسان باشد. به همین دلیل، مانیتورینگ و به‌روزرسانی دوره‌ای از ارکان اصلی یک چک لیست سئو تکنیکال موفق محسوب می‌شود.

5 اقدامات کلیدی در مانیتورینگ و به‌روزرسانی:

بررسی منظم Google Search Console

شناسایی و رفع خطاهای Coverage (ایندکس‌نشدن صفحات، خطاهای ۴۰۴ یا ۵۰۰).

پایش گزارش Core Web Vitals برای اطمینان از سرعت و تجربه کاربری مناسب.

ردیابی تغییرات در میزان Impression و CTR صفحات مهم.

پایش رتبه کلمات کلیدی و رقبا
ابزارهایی مانند Ahrefs و Semrush امکان ردیابی رتبه کلمات کلیدی و تحلیل وضعیت رقبا را فراهم می‌کنند. بررسی دوره‌ای این داده‌ها کمک می‌کند:

کلمات کلیدی در حال افت را شناسایی و محتوا را بهبود دهید.

فرصت‌های جدید (کلمات کلیدی نوظهور یا Long-tail) را کشف کنید.

به‌روزرسانی و بهبود محتوا
محتوای قدیمی به مرور زمان ارزش خود را در رتبه‌بندی از دست می‌دهد. باید:

اطلاعات و آمارها به‌روز شوند.

ساختار محتوا (هدینگ‌ها، لینک‌های داخلی، داده‌های ساختاریافته) بازبینی گردد.

بخش پرسش‌های متداول یا نکات کاربردی به متن اضافه شود تا ارزش سئویی و نرخ تعامل افزایش یابد.

پایش سرعت و عملکرد سایت
ابزارهایی مثل GTmetrix یا PageSpeed Insights گوگل به شما کمک می‌کنند مشکلات سرعت، اندازه فایل‌ها و عملکرد سرور را بررسی کنید. سرعت پایین تأثیر مستقیم بر رتبه‌بندی و نرخ تبدیل دارد.

پایش خطاهای جدید و امنیت سایت
خطاهای فنی (مانند ریدایرکت‌های نادرست، لینک‌های شکسته، مشکلات HTTPS) باید به‌صورت دوره‌ای بررسی و رفع شوند. امنیت سایت و گواهی SSL نیز بخشی از این مانیتورینگ است.

چک‌لیست اجرایی سئو تکنیکال: مانیتورینگ و به‌روزرسانی هفتگی، ماهانه و فصلی

✅ هفتگی

🔍 بررسی Google Search Console

خطاهای Coverage (۴۰۴، ۵۰۰، صفحات بلاک‌شده).

تغییرات در Impression / Click صفحات کلیدی.

📊 پایش رتبه کلمات کلیدی اصلی (با Ahrefs / Semrush).

⚡ بررسی سرعت و Core Web Vitals برای صفحات مهم (با PageSpeed یا GTmetrix).

🛠 رفع خطاهای جدید (لینک شکسته، ریدایرکت اشتباه، تصاویر لودنشده).

📌 مرور رقبا: آیا تغییری در SERP یا نوع محتوای برتر دیده می‌شود؟

✅ ماهانه

🗂 تحلیل عمیق‌تر در Search Console

بررسی Queryهای جدیدی که ترافیک می‌آورند.

شناسایی صفحات با CTR پایین و بهبود تایتل/متا.

📝 به‌روزرسانی محتوا

تازه‌سازی مقالات قدیمی با آمار و مثال‌های جدید.

اضافه کردن بخش FAQ یا محتوای چندرسانه‌ای (تصویر/ویدئو).

🔗 بازبینی لینک‌سازی داخلی

آیا صفحات مهم لینک کافی دارند؟

آیا انکرتکست‌ها متنوع و مرتبط‌اند؟

🛡 بررسی امنیت و SSL

اطمینان از معتبر بودن گواهی HTTPS و نبود Mixed Content.

📑 به‌روزرسانی Sitemap و robots.txt در صورت تغییر ساختار.

📈 تحلیل رقبا در ابزارهایی مثل Ahrefs / Semrush: لینک‌های جدید، کلمات کلیدی رشد یافته.

✅ فصلی (هر ۳ ماه)

🔍 آنالیز جامع سئو تکنیکال (Crawl کامل با Screaming Frog یا Sitebulb).

پیدا کردن صفحات یتیم (Orphan Pages).

بررسی عمق کلیک (Click Depth).

کشف ریدایرکت‌های زنجیره‌ای یا صفحات تکراری.

🏗 ارزیابی تجربه کاربری (UX) و Core Web Vitals در مقیاس کل سایت.

📊 بررسی دقیق لاگ‌های سرور برای تحلیل Crawl Budget (با Screaming Frog Log Analyzer یا OnCrawl).

🔗 بازبینی استراتژی لینک‌سازی خارجی (Backlinks): لینک‌های اسپم یا فرصت‌های جدید.

🎯 بازنگری استراتژی محتوا

آیا موضوعات جدید یا ترندهای تازه وارد حوزه شده‌اند؟

آیا صفحات فعلی نیاز به ادغام یا تفکیک دارند؟

🛠 ارزیابی رقبا به صورت جامع: تغییرات بزرگ در استراتژی آن‌ها (نوع محتوا، سرعت، ساختار).

📅 جلسه مرور OKR سئو: مقایسه عملکرد با اهداف ۳ ماهه، تعیین اقدامات برای فصل بعد.

📝 نکته مدیریتی

بهتره این چک‌لیست در Google Sheets یا ابزار مدیریت پروژه (Trello/Asana) ثبت شود.

برای هر آیتم، یک Owner (مسئول اجرا) و Deadline تعریف شود.

در پایان هر ماه، گزارشی کوتاه از اقدامات انجام‌شده + KPIهای اصلی (ترافیک، رتبه، نرخ تبدیل) تهیه شود.

مزایا و اهداف اصلی تحلیل لاگ‌ها:

شناسایی الگوی Crawl ربات‌های گوگل
با بررسی لاگ‌ها می‌توان فهمید کدام صفحات، مسیرها یا فایل‌ها بیشتر توسط گوگل کراول می‌شوند و آیا این الگو با استراتژی سئو سایت هم‌خوانی دارد یا خیر.

مدیریت و بهینه‌سازی بودجه Crawl
سایت‌های بزرگ (به‌ویژه فروشگاه‌های اینترنتی یا سایت‌های خبری) با مشکل هدررفت بودجه Crawl مواجه هستند. اگر ربات گوگل زمان خود را روی صفحات بی‌ارزش یا تکراری صرف کند، صفحات مهم دیرتر یا کمتر ایندکس می‌شوند. با تحلیل لاگ می‌توان صفحاتی را که نیازی به ایندکس ندارند (مثل پارامترهای بی‌ارزش، صفحات فیلترشده یا تگ‌های تکراری) شناسایی و از ایندکس خارج کرد.

بررسی وضعیت ایندکس و مشکلات فنی

شناسایی کدهای وضعیت HTTP (۲۰۰، ۳۰۱، ۴۰۴، ۵۰۰ و …) برای رفع خطاهای احتمالی.

کشف ریدایرکت‌های زنجیره‌ای یا حلقه‌ای.

بررسی سرعت پاسخگویی سرور برای درخواست‌های ربات‌ها.

ابزارهای حرفه‌ای برای تحلیل لاگ‌ها:

Screaming Frog Log Analyzer: مناسب برای تجزیه و تحلیل لاگ‌های سرور به صورت محلی.

Botify: پلتفرمی پیشرفته برای تحلیل Crawl Budget و رفتار گوگل.

OnCrawl: ابزار تخصصی سئو تکنیکال با داشبوردهای دقیق برای آنالیز لاگ‌ها، کراول و ایندکس.

لب کلام

یک چک لیست سئو تکنیکال نه‌تنها به شما کمک می‌کند وب‌سایتی سالم‌تر و سریع‌تر داشته باشید، بلکه زمینه را برای موفقیت استراتژی‌های سئو داخلی و سئو خارجی فراهم می‌کند. به یاد داشته باشید که بهینه‌سازی فنی یک بار انجام نمی‌شود، بلکه باید به‌طور منظم وب‌سایت خود را مانیتور و بهبود دهید.

اگر همین امروز این نکات را بررسی کنید، مطمئن باشید یک گام بزرگ به سمت رتبه‌های برتر گوگل برداشته‌اید. 🚀