ایندکس نشدن سایت در گوگل: علت را پیدا کنید و درست کنید

یاسین
1405/8/26
11 دقیقه
47 بازدید
ایندکس نشدن سایت در گوگل: علت را پیدا کنید و درست کنید

ایندکس نشدن سایت در گوگل در بیشتر موارد یکی از سه علت را دارد: پاسخ سرور غیر از ۲۰۰ است، یک دستور منع در فایل ربات ها یا در سرتیتر صفحه نشسته، یا صفحه از نظر گوگل ارزش ثبت ندارد. پیش از هر تغییری همین سه مورد را بسنجید. این نوشته مسیری است که امروز روی سایت خودمان اجرا کردم: چهار دستور، و پاسخ واقعی هر کدام با عدد. هدف این است که خواننده بدون نصب ابزار و بدون تماس با هاست، خودش علت را پیدا کند.

ایندکس شدن چیست و چه فرقی با رتبه دارد

ایندکس شدن یعنی گوگل صفحه را خزیده، خوانده و در فهرست خودش ثبت کرده است. تا این ثبت انجام نشود، صفحه در هیچ جست و جویی نمی تواند ظاهر شود. رتبه چیز دیگری است: صفحه ثبت شده باز هم ممکن است در صفحه اول نباشد.

این دو را با دو گزارش متفاوت می سنجند و در گزارش صفحه ها در سرچ کنسول هر دو دیده می شود؛ یکی وضعیت ثبت است و دیگری ستون نمایش و رتبه. اشتباه رایج صاحبان سایت این است که برای یک مشکل رتبه، سراغ تنظیمات ایندکس می روند و هفته ها وقت از دست می دهند.

سه حالت ممکن وجود دارد. صفحه خزیده نشده است، یعنی گوگل هنوز سراغ آن نرفته. صفحه خزیده شده ولی ثبت نشده است، یعنی خوانده و کم ارزش تشخیص داده شده. صفحه ثبت شده است و مشکل جای دیگری است. هر سه حالت درمان جدا دارد و اولین کار پیدا کردن حالت صفحه است، نه بازنویسی محتوا.

چهار سنجش تشخیص ایندکس
چهار سنجشی که در همین نوشته با دستور اجرا شد: کد پاسخ، تگ ربات ها، نقشه سایت و نشانی تکراری.

آزمون ده دقیقه ای: چطور علت را پیدا کنیم

ابزار این آزمون یک خط فرمان و چهار دستور است. برای این که بار اضافه روی سرور نگذارم، درخواست ها را یکی یکی و با فاصله زدم. هیچ تنظیمی روی سایت تغییر نکرد و هیچ فایلی نوشته نشد؛ فقط خوانده شد.

اول فایل ربات ها را بخوانید تا ببینید مسیر عمومی بسته نشده است:

curl -s https://codeyas.com/robots.txt

پاسخ ۲۰۰ و ۱۰۲۰ بایت بود. خط Sitemap داخل فایل هست و مسیر های /profile و /dashboard و چند مسیر خصوصی دیگر بسته شده اند. یعنی فایل ربات ها کار خودش را می کند و اگر صفحه ای ثبت نمی شود، علت به احتمال زیاد این فایل نیست.

بعد کد پاسخ و سرتیتر های همان صفحه را ببینید:

curl -sI https://codeyas.com/blog/404-not-found-error-guide \
  | head -6

کد پاسخ ۲۰۰ با نوع text/html آمد و سرتیتر X-Robots-Tag نداشت. کش صفحه هم ۶۰ ثانیه بود. همان سرتیتر noindex است که در بعضی سایت ها بی خبر از همه جا روی همه پاسخ ها می نشیند و کل دامنه را از فهرست گوگل بیرون می برد.

سرتیتر داخل خود صفحه را هم جدا ببینید:

curl -s https://codeyas.com/blog/404-not-found-error-guide \
  | grep -o 'name="robots"[^>]*'

مقدار index,follow برگشت و نشانی اصلی صفحه هم دقیقا همان نشانی درخواست بود. یعنی صفحه نه ممنوع است و نه به نشانی دیگری ارجاع داده شده است. اگر جای این مقدار، noindex می دیدید، همان لحظه علت را پیدا کرده بودید.

آخرین سنجش، نقشه سایت است؛ نقشه ای که صفحه در آن نیست، دیرتر کشف می شود:

curl -s https://codeyas.com/sitemap-posts.xml | grep -c '<loc>'

عدد ۷۰ برگشت و نشانی همان مقاله هم داخلش بود. نقشه اصلی سایت چهار نقشه دارد و همه با کد ۲۰۰ پاسخ دادند. در همین درخواست ها سه چیز دیگر هم اندازه گرفته شد: نشانی ناموجود کد ۴۰۴ داد، نسخه http و نسخه www هر دو با کد ۳۰۱ به نشانی اصلی برگشتند، و نشانی با اسلش آخر و نشانی با پارامتر اضافه هم ۳۰۱ شدند. این سه یعنی سایت نسخه تکراری نمی سازد.

چه چیزی سنجیده شدنتیجه امروزمعنی برای صاحب سایت
فایل ربات ها۲۰۰ · ۱۰۲۰ بایت · خط نقشه سایت داردمسیر های خصوصی بسته، مسیر عمومی باز
کد پاسخ یک مقاله۲۰۰ · text/html · ۱۸۷٬۴۴۵ بایتصفحه زنده است و محتوا سرو می شود
سرتیتر noindexنداردکل دامنه ممنوع نشده است
تگ robots داخل صفحهindex,followگوگل اجازه ثبت دارد
نشانی اصلی صفحههمان نشانی، بدون تغییرنسخه تکراری ساخته نمی شود
نشانی ناموجود۴۰۴درست است؛ گوگل آن را ثبت نمی کند و نباید کند
نقشه مقاله ها۷۰ نشانی، مقاله داخلشمسیر کشف صفحه باز است
http و نسخه www۳۰۱ به نشانی اصلیدو نسخه از یک سایت در فهرست گوگل ساخته نمی شود
اسلش آخر و پارامتر اضافه۳۰۱ به نشانی تمیزنشانی های تکراری بسته می شوند

این جدول را برای هر صفحه ای می شود تکرار کرد. پاسخ شما ممکن است با پاسخ ما یکی نباشد؛ مهم این است که بدانید هر عدد چه معنایی دارد. تنها چیزی که از این سرور سنجیده نشد، خود فهرست گوگل است و آن را باید در سرچ کنسول دید.

خروجی واقعی سنجش امروز
همان شش دستوری که امروز اجرا شد: پاسخ ۲۰۰ با ۱۸۷۴۴۵ بایت، فایل ربات ها با ۱۰۲۰ بایت، تگ robots برابر index,follow، نقشه مقاله ها با ۷۰ نشانی، تغییر مسیر ۳۰۱ نسخه www و پاسخ ۴۰۴ نشانی ناموجود.

جدول تصمیم: هر وضعیت در سرچ کنسول چه معنایی دارد و کارش با کیست

ستون وضعیت در سرچ کنسول، به زبان ساده همان تشخیص است. مشکل این است که این نام ها ترجمه نشده و گنگ اند. جدول زیر همان نام ها را به کار و مسئول برمی گرداند.

وضعیتمعنی سادهکارش با کیستزمان معمول
کشف شده، در حال حاضر ایندکس نشدهگوگل نشانی را می داند ولی هنوز سراغش نرفتهلینک داخلی و نقشه سایت، کار خودتانچند روز تا چند هفته
خزیده شده، در حال حاضر ایندکس نشدهصفحه خوانده شده و کم ارزش تشخیص داده شدهمحتوا و لینک داخلی، کار خودتاندو تا هشت هفته پس از بازنویسی
مسدود شده به وسیله فایل ربات هافایل ربات ها جلوی خواندن را گرفتهبرنامه نویس یا خودتانرفع در چند دقیقه، اثر تا چند هفته
حذف شده به دلیل تگ noindexخود صفحه اجازه ثبت ندادهخودتان یا تنظیم افزونه سئورفع در چند دقیقه
صفحه با تغییر مسیرنشانی به جای دیگری می رود و خودش ثبت نمی شودبرنامه نویسفوری
خطای سرور (پنج صد)سرور پاسخ درست نمی دهدهاستفوری، تا وقتی سرور سالم شود
یافت نشد (چهار صد و چهار)صفحه وجود نداردخودتان یا برنامه نویسفوری
ثبت شده، اما صفحه دیگری اصل استگوگل نسخه دیگری را انتخاب کردهبرنامه نویسدو تا شش هفته

یک قاعده عملی: اگر وضعیت با کلمه «کشف شده» شروع می شود، مسئله دسترسی گوگل به نشانی است. اگر با «خزیده شده» شروع می شود، مسئله ارزش صفحه است و کار به محتوا و لینک می افتد. این دو را با هم قاطی نکنید، چون درمانشان یکی نیست.

دلایل ایندکس نشدن: شش علتی که بیشتر سایت ها را زمین می زند

۱. منع در فایل ربات ها یا در سرتیتر. شایع ترین علت است و در پنج دقیقه قابل رد یا تایید. در وردپرس، یک تیک در تنظیمات خواندن و یک گزینه در افزونه سئو، کافی است تا همه صفحه ها ممنوع شوند.

۲. نشانی تکراری و انتخاب نسخه اشتباه. وقتی یک صفحه با چهار نشانی باز می شود، اعتبار بین نسخه ها تقسیم می شود و گوگل یکی را انتخاب می کند. اگر آن یکی صفحه ای باشد که خودتان نمی خواستید، وضعیت صفحه اصلی در گزارش «صفحه دیگری اصل است» می شود.

۳. پاسخ سرور یا صفحه خالی. صفحه ای که با کد ۲۰۰ باز می شود ولی متن ندارد یا متن تکراری دارد، همان رفتار صفحه خالی را می گیرد. پاسخ پنج صد هم موقتی خوش بینانه است و اگر تکرار شود، گوگل دفعه بعد دیرتر سر می زند.

۴. صفحه بدون لینک داخلی. صفحه ای که فقط از نقشه سایت شناخته می شود، آخر صف خزش است. افزایش ترافیک سایت بدون این لینک ها اتفاق نمی افتد؛ دو یا سه لینک از صفحه های مرتبط، کار یک ماه انتظار را در چند روز انجام می دهد.

۵. کیفیت محتوا. صفحه کوتاه، صفحه کپی شده و صفحه ای که فقط فهرست محصول دارد، تشخیص «کم ارزش» می گیرد. کیفیت محتوا با تعداد کلمه سنجیده نمی شود؛ با این سنجیده می شود که صفحه به سوال جواب می دهد یا نه.

۶. ساختار نقشه سایت و اعتبار دامنه. نقشه سایت خراب یا ناقص، کشف را کند می کند و در راهنمای نقشه سایت روش ساخت و بررسی آن آمده است. دامنه تازه هم بدون لینک بیرونی، دیرتر اعتماد می گیرد.

یک نکته که کمتر گفته می شود: جریمه دستی گوگل علت نادر است. بیشتر صاحبان سایت که فکر می کنند جریمه شده اند، در واقع یکی از همان شش مورد بالا را دارند. تا وقتی گزارش اقدام دستی در سرچ کنسول خالی است، دنبال جریمه نگردید.

ایندکس نشدن در وردپرس: سه تنظیمی که باید ببینید

وردپرس سه جای مشخص دارد که ایندکس را می بندد و هر سه در پنل است، بدون نیاز به کد.

اولی در تنظیمات خواندن است. گزینه «تشویق موتور های جستجو به ایندکس نکردن این سایت» اگر تیک داشته باشد، همه سایت ممنوع می شود. این تیک معمولا بعد از راه اندازی نسخه آزمایشی روی سایت اصلی جا می ماند.

دومی تنظیم افزونه سئو است. بعضی افزونه ها برای هر نوع محتوا یک کلید noindex دارند و گاهی روی دسته بندی و برچسب روشن می شوند. اگر گزارش سرچ کنسول همه صفحه های یک دسته را «حذف شده با noindex» نشان می دهد، همان کلید است.

سومی حالت تعمیر و صفحه های عضویت است. افزونه های حالت تعمیر، صفحه های در دست ساخت و فروشگاه در حال راه اندازی، پاسخ صفحه های عمومی را تغییر می دهند یا سرتیتر noindex می گذارند. اگر سایت تازه منتقل شده یا قالب عوض شده، این سه را به ترتیب ببینید.

درخواست ایندکس: کِی جواب می دهد و کِی نمی دهد

در سرچ کنسول هر نشانی را می شود بازرسی کرد و درخواست ایندکس فرستاد. این کار یک صف کوتاه می سازد، نه یک دستور. اگر صفحه با ربات ها یا noindex ممنوع باشد، درخواست بی اثر است؛ اول مانع را بردارید و بعد درخواست بدهید.

درخواست ایندکس رتبه نمی آورد. صفحه ثبت می شود تا در جست و جوها شرکت کند؛ جای آن در نتایج با محتوا و لینک تعیین می شود. برای صفحه ای که محتوای نازک دارد، ثبت شدن فقط یک صفحه نازک به فهرست گوگل اضافه می کند.

چقدر برای ایندکس شدن صبر کنیم

صفحه تازه در سایت جا افتاده، معمولا چند ساعت تا چند روز. صفحه تازه در دامنه تازه، دو تا شش هفته. صفحه ای که وضعیت «خزیده شده و ثبت نشده» دارد، پس از بازنویسی محتوا معمولا دو تا هشت هفته وقت می خواهد. اگر بعد از این بازه چیزی عوض نشد، دوباره همان چهار سنجش را بزنید. جدول زمانی کامل تر در رتبه گرفتن در گوگل چقدر طول می کشد آمده است.

ایندکس شده ولی نمایش ندارد؛ اشتباهی که وقت می سوزاند

اگر وضعیت صفحه «ثبت شده» است و باز هم نمایش صفر دارد، مسئله دیگر ایندکس نیست. دو عدد را در گزارش عملکرد ببینید: نمایش و میانگین رتبه. نمایش صفر یعنی صفحه در هیچ جست و جویی حتی در رتبه صد هم نیامده و باید سراغ محتوا و لینک رفت. نمایش بالا با کلیک کم یعنی عنوان و توضیح کوتاه صفحه جذاب نیست.

این تفکیک مهم است چون بیشتر کسانی که دنبال «ایندکس نشدن» می گردند، در واقع این حالت را دارند.

چک لیست پیش از تماس با پشتیبانی هاست

  • فایل ربات ها را باز کنید و ببینید مسیر صفحه بسته نشده باشد.
  • کد پاسخ صفحه را با یک دستور بگیرید و عدد را یادداشت کنید.
  • سرتیتر noindex را در پاسخ سرور و تگ robots را داخل صفحه ببینید.
  • نشانی صفحه را در نقشه سایت جست و جو کنید.
  • یک نسخه تکراری از نشانی بسازید (اسلش آخر) و ببینید تغییر مسیر می دهد یا نه.
  • گزارش اقدام دستی و وضعیت صفحه را در سرچ کنسول نگاه کنید.
  • اگر پاسخ پنج صد دیدید، زمان خرابی را یادداشت کنید؛ برای پیگیری با هاست لازم است.
  • در پایان، تاریخ امروز را بنویسید. بدون تاریخ، دفعه بعد نمی دانید چقدر گذشته است.

کی این کار را به کسی بسپاریم

چهار سنجش اول را هر صاحب سایتی در ده دقیقه انجام می دهد. اگر نتیجه یکی از این دو بود، کار به دانش فنی بیشتری نیاز دارد: نشانی تکراری و انتخاب نسخه اشتباه، یا محتوای کم ارزش در حجم زیاد. در حالت اول باید تنظیم نشانی اصلی و تغییر مسیرها درست شود و در حالت دوم باید صفحه ها بازنویسی یا حذف شوند. خدمات سئو همین دو کار را پوشش می دهد و بقیه موارد را می توانید خودتان انجام دهید.

اشتراک‌گذاری مقاله:

سوالات متداول

نظرات کاربران

ارسال نظر جدید

حداقل ۱۰ و حداکثر ۱۰۰۰ کاراکتر

هنوز نظری ثبت نشده است

اولین نفری باشید که دیدگاه خود را می‌نویسد!

مطالب مرتبط

مقالات مشابه که ممکن است برایتان جالب باشد