چرا صفحات سایت دیر ایندکس می شوند؟

گوگل چگونه کار می کند ؟

گوگل به عنوان محبوب ترین موتور جستجوی اینترنتی گاهی آنقدر محبوب و مهم جلوه می شود که دیگر موتورهای جستجو سهمی بسیار کم از جستجوها را از آن خود می کنند و هر گاه می خواهیم در مورد بهینه سازی سایت برای موتور جستجو صحبت کنیم به گونه ای بهینه سازی سایت برای گوگل را بحث می کنیم. گوگل از قوائد اصلی خزش در موتورهای جستجو تبعیت می کند. بدین معنی که گوگل به عنوان یک crawler (‌خزنده) به صفحه اینترنتی شما سر می زند و با سر زدن به یک صفحه و اسکن سورس آن صفحه به سایر صفحات لینک شده در صفحات سایت اقدام به ایندکس گذاری و ذخیره سایر صفحات نیز می کند. پیشنهاد می کنم برای اینکه بفهمیم گوگل چطور کار می کند کتاب اریک اشمیت را باعنوان how google works را بخوانید. در این کتاب Eric Schmidt و Jonathan Rosenberg بیشتر در مورد چگونگی خلق و سیاست های اجرایی گوگل صحبت می کنند اما در بسیاری از نکات ارزشمندی وجود دارد که نمی توان از آن ها به راحتی گذشت. اریک بارها در این کتاب قید می کند که اگر استراتژی خاصی دارید حتما غلط است چراکه مهم نیست استراتژی یا بیزنس پلن شما چیست مهم این هست که در روند کار بارها تغییر خواهد کرد و اصلا مشخص نیست شما به چه سمتی می روید. داستان کارکرد گوگل نیز همین است . گوگل دیگر به روزرسانی های خود را از چند سال گذشته نام گذاری نمی کند و سعی می کند الگوریتم رفتاری خود را مانند یک انسان دراورد که کاملا ناشناخته و نامشخص است اما آن چیزی که می توان از ان مطمئن بود این است که گوگل طرفدار صداقت کلام – اعتماد و اعتبار به برند شماست و اگر شما بتوانید این گونه فاکتورها را رعایت کنید حتما در صدر فهرست نتایج حضور خواهید داشت. پیشنهاد می کنم مقاله ما را در مورد نظریه E-A-T یا (‌خبرگی-اصالت-اعتماد ) بخوانید.

ایندکس گوگل چیست؟

در تصویر بالا به درستی مسیری از یک خزش کامل خزنده ای مانند گوگل ترسیم شده است . البته که گوگل هیچ گاه الگوریتم خزش خود را اعلام نکرده است اما می شود تصور کرد که روش مرکزی آن خارج از این مسیر نخواهد بود. ابتدا خزنده وارد یک صفحه اینترنتی می شود و اقدام به خزش و لود صفحه مورد نظر می کند که در این بین به تحلیل محتوای صفحه می پردازد و سپس نسخه ای به صورت کش یا ایندکس در بانک اطلاعاتی خود ذخیره می کند . با تحلیل صورت گرفته و کراس رفرنس کردن با الگوریتم رتبه بندی اقدام به یک مسیر رفت و برگشتی بین سیستم امتیازدهی و بانک اطلاعاتی می کند و هنگامی که کاربر کوئری خاصی را ارسال می کند گوگل فهرست تحلیل شده رتبه بندی را برای کاربر نهایی نمایش می دهد. اینکه الگوریتم رتبه دهی سایت ها دقیقا چگونه کار می کند در مقاله ای جدا به آن خواهیم پرداخت اما سعی میکنیم در این مقاله به کلیات و جزئیات مربوط به ایندکس گذاری گوگل بپردازیم.

حالا ممکن است بپرسید پس چرا وقتی یک نقشه سایت را به گوگل ارسال می کنیم و در بخش search console‌گوگل submit sitemap را ارسال می کنیم تعداد بیشماری صفحه داریم که ثبت شده اند اما ایندکس نشده اند.

این تصویر به درستی نمایش میدهد که اگر سایت شما ۲۷ هزار صفحه ثبت شده از طریق نقشه سایت داشته باشد و فقط حدود نصف آن که اینجا ۱۳ هزار صفحه است ایندکس شده باشد معنی آن ضعف در سایت شما در انتقال خزنده گوگل به صفحه ایندکس نشده است و باید به دنبال خطاهای اصلی ایندکس نشدن صفحات سایت بود که در ادامه این مطلب به آن می پردازیم.

بررسی آخرین تاریخ ایندکس صفحه اینترنتی توسط گوگل

در تصویر تحلیلی زیر مشاهده می کنید که حرکت گوگل در سایت مقصد دربالاترین حالت ۲۸ هزار صفحه در روز است و پایین ترین هزار صفحه است و با توجه به ایندکس نبودن ۱۳ هزار صفحه ای کاملا مشخص است که منظومه لینک سازی داخلی درستی در سایت وجود ندارد و نتوانسته است گوگل را به درستی به صفحات مختلف هدایت کند.

راه حل درست ترمیم این سایت فقط از طریق لینک سازی داخلی میسر نمی شود. گاهی با تحلیل کامل و ژرف سایت به این نقطه می رسیم که مسائل مهمتری مانند UI/UX در دست کار است و باید تغییرات بسیار زیادی را در جلوه های بصری و ظاهرکاربری سایت ایجاد کرد تا به یک اکوسیستم درست لینک های سایت برسیم.

در مقاله ای جداگانه حتما به بررسی HEO و تقابل آن با SEO ‌می پردازیم که بهینه سازی بصری و بهینه سازی برای موتورهای جستجو چه اشتراکات و چه تمایزهایی دارند و چگونه می توانند با ایجاد تغییرات بصری و فنی منجر به افزایش میانگین رتبه های سایت شوند. از این رو صرفا ایندکس نشدن صفحات گوگل را به گردن مشکلات فنی سایت نیاندازیم و شایدبسیاری از موارد مرتبط با ویژگی های اساسی سایت در گردش خزنده ها در سایت باشد.

با توجه به تصویر بالا مشخص است که یک ظرفیت محدودی برای ربات جستجوگر وجود دارد و ممکن است در این ظرفیت محدود صرفا صفحاتی را سربزند که مانند سرزمین های جدا از هم باشند و قادر به گردش مناسب در سایت نباشد.

دلایل اصلی دیر ایندکس شدن سایت در گوگل

به خوبی بخاطر داریم که در سال ۲۰۱۲ باب جونز از MOZ‌ مقاله ای نوشت در مورد ۸ دلیل اصلی کندی ایندکس سایت در گوگل که مورد توجه خیلی از سئو کارها قرار گرفت . نمی خواهم صحبت های ۶ سال پیش را تکرار کنم و یا مانند برخی از همکاران به ترجمه بپردازیم چراکه معتقدیم در گروه نکست سین که بسیاری از قوانین اصلی سئو در لوکال مارکت که کشور مورد هدف جستجو است کاملا می تواند داده های مجزا و متفاوتی داشته باشد و رعایت یکسری از اصول صرفا توصیه شده در خارج از کشور می تواند منجر به رعایت کورکورانه از قوائد نابه جایی باشد که راه به جایی نمی برد. خوب باب جونز در اون مقاله خیلی خلاصه این ۸ عنصر اصلی دیر ایندکس شدن را به این صورت مطرح کرد :

مشکلات مرتبط با robots.txt
htaccess و موارد عدم رعایت آن
متاتگ ها – دسترسی های ربات ها
نقشه های سایت
داینامیک بودن ادرس ها و متغیرهای URL صفحات
امتیاز صفحه پایین Page Rank
اتصال – پایداری سایت و DNS های دامنه
مشکلات به ارث برده دامنه

این ۸ عنصر شاید به جرات بشود گفت که بخش زیادی از آن درست است و نباید از آن گذشت اما چیزی که شاید در سال ۲۰۱۸ که سال نگارش مقاله من است بتوانم روی آن تمرکز بیشتری داشته باشم واژه مهمتری به نام InLink است. این واژه اختصار Internal Linking ‌است که به UI/UX بسیار مرتبط است. به طور ساده می توان گفت که اگر صفحات سایت شما از لینک سازی داخلی خوبی بهره مند نباشند نمی توانند موتور جستجو را به درستی به یکدیگر هدایت کنند.

راه حل ها و مراحل پیشنهاد سریعتر شدن ایندکس سایت در گوگل

چند روز پیش یعنی حدود ۱۰ روز پیش ۵ اگوست کلی بری لند در مقاله ای ۱۰ مرحله برای تسریع ایندکس گذاری در گوگل به تشریح موارد مهم در ثبت صفحات در گوگل پرداخت . من با حجم زیادی از این مقاله موافقم پس سعی می کنم با استفاده از صحبت های این فرد به مقاله خودم بپردازم. ابتدا این ۱۰ مورد را لیست می کنم :

ثبت سایت در گوگل وبمستر تولز (‌ کنسول سرچ گوگل )‌
اضافه کردن نقشه سایت با فرمت XML در کنسول
ایجاد و ثبت پروفایل های شبکه های اجتماعی
بدست آوردن لینک های معتبر مرتبط خارجی
سرعت وب سایت
ارتقا ساختار لینک سازی داخلی (‌ موافقم شدید )‌
ثبت مطالب سایت در رسانه هایی مانند Digg ‌(‌ زیاد در ایران کاربرد ندارد )‌
پینگ زدن وب سایت (‌ باید در یک مقاله کامل توضیح بدهم پینگ زدن یعنی چی و چطور می شود از سرویس های مرتبط استفاده کرد. )‌
ایجاد و بهینه سازی ناوبری سایت در بخش منوهای سایت در هیدر و فوتر

البته در مورد سرعت وب سایت علیرضا پیر از گروه نکست سین در مقاله ای با عنوان ” سرعت سایت تاثیری بر ایندکس ندارد ” این موضوع را به چالش کشیده است. به نوعی درست هم است سرعت سایت مانع ایندکس شدن صفحات نیست بلکه برمعیار رتبه بندی سایت ها در نمایش نتایج تاثیر گذار است.

آموزش ترفند ایندکس شدن سریع مطالب در گوگل

آموزش ایندکس کردن دستی سریع مطالب در گوگل در کمتر از چند ساعت یکی از عناوین مهمی است که بسیاری از افراد به دنبال آن در جستجوهای خود هستند. راه حل اصلی این مورد در بخش وبمستر کنسول گوگل است . در صفحه اصلی این سرچ کنسول شما ابزاری به نام Fetch & Render دارید . یکی از مشتریان در ایام اخیر سوالی را از ما مطرح کرد نسبت به اینکه :

آیا با هر تغییری باید درخواست ایندکس مجدد به گوگل فرستاد ؟!
آیا بیش از حد تکرار این فعالیت و درخواست ایندکس مجدد برای سایت ضرر ندارد ؟

جواب به این سوال، منطقی ساده دارد. شما باید بدانید که وظیفه sitemap و نقشه سایت شما این است که درخواست ایندکس و ارسال به روز رسانی های صفحات را به موتورهای جستجو بفرستد. عملا با انجام این کار بیش از حد شما گوگل را دچار مشکل خاصی نخواهید کرد چراکه درخواست ایندکس شما به این صورت نیست که گوگل یا هر موتور جستجو به حرف شما کند و بلا درنگ آن صفحه را ایندکس کند. بلکه درخواست شما به مرحله تعلیق می رود و در زمان مناسب ایندکس گذاری می شود.

ترفندهای اصلی ایندکس پذیری سریع سایت :

سیگنال های اشتراک گذاری مطلب در شبکه های اجتماعی مورد هدف گوگل مانند توییتر – فیس بوک – گوگل پلاس و لینکدین
ایجاد ارتباط و تعامل با کاربران سایت از طریق بخش نظرات سایت – نقد و بررسی
حجم متنی زیاد و اصالت مطلب و کسب اعتبار از طریق نقل قول و ارجاع دادن برخی از نوشته ها (‌ Citation )
TD-IDF و Gap Analysis رقبا و تحلیل سرمتن های مورد هدف کاربران

نتیجه گیری

ایندکس گذاری در گوگل فعالیتی نیست که بصورت مستقیم شما بتوانید در آن دخل و تصرف داشته باشید و کاملا به گوگل مرتبط است که چطور و چه زمانی سایت و صفحات سایت شما را در خود فهرست کند. این موضوع کاملا مرتبط است به ساختاربندی سایت شما و محتوای مفید سایت شما. برخی از سایت های بزرگ هنوز در ایران هستند که بیش از ۵۰ درصد صفحات آن ها ایندکس نشده اند. این یک موضوع همه گیر است اما رعایت اصول اساسی بالا می تواند سایت شما را بیشتر مورد توجه ربات های موتور جستجو کند.