सेमल्ट मुख्य कारण बताता है कि Googlebot कुछ साइटों पर प्रत्येक पृष्ठ को क्रॉल क्यों नहीं करता है
हमने ग्राहकों से शिकायत की है कि उनकी कुछ साइटों को Googlebot द्वारा क्रॉल नहीं किया जा रहा है। SEO विशेषज्ञों के रूप में, समस्या का पता लगाना और उसे ठीक करना हमारा काम है ताकि हमारे ग्राहक खुश रह सकें और अपनी साइट को चरम स्थिति में रख सकें।
Google के जॉन म्यूएलर कुछ कारकों के बारे में बताते हैं जो किसी भी साइट के पृष्ठों को क्रॉल करने के तरीके को प्रभावित करते हैं। बेशक, यह विशिष्ट नहीं था, लेकिन यह हमें सही दिशा में इंगित करता है। उस पोस्ट में, जॉन इस बात पर भी प्रकाश डालता है कि किसी साइट के कुछ पृष्ठ क्रॉल क्यों नहीं किए जाते हैं।
जिस सवाल ने इस प्रतिक्रिया को प्रेरित किया, वह इस बात से चिंतित था कि Google ने अपेक्षाकृत धीमी गति से वेबसाइटों को क्यों क्रॉल किया, जो आज वेबसाइटों की भारी संख्या को संभालने के लिए अपर्याप्त है।
Google क्रॉल बजट को समझना
यह पहला क्षेत्र है जिस पर हम ध्यान केंद्रित करना चुनते हैं क्योंकि यह इस बारे में बहुत कुछ बताता है कि Google कितनी बार किसी वेबसाइट को क्रॉल करता है। Googlebot (Google के वेब क्रॉलर का नाम) वेब पेजों के माध्यम से जाता है और उन्हें अनुक्रमित रखता है ताकि वे SERP पर रैंक कर सकें। हालाँकि, वेबसाइटों की बड़ी मात्रा एक समस्या बन जाती है, यही वजह है कि Google ने एक रणनीति तैयार की जिसमें वह केवल उच्च-गुणवत्ता वाले वेब पेजों को अनुक्रमित करता है। इसे किसी प्रकार के फिल्टर के रूप में सोचें। उन सभी संसाधनों को उन पृष्ठों पर खर्च करने के बजाय, जो संभवतः उपयोगकर्ता के लिए अप्रासंगिक हैं, Google केवल उच्च गुणवत्ता वाले वेब पृष्ठों पर ध्यान केंद्रित करता है।
किसी साइट का क्रॉल बजट वह संसाधन है जो Google उस साइट को क्रॉल करने के लिए समर्पित करता है। यह भी ध्यान रखना महत्वपूर्ण है कि क्रॉल होने वाली हर चीज अनुक्रमित नहीं होती है। वेब पेजों को केवल तभी अनुक्रमित किया जाता है जब उन्हें क्रॉल किया जाता है और उन्हें मूल्यवान समझा जाता है।
एक बार जब आपका क्रॉल बजट समाप्त हो जाता है, तो Google आपके वेब पेजों को क्रॉल करना बंद कर देता है।
अपना क्रॉल बजट सेट करना
एक वेबसाइट क्रॉल बजट चार मुख्य कारकों द्वारा निर्धारित किया जाता है:
- साइट का आकार: बड़ी वेबसाइटों का क्रॉल बजट बड़ा होता है।
- सर्वर सेटअप: आपकी साइट का प्रदर्शन और लोड समय इस बात पर प्रभाव डाल सकता है कि आपकी साइट को कितना क्रॉल बजट आवंटित किया गया है। जैसा कि हमने कहा, बेहतर साइटों को बेहतर क्रॉल बजट मिलता है, इसलिए जब आपकी साइट उत्कृष्ट प्रदर्शन करती है, तो उसे अधिक क्रॉल बजट मिलता है।
- अद्यतन आवृत्ति: नियमित अपडेट का मतलब है ताजा सामग्री का नियमित प्रवाह। Google नियमित अपडेट प्राप्त करने वाली वेबसाइटों को प्राथमिकता देगा और उन्हें अधिक महत्वपूर्ण क्रॉल बजट देगा।
- कड़ियाँ: आपकी आंतरिक लिंकिंग संरचना और इनबाउंड लिंक भी आपकी वेबसाइट को मिलने वाले क्रॉल बजट में योगदान करते हैं।
यह समझना आसान है कि जब आपकी कुछ सामग्री वेबसाइट के स्वामी के रूप में क्रॉल नहीं होती है तो आप इतने चिंतित क्यों होंगे। इससे आपकी रैंकिंग की संभावना कम हो जाती है, खासकर जब यह आपकी सबसे मूल्यवान सामग्री है जिसे छोड़ दिया जा रहा है।
क्रॉलिंग समस्याओं को कैसे ठीक करें
अपने मेटा टैग या robots.txt फ़ाइल की समस्याओं को ठीक करना
इस श्रेणी के अंतर्गत आने वाले मुद्दे आमतौर पर पता लगाने और हल करने में आसान होते हैं। कभी-कभी, आपकी पूरी वेबसाइट या आपकी वेबसाइट के विशिष्ट पृष्ठ Google द्वारा अनदेखी रह सकते हैं क्योंकि Googlebot को उनमें प्रवेश करने की अनुमति नहीं है।
कई बॉट कमांड हैं जो पेज को क्रॉल करने से रोकते हैं, और इसे आपके मेटा टैग और robots.txt फाइल की जांच करके ठीक किया जा सकता है। सही पैरामीटर होने और उनका पर्याप्त रूप से उपयोग करने से, वास्तव में, आपको अपना क्रॉल बजट बचाने और Googlebot को सही दिशा में ले जाने में मदद मिलेगी।
नो-फॉलो लिंक्स होना भी संभव है। इस मामले में, क्रॉलर एक पृष्ठ को अनुक्रमित करता है लेकिन लिंक का अनुसरण करने से रोक दिया जाता है। यह आपकी साइट के लिए अच्छा नहीं है क्योंकि Googlebot नए पृष्ठ खोजने के लिए इन आंतरिक लिंक का उपयोग करता है। यह हमें अगले बिंदु पर ले जाता है।
आंतरिक टूटी कड़ियाँ
उपयोगकर्ताओं और क्रॉलर दोनों के लिए लिंक टूटना कभी भी अच्छा अनुभव नहीं होता है। अनुक्रमित होने वाले प्रत्येक पृष्ठ के लिए, साइट के क्रॉल बजट का एक भाग निकाल लिया जाता है। यह जानकर, हम समझते हैं कि जब बहुत सारे टूटे हुए लिंक होंगे, तो बॉट आपके सभी क्रॉल बजट को अनुक्रमित करने में बर्बाद कर देगा, लेकिन यह आपके प्रासंगिक और गुणवत्ता वाले पृष्ठों पर नहीं पहुंचेगा।
अपने टूटे हुए लिंक को ठीक करने से आपकी गुणवत्ता सामग्री को Googlebot के लिए अधिक दृश्यमान बनाने में सहायता मिलती है।
आंतरिक टूटे हुए लिंक URL टाइपो (जहां हाइपरलिंक किए गए URL पते में कोई टाइपो है), पुराने URL या अस्वीकृत एक्सेस वाले पेज का परिणाम हो सकता है।
सर्वर संबंधित समस्या
आपका सर्वर भी एक कारण हो सकता है कि Google को कुछ पेज नहीं मिलते हैं। आपकी वेबसाइट पर अधिक मात्रा में 5xx त्रुटियाँ होना इस बात का संकेत हो सकता है कि आपके सर्वर में कुछ गड़बड़ है। इस समस्या को हल करने के लिए, हम उन क्षेत्रों को फिर से कॉन्फ़िगर करते हैं जहां त्रुटियां हैं और बग्स को ठीक करते हैं।
कभी-कभी, हो सकता है कि आपका सर्वर ओवरलोड हो रहा हो। इस मामले में, यह उपयोगकर्ता और बॉट के अनुरोधों का जवाब देना बंद कर देता है। जब ऐसा होता है, तो आपके दर्शक और साथ ही बॉट उस पेज तक नहीं पहुंच पाते हैं।
चरम स्थितियों में, हम एक वेब सर्वर गलत कॉन्फ़िगरेशन देख सकते हैं। यहां, साइट मानव उपयोगकर्ताओं के लिए दृश्यमान है, लेकिन यह साइट क्रॉलर को एक त्रुटि संदेश देती रहती है। यह समस्या काफी मुश्किल है क्योंकि इसे नोटिस करना मुश्किल हो सकता है। इस मामले में, वेबपेज Googlebot के लिए अप्राप्य है, जिससे बॉट्स द्वारा क्रॉल और अनुक्रमित होना असंभव हो जाता है।
साइटमैप एक्सएमएल के साथ समस्याएं
साइटमैप आपकी वेबसाइट पर तत्वों की एक विस्तृत श्रृंखला को प्रभावित करता है। आपके साइट मानचित्र में URL को प्रासंगिक बनाए रखना आवश्यक है। उन्हें अद्यतन और सही किया जाना चाहिए। यह महत्वपूर्ण है क्योंकि जब आपका क्रॉल बजट अपर्याप्त होता है, तो आपका साइटमैप क्रॉलर बॉट को सबसे प्रासंगिक साइटों पर निर्देशित करता है। इस तरह, आपके सबसे महत्वपूर्ण पृष्ठ अभी भी अनुक्रमित होते हैं।
वेब आर्किटेक्चर के साथ गलतियाँ
यह हल करने के लिए सबसे चुनौतीपूर्ण मुद्दों में से एक है। इस श्रेणी के अंतर्गत आने वाली समस्याएं आपकी वेबसाइट में क्रॉलर को ब्लॉक या विचलित कर सकती हैं। यह आपके आंतरिक लिंकिंग के साथ समस्याओं के रूप में आ सकता है। या यह गलत रीडायरेक्ट का मामला हो सकता है। इस मामले में, उपयोगकर्ताओं और बॉट को कम प्रासंगिक पृष्ठों पर अग्रेषित किया जाता है। अंत में, हमारे पास डुप्लिकेट सामग्री है। दुर्भाग्य से, डुप्लिकेट सामग्री सबसे आम एसईओ मुद्दों में से एक है। यह भी एक मुख्य कारण है कि आपका क्रॉल बजट समाप्त हो जाता है, और Google के लिए आपके कुछ पृष्ठों को क्रॉल करना कठिन हो जाता है।
निष्कर्ष
Google न केवल सामग्री-संबंधी समस्याओं के कारण या आपके द्वारा गलत कीवर्ड के लिए अनुकूलित किए जाने के कारण आपकी सामग्री को खोजने में असमर्थ है। यहां तक कि अनुकूलित सामग्री भी Google के लिए अदृश्य रह सकती है यदि उसे क्रॉल करने की समस्या है।
हम यहां यह पता लगाने के लिए हैं कि क्या गलत है और साथ ही हम उस मुद्दे को कैसे ठीक कर सकते हैं, इस पर एक योजना का मसौदा तैयार कर रहे हैं। संपर्क करें आज व सेमल्ट आपकी सामग्री को रडार पर वापस लाने में आपकी सहायता कर सकता है।