404 या 410: हटाई गई पेज के बारे में Google को क्या बताता है

हर कोड असल में क्या कहता है

दोनों कोड का मतलब है कि पेज वहाँ नहीं है। फ़र्क एक शब्द का है: निश्चितता।

404 Not Found कहता है: इस URL पर मेरे पास कुछ नहीं है। यह नहीं बताता कि क्यों, और न यह कि कल कुछ होगा या नहीं। जब सर्वर को किसी पाथ के लिए कोई मेल ही नहीं मिलता, तो यही ईमानदार डिफ़ॉल्ट जवाब है।

410 Gone इससे संकरी और ज़्यादा मज़बूत बात कहता है: इस URL पर सामग्री थी, उसे जान-बूझकर हटाया गया, और वह वापस नहीं आ रही। विनिर्देश 410 को जान-बूझकर किया गया बताता है और मानता है कि देने वाला जानता है कि यह स्थायी है।

पूरी अर्थगत फ़र्क बस इतना है, और बाकी सब इसी से निकलता है। 404 कंधे उचकाना है; 410 एक बयान है। दोनों में से कोई ऐसी गलती नहीं जिसे ठीक करना पड़े: जिस URL का कभी अस्तित्व ही नहीं था उसके लिए सही 404 बिल्कुल ठीक है, और Search Console की नहीं मिला (404) रिपोर्ट के पेज आम तौर पर जैसा चाहिए वैसा ही काम कर रहे होते हैं।

Google असल में दोनों के साथ क्या करता है

यहीं उम्मीद और हक़ीक़त अलग हो जाती हैं, और सटीक होना ज़रूरी है, क्योंकि इस पर मिलने वाली ज़्यादातर सलाह फ़र्क को बढ़ा-चढ़ाकर बताती है।

• दोनों URL को इंडेक्स से हटाते हैं। कोई भी मरी हुई पेज को रैंक करता नहीं छोड़ता। मंज़िल एक ही है।
• 410 को थोड़ा ज़्यादा अंतिम माना जाता है। Google ने कहा है कि वह 410 को 404 से कुछ तेज़ी से निपटाता है: URL पहले हटता है और दोबारा कम आज़माया जाता है। उस «कुछ» का वज़न असली है: फ़र्क एक-दो क्रॉल चक्रों का है, हफ़्तों का नहीं।
• दोनों को फिर भी दोबारा क्रॉल किया जाता है। Google 410 पर लौटकर देखेगा कि आपका मतलब यही था। 410 कोई स्थायी आदेश नहीं है कि दोबारा कभी न आना, और 410 के बाद 200 देने लगा URL फिर से इंडेक्स हो जाएगा।

तो ईमानदार निचोड़ यह है: 404 की जगह 410 चुनना आपको थोड़ा तेज़ हटाव और साफ़ संकेत देता है, अलग नतीजा नहीं। जब जवाब मालूम हो तब यह करने लायक है, और इसके लिए ऐप्लिकेशन दोबारा बनाने लायक नहीं। असली नुकसान नीचे की दो गलतियों में है: सब कुछ होमपेज पर मोड़ देना, और «पेज नहीं मिला» वाली स्क्रीन 200 स्टेटस के साथ देना।

410 कब सही जवाब है

410 तब लें जब आपने फ़ैसला किया है और उस पर टिके रहने को तैयार हैं:

• कोई उत्पाद, लिस्टिंग या आयोजन जो खत्म हो चुका है और जिसका कोई उत्तराधिकारी नहीं। समय बीत चुकी नौकरी की सूचना, बंद हो चुकी नीलामी, बिना विकल्प के बंद किया गया सामान।
• जो सामग्री आपने जान-बूझकर मिटाई — बंद की गई लैंडिंग पेज, सफ़ाई में हटाया गया पतला पेज, सोच-समझकर उतारा गया लेख।
• हटाई गई उपयोगकर्ता सामग्री: मिटाए गए खाते की प्रोफ़ाइल, हटाई गई पोस्ट, नीति के कारण उतारी गई कोई भी चीज़।
• पुरानी संरचना के वे URL जिनके बारे में आप निश्चित हैं, जहाँ कोई समतुल्य पेज नहीं है और रीडायरेक्ट करना झूठ होगा।
• हैक या स्पैम इंजेक्शन के बाद की सफ़ाई, जब हज़ारों कचरा URL इंडेक्स हो गए हों और आप उन्हें जितना निर्णायक हो सके हटाना चाहते हों।

यही आख़िरी मामला है जहाँ 410 सचमुच अपनी कीमत वसूल करता है। जब किसी क्रॉलर ने दसियों हज़ार ऐसे URL खोज लिए हों जिनका होना ही नहीं चाहिए था, तब थोड़ी-सी तेज़ी और कम दोहराव जुड़कर मायने रखने लगते हैं।

404 कब सही जवाब है

404 तब लें जब आप निश्चित न हों, और ऐसा माने से ज़्यादा बार होता है:

• गलत टाइप किया या अंदाज़े से लिखा URL। वहाँ कभी कुछ था ही नहीं। 404 अक्षरशः सही है।
• ऐसा पेज जो लौट सकता है — मौसमी श्रेणी, स्टॉक से बाहर कोई उत्पाद जिसे आप फिर भरेंगे, अस्थायी रूप से अप्रकाशित लेख।
• हर वह मामला जहाँ फ़ैसला आपने नहीं किया, या जहाँ आप बता ही नहीं सकते कि हटाना जान-बूझकर था या नहीं। बिना मेल वाले रूट पर 404 देने वाला फ़्रेमवर्क ठीक काम कर रहा है।
• बिना जाँची बड़ी सफ़ाई। अगर 10,000 URL में से यह अंदाज़ा लगाना पड़े कि कौन-से जान-बूझकर हटाए गए थे, तो सबके लिए 404 ज़्यादा सुरक्षित जवाब है।

404 डिफ़ॉल्ट है तो किसी वजह से। वह उस तरह कभी गलत नहीं होता जिस तरह गलत जगह लगाया 410 होता है: जिसे आप बाद में बहाल कर दें, उस पर लगा 410 एक ऐसा दावा है जिसे वापस लेना पड़ता है।

सॉफ़्ट 404: जो असल में भारी पड़ता है

सॉफ़्ट 404 वह पेज है जो इंसान से कहता है «नहीं मिला» और क्रॉलर को 200 OK लौटाता है। पूरे विषय में यही सबसे महँगी गलती है, और लगभग हमेशा अनजाने में होती है।

इसे पैदा करने के तीन तरीक़े:

• कस्टम एरर पेज 200 के साथ दिया जाना। टेम्पलेट रेंडर होता है, स्टेटस कोड कभी सेट ही नहीं हुआ, और अब साइट का हर मरा URL असली पेज जैसा दिखता है।
• सारे मरे URL होमपेज पर मोड़ देना। होमपेज 200 देता है, तो हर हटाया गया URL अब एक जीवित पेज की तरह दिखता है जिसकी सामग्री का माँगी गई चीज़ से कोई लेना-देना नहीं। Google इसका साफ़ ज़िक्र करता है और इसे सॉफ़्ट 404 मानता है।
• क्लाइंट पर रेंडर होने वाला ऐप्लिकेशन जो डेटा लाता है, कुछ नहीं पाता और खाली स्थिति दिखा देता है — जबकि HTML दस्तावेज़ ख़ुद 200 के साथ दिया गया था।

कीमत असली है: न होने वाले पेजों पर खर्च हुआ क्रॉल बजट, इंडेक्स में डुप्लिकेट पतली सामग्री, और Search Console में चुपचाप बढ़ती सॉफ़्ट 404 रिपोर्ट। इलाज हमेशा एक ही है — स्टेटस कोड को उसी से मिलाइए जो पेज कह रहा है। आपकी एरर पेज असल में क्या लौटाती है, यह HTTP स्टेटस कोड चेकर से देखें; ब्राउज़र नहीं बताएगा, क्योंकि 404 और 200 वाली पेज स्क्रीन पर एक जैसी दिखती हैं।

मरे URL पर क्या देना है, यह कैसे तय करें

चार विकल्प, उसी क्रम में जिसमें इन्हें देखना चाहिए।

1. रीडायरेक्ट करें, अगर सचमुच कोई समतुल्य है

अगर कोई दूसरी पेज वाक़ई इसकी जगह लेती है — ढाँचा बदलने के बाद का नया URL, उत्तराधिकारी उत्पाद, मिलाया गया लेख — तो 301 इन दोनों एरर कोड से बेहतर है, क्योंकि वह पुराने URL की कमाई हुई लिंक-संकेत बचा लेता है। 301 और 302 रीडायरेक्ट की गाइड बताती है कौन सा लें। कसौटी यह है कि नई पेज पर पहुँचा विज़िटर यह महसूस करेगा या नहीं कि उसे वही मिला जिस पर उसने क्लिक किया था। अगर नहीं, तो रीडायरेक्ट मत कीजिए।

2. 410 दें, अगर आपने जान-बूझकर हटाया

कोई समतुल्य नहीं, और आप जानते हैं कि हटाना सोच-समझकर और स्थायी था। यही कह दीजिए।

3. 404 दें, अगर निश्चित नहीं हैं

कोई समतुल्य नहीं, और यह पक्का नहीं कि पेज हमेशा के लिए गई। डिफ़ॉल्ट सही है और आपका कुछ नहीं बिगाड़ता।

4. या पेज रहने दें, अगर उसमें अब भी दम है

कुछ भी मिटाने से पहले पूछने लायक सवाल: क्या इस URL पर अब भी बाहरी लिंक या ट्रैफ़िक आता है? जो पेज विज़िट लाती है उसे हटाने से बेहतर अक्सर अपडेट करना होता है। उसे मिटाकर बेदाग़ 410 देना भी वह सब फेंक देना ही है जो उसने जमा किया था।

वे कोड जो गलती से उठा लिए जाते हैं

कुछ पड़ोसी 404 और 410 की जगह ले लेते हैं, और सब कुछ और ही कहते हैं:

• 403 Forbidden का मतलब है कि संसाधन मौजूद है, मगर आपको देखने की इजाज़त नहीं। न मौजूद सामग्री पर 403 देना क्रॉलर से कहता है कि पेज असली है और रोकी गई है — यह आपका मतलब नहीं था।
• 451 Unavailable For Legal Reasons ख़ास तौर पर क़ानूनी माँग पर हटाई गई सामग्री के लिए है। यह असली, दर्ज कोड है, मज़ाक नहीं, और इसे आम «हमने हटा दिया» के तौर पर नहीं लेना चाहिए।
• 503 Service Unavailable नियोजित डाउनटाइम और रखरखाव का सही कोड है — यह कहता है बाद में आना, जो माइग्रेशन के दौरान बिल्कुल वही है जो आप चाहते हैं, और हमेशा के लिए गई पेज के लिए गलत है।
• खाली पेज के साथ 200 ऊपर वाला सॉफ़्ट 404 है, और सबसे बुरा।

अगर आपको पता नहीं कि इनमें से हर स्थिति में आपका ऐप्लिकेशन क्या लौटाता है, तो मान लेने के बजाय जाँचिए — HTTP स्टेटस कोड की पूरी गाइड हर श्रेणी से गुज़रती है।

आम गलतियाँ

• हर मरे URL को होमपेज पर मोड़ना। Google असंबंधित ठिकाने को सॉफ़्ट 404 मानता है, तो आपको न हटाव मिलता है न लिंक की ताक़त।
• कस्टम 404 पेज को 200 स्टेटस के साथ देना। इंसानों को ठीक लगता है, क्रॉलर से झूठ बोलता है।
• मौसमी चीज़ पर 410 लगाना, फिर पेज बहाल करके सोचना कि वापसी धीमी क्यों है।
• Search Console की 404 रिपोर्ट को बग की सूची समझना। उनमें ज़्यादातर URL टाइपिंग की गलतियाँ, स्क्रैपर के पुराने लिंक और मरी हुई बाहरी कड़ियाँ होते हैं। जिस URL का कभी अस्तित्व ही नहीं था उसका 404 ठीक करने की चीज़ नहीं।
• ऐसे पेज मिटाना जिन पर अब भी ट्रैफ़िक या लिंक हैं, सिर्फ़ इसलिए कि वे पुराने हैं। छाँटने से पहले जाँचिए।
• मरे URL साइटमैप में छोड़ देना। साइटमैप में सिर्फ़ वे URL होने चाहिए जिन्हें आप इंडेक्स कराना चाहते हैं; वहाँ 404 या 410 क्रॉल बजट बर्बाद करता है और चिह्नित होता है।
• आंतरिक लिंक सबसे आख़िर में हटाना। अगर आपका अपना नेविगेशन उस URL पर इशारा कर रहा है जिसे आपने 410 किया है, तो आप Google से दोनों बातें एक साथ कह रहे हैं।

संक्षेप में

404 कहता है «यहाँ कुछ नहीं है»; 410 कहता है «यह यहाँ था, मैंने हटाया, यह वापस नहीं आ रहा»। दोनों URL को इंडेक्स से हटाते हैं, और 410 यह थोड़ा तेज़ी से और कम दोहराव के साथ करता है — हैक या सामग्री की छँटाई के बाद बड़ी सफ़ाई में उपयोगी, और ऐप्लिकेशन दोबारा बनाने की वजह नहीं। जहाँ सचमुच समतुल्य मौजूद है वहाँ इनकी जगह रीडायरेक्ट करें, जब भी संदेह हो 404 लें, और सबसे बढ़कर यह पक्का करें कि आपकी एरर पेज एरर स्टेटस लौटाएँ: 200 के साथ दी गई «पेज नहीं मिला» स्क्रीन सॉफ़्ट 404 है, और वह इन दोनों में से गलत चुनने से कहीं ज़्यादा महँगी पड़ती है। कोई भी URL असल में क्या लौटाता है, यह मुफ़्त HTTP स्टेटस कोड चेकर से जाँचें।

संबंधित टूल और गाइड:

• HTTP स्टेटस कोड लुकअप — हर HTTP स्टेटस कोड और उसके अर्थ के लिए एक त्वरित संदर्भ।
• 301 और 302 रीडायरेक्ट: कौन सा चुनें और SEO क्या देखता है — 301 कब और 302 कब इस्तेमाल करें

अक्सर पूछे जाने वाले सवाल