तपाईंको वेबसाइटको रूटमा भण्डारण गरिएको एक रोबोट.txt फाइल वेब रोबोटहरूलाई खोजी इन्जिन मकडीरले कुन निर्देशिका र फाइलहरूलाई क्रल गर्न अनुमति दिइनेछ भनेर बताउनेछ। यो रोबोट.txt फाइल प्रयोग गर्न सजिलो छ, तर त्यहाँ केही चीजहरू छन् जुन तपाईंले सम्झनु पर्छ:
- कालो टोपी वेब रोबोट तपाईंको रोबोट.txt फाइललाई बेवास्ता गर्दछ। सबैभन्दा सामान्य प्रकार मालवेयर बटहरू र रोबोटहरू फसलको लागि इमेल ठेगाना खोज्दै छन्।
- केहि नयाँ प्रोग्रामरहरूले रोबोटहरू लेख्ने रोबोट.txt फाइललाई बेवास्ता गर्दछन्। यो सामान्यतया गल्तीद्वारा गरिन्छ।
- जो कोहीले तपाईंको रोबोट.txt फाइल देख्न सक्छ। तिनीहरू संधै रोबोट.txt भनिन्छ र सधैं वेबसाइटको रूटमा भण्डारण गरिन्छ।
- अन्तमा, यदि कसैले फाइल वा डाइरेक्टरीसँग लिङ्क गर्दछ जुन तपाईंको रोबोट.txt फाइलद्वारा बहिष्कार गरिएको पृष्ठबाट तपाईंको रोबोट.txt फाइलद्वारा बहिष्कार गरिएको छ भने, खोजी इन्जिनहरूले जसरी पनि यसलाई पत्ता लगाउन सक्दछ।
कुनै पनि महत्त्वपूर्ण लुकाउन रोबोट.txt फाइलहरू प्रयोग नगर्नुहोस्। बरु, तपाइँ महत्त्वपूर्ण जानकारी सुरक्षित पासवर्ड पछि पछाडि राख्नुहुन्छ वा वेबलाई पूर्ण रूपमा छोड्नु पर्छ।
यी नमूना फाइलहरू कसरी प्रयोग गर्ने
नमूनाबाट पाठ प्रतिलिपि गर्नुहोस् जुन तपाईं के गर्न चाहानुहुन्छ, र तपाईंको रोबोट.txt फाइलमा टाँस्नुहोस्। तपाईंको मनपर्ने कन्फिगुरेसनसँग मेल खाने रोबोट, डाइरेक्टरी र फाईल नामहरू परिवर्तन गर्नुहोस्।
दुई आधारभूत रोबोट.txt फाइलहरू
प्रयोगकर्ता-एजेन्ट: *
अस्वीकार गर्नुहोस्: /
यो फाइलले भन्छ कि कुनै पनि रोबोट (प्रयोगकर्ता-एजेन्सी: *) लाई यसले पहुँच गर्दछ जुन साइटमा हरेक पेजलाई बेवास्ता गर्नु पर्दछ (अस्वीकार: /)।
प्रयोगकर्ता-एजेन्ट: *
अस्वीकार गर्नुहोस्:
यो फाइलले भन्छ कि कुनै पनि रोबोट (प्रयोगकर्ता-एजेन्सी: *) लाई यसले पहुँच गर्दछ जुन साइटमा हरेक पृष्ठ हेर्न अनुमति छ (अस्वीकार:)।
तपाईं यो पनि आफ्नो रोबोट.txt फाइल रिक्त छोडेर वा तपाईंको साइटमा कुनै पनि नहुन सक्नुहुनेछ।
रोबोटहरूबाट विशिष्ट निर्देशिकाहरू सुरक्षित गर्नुहोस्
प्रयोगकर्ता-एजेन्ट: *
अस्वीकार गर्नुहोस्: / cgi-bin /
अस्वीकार गर्नुहोस्: / temp /
यो फाइलले भन्छ कि कुनै पनि रोबोट (प्रयोगकर्ता-एजेन्सी: *) लाई पहुँच गर्दछ जुन यसले निर्देशिकाहरू / cgi-bin / and / temp / (अस्वीकरण: / cgi-bin / Disallow: / temp /) लाई बेवास्ता गर्दैन।
रोबोटहरूबाट विशिष्ट पृष्ठहरू सुरक्षित गर्नुहोस्
प्रयोगकर्ता-एजेन्ट: *
अस्वीकार गर्नुहोस्: /jenns-stuff.htm
अस्वीकार गर्नुहोस्: / गोपनीयता API
यो फाइलले भन्छ कि कुनै पनि रोबोट (प्रयोगकर्ता-एजेन्सी: *) यसले पहुँच गर्दछ जुन फाइलहरू /jenns-stuff.htm बेवास्ता गर्नुपर्छ र /private.php (अस्वीकार: /jenns-stuff.htm अस्वीकार: /private.php)।
तपाईंको साइट पहुँच गर्नबाट एक विशिष्ट रोबोट रोक्नुहोस्
प्रयोगकर्ता-अभिकर्ता: Lycos / xx
अस्वीकार गर्नुहोस्: /
यो फाईलले Lycos बट (प्रयोगकर्ता-एजेन्ट: Lycos / xx) लाई साइटमा कहीं पनि पहुँच अनुमति छैन (अस्वीकार: /)।
केवल एक मात्र विशिष्ट रोबोट पहुँच अनुमति दिनुहोस्
प्रयोगकर्ता-एजेन्ट: *
अस्वीकार गर्नुहोस्: /
प्रयोगकर्ता-अभिकर्ता: Googlebot
अस्वीकार गर्नुहोस्:
यो फाईलले पहिले सबै रोबोटहरू जस्तै हामीले माथि गर्नुभएन, र स्पष्ट रूपमा Googlebot (प्रयोगकर्ता-एजेन्ट: Googlebot) लाई सबै कुराको पहुँच छ (अस्वीकार:) लाई अनुमति दिन्छ।
तपाईं चाहानुहुन्छ निष्कर्ष निकाल्न बहुविध लाइनहरू मिलाउनुहोस्
जबकि यो एक धेरै समावेशी प्रयोगकर्ता-एजेन्टर लाइन प्रयोग गर्न राम्रो छ, जस्तै प्रयोगकर्ता- एजेन्टर: *, तपाईलाई निर्दिष्ट हुन सक्नुहुन्छ जस्तो तपाईं। याद गर्नुहोस् कि रोबोटले फाइल पढ्नको लागि पढ्नुहोस्। त्यसैले यदि पहिलो लाइनहरू भन्छन् कि सबै रोबोटहरू सबैबाट अवरुद्ध छन्, र त्यस पछि पछि फाइलमा यो भन्नाले सबै रोबोटहरूलाई सबैको पहुँचलाई अनुमति दिइन्छ, रोबोटहरू सबैको पहुँच हुनेछ।
यदि तपाइँ निश्चित भएन कि तपाईले तपाइँको रोबोट.txt फाइल सही रूपमा लेख्नु भएको छ भने, तपाईं आफ्नो robots.txt फाइल जाँच गर्न वा एउटा नयाँ लेख्न Google को वेबमास्टर उपकरणहरू प्रयोग गर्न सक्नुहुनेछ।