Back to Question Center
0

सेमल: दादर रोबोट्स

1 answers:

Robots.txt फ़ाइल एक विशिष्ट पाठ फ़ाइल है जिसमें वेब क्रॉलर्स या बॉट्स को साइट को कैसे क्रॉल करना चाहिए, इसके निर्देश शामिल हैं। उनके आवेदन में स्पष्ट है खोज इंजन बॉट जो कई अनुकूलित वेबसाइटों में सामान्य हैं रोबोट बहिष्करण प्रोटोकॉल (आरईपी) के भाग के रूप में, robots.txt फ़ाइल वेबसाइट सामग्री को अनुक्रमणित करने के साथ-साथ उपयोगकर्ता को तदनुसार उपयोगकर्ता के प्रमाणन को प्रमाणित करने के लिए एक आवश्यक पहलू बनाता है।

जूलिया वश्नेवा, सेमल्ट वरिष्ठ ग्राहक सफलता प्रबंधक, बताते हैं कि लिंकिंग खोज इंजन अनुकूलन (एसईओ) का एक पहलू है, जिसमें आपके जगह के भीतर अन्य डोमेन से ट्रैफिक प्राप्त करना शामिल है। लिंक के रस को स्थानांतरित करने के लिए "अनुसरण" लिंक के लिए, आपकी वेबसाइट की मेजबानी की जगह पर एक robots.txt फ़ाइल शामिल करना आवश्यक है, जिससे कि आपके साइट के साथ सर्वर इंटरैक्ट करता है। इस संग्रह से, निर्देश कुछ विशिष्ट उपयोगकर्ता एजेंट व्यवहार करने की अनुमति या अस्वीकार करने से मौजूद हैं।

एक robots.txt फ़ाइल का मूल प्रारूप

एक robots.txt फ़ाइल में दो आवश्यक पंक्तियां हैं:

उपयोगकर्ता-एजेंट: [उपयोगकर्ता-एजेंट का नाम]

अस्वीकार करें: [यूआरएल स्ट्रिंग क्रॉल नहीं होने वाली]

एक पूर्ण robots.txt फ़ाइल में ये दो पंक्तियां होनी चाहिए। हालांकि, उनमें से कुछ उपयोगकर्ता-एजेंटों और निर्देशों के कई लाइनों को शामिल कर सकते हैं। इन आज्ञाओं में ऐसे पहलू हो सकते हैं जैसे अनुमति, अस्वीकार या क्रॉल-देरी आमतौर पर एक लाइन ब्रेक होता है जो निर्देश के प्रत्येक सेट को अलग करता है। इनमें से प्रत्येक को अनुमति या अस्वीकार करने का निर्देश इस लाइन ब्रेक से अलग किया जाता है, खासकर robots.txt के लिए कई लाइनों के साथ।

उदाहरण

उदाहरण के लिए, एक robots.txt फ़ाइल में कोड हो सकते हैं जैसे:

उपयोगकर्ता-एजेंट: दादरदार

अस्वीकार करें: / प्लगइन

अस्वीकार करें: / एपीआई

अस्वीकार: / _comments

इस मामले में, यह एक ब्लॉक robots.txt फाइल है जो दादर वेब क्रॉलर को अपनी वेबसाइट तक पहुंचने से रोकता है। उपरोक्त वाक्य-रचना में, कोड वेबसाइट के पहलुओं को ब्लॉक करता है जैसे प्लगइन्स, एपीआई और टिप्पणी अनुभाग। इस ज्ञान से, संभवतः रोबोट की टेक्स्ट फ़ाइल को प्रभावी तरीके से निष्पादित करने से कई लाभ प्राप्त करना संभव है रोबोट।.txt फ़ाइलें कई कार्य करने में सक्षम हो सकती हैं उदाहरण के लिए, वे तैयार हो सकते हैं:

1। सभी वेब क्रॉलर्स सामग्री को एक वेबसाइट पेज में अनुमति दें उदाहरण के लिए;

उपयोगकर्ता-एजेंट: *

अनुमति न दें:

इस मामले में, किसी भी वेब क्रॉलर द्वारा वेबसाइट पर पहुंचने के लिए अनुरोध किए जाने पर सभी उपयोगकर्ता सामग्री को एक्सेस किया जा सकता है।

2। किसी विशिष्ट फ़ोल्डर से विशिष्ट वेब सामग्री को अवरोधित करें उदाहरण के लिए;

उपयोगकर्ता-एजेंट: Googlebot

अस्वीकार करें: / उदाहरण-सबफ़ोल्डर /

यह सिंटैक्स जिसमें उपयोगकर्ता-एजेंट नाम Googlebot Google का है यह बॉट स्ट्रिंग www.ourexample.com/example-subfolder/.10 में किसी भी वेब पेज को एक्सेस करने से प्रतिबंधित करता है।

3। किसी विशिष्ट वेब पेज से विशिष्ट वेब क्रॉलर को अवरोधित करें उदाहरण के लिए;

उपयोगकर्ता-एजेंट: Bingbot

अस्वीकार करें: /example-subfolder/blocked-page.html

उपयोगकर्ता-एजेंट बिंग बॉट बिंग वेब क्रॉलर्स से संबंधित है इस प्रकार की robots.txt फ़ाइल बिंग वेब क्रॉलर को स्ट्रिंग www.ourexample.com/example-subfolder/blocked-page.10 के साथ एक विशिष्ट पृष्ठ तक पहुंचने से प्रतिबंधित करती है।

महत्वपूर्ण जानकारी

  • हर उपयोगकर्ता आपके robts.txt फ़ाइल का उपयोग नहीं करता है। कुछ उपयोगकर्ता इसे अनदेखा करने का निर्णय ले सकते हैं इस तरह के अधिकांश वेब क्रॉलर्स में ट्रोजन्स और मैलवेयर शामिल हैं।
  • दृश्यमान होने वाली रोबोट्सटीपीटी फ़ाइल के लिए, यह शीर्ष-स्तरीय वेबसाइट निर्देशिका में उपलब्ध होना चाहिए।
  • वर्ण "robots.txt" केस संवेदनशील होते हैं। नतीजतन, आपको उन्हें कुछ पहलुओं के कैपिटलाइज़ेशन सहित किसी भी तरह से नहीं बदला जाना चाहिए।
  • "/robots.txt" सार्वजनिक डोमेन है जब भी किसी भी URL की सामग्री को जोड़कर कोई भी इस जानकारी को प्राप्त कर सकता है। आपको आवश्यक आवश्यक जानकारी या पृष्ठों को सूचीबद्ध नहीं करना चाहिए, जिन्हें आप चाहते हैं कि वे निजी बने रहें।
November 29, 2017
सेमल: दादर रोबोट्स
Reply