αρχείο robots.txt.  Ανακαλύψτε πώς να δημιουργήσετε ευρετήριο και να διευκολύνετε την πρόσβαση στο Google

αρχείο robots.txt. Ανακαλύψτε πώς να δημιουργήσετε ευρετήριο και να διευκολύνετε την πρόσβαση στο Google

Januar 25, 2023 0 Von admin

Έχετε ακούσει για το αρχείο robots.txt? Η συμπερίληψή του στον ιστότοπό σας μπορεί να είναι πολύ χρήσιμη. Στις παρακάτω γραμμές εξηγούμε από τι αποτελείται, σε τι χρησιμεύει στην τοποθέτηση SEO και πώς λειτουργεί.

Τι είναι το αρχείο robots.txt?

Για να κατανοήσουμε πραγματικά τι είναι το αρχείο robots.txt, θα πρέπει πρώτα να δούμε τον τρόπο με τον οποίο οι μηχανές αναζήτησης ανιχνεύουν τον ιστό και λαμβάνουν πληροφορίες. Εκτελούν αυτήν την εργασία χρησιμοποιώντας μηχανήματα ή ρομπότ, με τα οποία μπορούν να ευρετηριάσουν το περιεχόμενο των ιστοσελίδων και να αποθηκεύσουν όσο το δυνατόν περισσότερες πληροφορίες στις βάσεις δεδομένων τους.

Λοιπόν, το αρχείο robots.txt είναι ένα από τα μηχανήματα που χρησιμοποιούνται περισσότερο ευρετηρίαση ενός Google. Χρησιμοποιείται από τις μηχανές αναζήτησης αλλά και από spammers.

Αλλά, τι χρησιμεύει για τον κάτοχο μιας ιστοσελίδας; Το βλέπουμε στην επόμενη ενότητα.

Σε τι χρησιμοποιείται ένα αρχείο robots.txt;

Το αρχείο robots.txt έχει πολλές χρήσεις, όπως παρακολούθηση διευθύνσεων email ή αποκλεισμό πρόσβασης σε καταλόγους. Ωστόσο, η χρήση που μπορεί να σας ενδιαφέρει περισσότερο εάν έχετε μια ιστοσελίδα σχετίζεται με τη στρατηγική μάρκετινγκ. Βελτιστοποίηση μηχανών αναζήτησης (SEO).

Όταν δημιουργούμε έναν ιστότοπο, χρειαζόμαστε αυτό το google μπορούν να έχουν πρόσβαση στη σελίδα μας για να παρακολουθείτε τις πληροφορίες μας. Και, για να εκτελέσουμε αυτήν την εργασία, είναι απαραίτητο να δημιουργήσουμε ένα αρχείο με την επέκταση txt στον τομέα μας. Έτσι, η μηχανή αναζήτησης θα λάβει όλες τις πληροφορίες που μας ενδιαφέρουν να μάθουμε. Από την άλλη πλευρά, αυτό το αρχείο .txt χρησιμοποιείται για αποτρέψει los ρομπότ u otros robots.txt προσθέτουμε δεδομένα και πληροφορίες που δεν θέλουμε να κοινοποιήσουμε con Google.

Εν ολίγοις, ένα αρχείο robots.txt στον ιστότοπό μας υποδεικνύει ποιο είναι το ΣύστημαΠ ή σύνολο σελίδων στις οποίες μπορούν να έχουν πρόσβαση οι ανιχνευτές μηχανών αναζήτησης.

τρέξιμο α robots.txt

Πώς λειτουργεί ένα robot.txt; Αυτά είναι τα κύρια χαρακτηριστικά της λειτουργίας του:

Δεν απαιτούνται οδηγίες

Βασικά, οι οδηγίες του ρομπότ.txt Είναι ενδείξεις αλλά δεν αποτελούν υποχρεωτικό πρότυπο. για μηχανές αναζήτησης. Υπάρχουν και αυτοί που δεν υπακούουν στις εντολές τους.

Χρησιμοποιώντας το τυπικό πρωτόκολλο εξαίρεσης ρομπότ

Το αρχείο χρησιμοποιεί το Robot Exclusion Standard, ένα πρωτόκολλο με ένα μικρό σύνολο εντολών που μπορεί να χρησιμοποιηθείγια να υποδείξετε την πρόσβαση στον ιστότοπο ανά ενότητα και ανά συγκεκριμένους τύπους ανιχνευτών ιστούόπως ιχνηλάτες κινητών ή ιχνηλάτες υπολογιστών.

Η Google μπορεί να ανιχνεύσει περιορισμένες σελίδες στο αρχείο robot.txt

Η Google δεν θα ανιχνεύσει ή δεν θα ευρετηριάσει οποιαδήποτε πληροφορία για περιεχόμενο των σελίδων που αποκλείουμε με το robot.txtωστόσο, θα ευρετηριάσει όλες τις διευθύνσεις ή τις διευθύνσεις URL που βρίσκονται σε άλλα στοιχεία ή ιστοσελίδες, ακόμα κι αν είναι περιορισμένες στο αρχείο .txt.

Τα ρομπότ της Google που αλληλεπιδρούν με το αρχείο robots.txt

Υπάρχουν κυρίως δύο τύποι ρομπότ που χρησιμοποιεί η Google για να αλληλεπιδράσει με το αρχείο robots.txt: user-agent και googlebots. Ας δούμε:

Χρήστης-πράκτορας

Το user-agent είναι μια κεφαλίδα κειμένου που προσδιορίζει τον ανιχνευτή που εισέρχεται σε μια σελίδα web και για το οποίο ισχύουν μια σειρά κανόνων. Έτσι, θα γνωρίζουμε ποιος έρχεται στον ιστότοπό μας μέσω ενός προγράμματος περιήγησης. Η ενσωμάτωσή του στο αρχείο robot.txt θα διευκολύνει την αναζήτηση και την ανίχνευση της Google. Εάν θέλετε να το χρησιμοποιήσετε, πρέπει να προσθέσετε την εντολή: Χρήστης-πράκτορας:*

Googlebots

Χρησιμοποιούνται επίσης από την Google και είναι το Googlebot-Mobileειδικά για κινητές συσκευές και το Googlebot-Image, το οποίο είναι για εικόνες και φωτογραφία. Και τα δύο Googlebots προσποιούνται ότι είναι χρήστες που εισέρχονται σε μια ιστοσελίδα χρησιμοποιώντας ένα κινητό και έναν υπολογιστή, αντίστοιχα.

Η ιστοσελίδα σας περιέχει το αρχείο robots.txt? Αν όχι, τώρα είναι η ώρα να το συμπεριλάβετε. Αντιμετωπίζουμε ένα βασικό κομμάτι για τη βελτίωση του SEO.