Txt Robots et rechercher des fichiers moteur de robot

Votre fichier robots.txt

Un fichier robots.txt est le premier fichier qu'un moteur de recherche visites robot sur votre site Web. Comme une boîte de nuit videur prétentieux avec une corde de velours, le fichier robots.txt qui décide des robots sont les bienvenus et qui ont besoin de passer à moins que l'exclusive conjointe dans la rue. Robots.txt peut admettre ou de rejeter des robots sur un répertoire sitewide, - sous-répertoire ou cette page base bypage.

SEO gens se sentent souvent une affection particulière pour la fichier robots.txt car il fournit une occasion rare de communiquer avec un robot de moteur de recherche. Toutefois, ses capacités sont limitées. Les fichiers robots.txt n'existent que pour exclure l'indexation. Tout comme un videur peut garder les gens en œuvre mais ne peut forcer personne à entrer, le fichier robots.txt ne peut rien faire pour inciter à un robot de passer plus de temps ou de visiter plus de pages sur votre site. Aussi, le respect de votre fichier robots.txt est volontaire et non obligatoire. Les moteurs de recherche principaux seront généralement essayer de suivre vos instructions, mais d'autres, moins-types de bonne réputation peut-être pas. C'est pourquoi vous ne devez pas compter sur votre fichier robots.txt pour empêcher les robots d'exploration de matières sensibles, privées, ou inapproprié.

Avez-vous besoin d'un fichier robots.txt?

Vous mai pas besoin d'un fichier robots.txt. Sans l'un, tous les robots auront libre accès aux pages protégées nonpassword sur votre site. De décider si vous devez utiliser un fichier robots.txt pour votre site, posez-vous ces questions:

• Yat-il des pages ou des répertoires sur mon site que je ne veux pas répertoriés sur les moteurs de recherche, comme un intranet ou d'une liste interne du téléphone?

• Yat-il des moteurs de recherche spécifiques que je ne veux pas afficher mon site?

• Ai-je savoir de tous les pages dynamiques ou des éléments de programmation qui peuvent causer des problèmes pour les araignées, comme se faire prendre dans une boucle (infiniment rebondissant entre deux pages)?

• Est-ce que mon site Web contenant des pages avec un contenu en double?

• Y at-il des répertoires sur le site qui contient des scripts de programmation seulement, pas de pages consultées?

Si les réponses à ces questions est non, alors vous n'avez pas besoin d'un fichier robots.txt. Vous avez le reste de la journée! Si vous avez des réponses oui, vous préparerez votre fichier robots.txt aujourd'hui.

Créez votre fichier robots.txt

Robots.txt fichiers sont des fichiers texte très simple. Pour trouver un extrait, allez à yourseoplan.com / robots.txt et consulter la nôtre, ou aller à peu près n'importe quel autre site et cherchez le fichier robots.txt dans le répertoire racine.

Le robots.txt fichier ressemble généralement à ceci:

User-agent: Googlebot Disallow: / private-files / Disallow: / plus-files privé / User-agent: * Disallow: / cgi-scripts /

Dans cet exemple, spider de Google (appelé Googlebot) sont exclus de l'indexation des fichiers dans les deux répertoires appelés privé fichiers et plus les fichiers privés, et tous les robots (signifié par un astérisque wild-card, *) sont exclus de l'indexation du répertoire appelés des scripts CGI.

Il existe de nombreux sites Web qui vous guidera à travers la construction et l'enregistrement de votre fichier robots.txt. Un constructeur robots.txt utiles peuvent être trouvés ici: clickability.co.uk / robotstxt.html. Les réponses à pratiquement toutes les questions imaginables sur les robots êtes ici: www.robotstxt.org.

Si vous vous sentez le moindre doute quant à savoir si votre fichier robots.txt est écrit correctement, ne postez pas. La dernière chose que vous voulez faire est d'éteindre, par inadvertance, les moteurs de recherche.

Voici un bonus: Robots.txt peut également être utilisé pour indiquer les moteurs de recherche où se trouve votre plan Sitemap XML.

Robots Meta Tags

Une balise META robots a le même objectif que le fichier robots.txt, mais il est placé au sein de différentes pages sur votre site plutôt que dans votre répertoire racine. Une balise META robots affecte uniquement la page à laquelle il réside. Les chances sont que vous n'avez pas besoin d'utiliser ce type de balise, mais voici un aperçu rapide au cas où vous ne.

Vous pourriez choisir d'utiliser une balise META robots plutôt que d'un fichier robots.txt, parce que c'est plus facile pour vous de créer l'exclusion à l'aide de votre modèle de page Web plutôt que le fichier robots.txt, ou peut-être vous voulez seulement faire une brève, temporaire l'exclusion. Une autre raison possible est que vous n'avez pas accès au répertoire racine de votre site.

Pour exclure les robots à partir d'une page à l'aide de la balise META robots, il suffit d'inclure le code suivant dans la tête HTML de la page:

Cela empêchera les robots des moteurs de recherche à partir de la liste des page sur laquelle réside la balise.

D'exclusion des robots de Google

Si vous prévoyez d'utiliser des robots d'exclusion pour contrôler le partage de Google PageRank d'une page sur votre site web (par exemple, en excluant à bas des pages de qualité que vous ne voulez pas accaparer l'autorité), il faut savoir que Google traite le fichier robots.txt et robots exclusions balise META un peu différemment:

• Les pages exclu avec les deux types d'exclusion sont autorisés à accumuler PageRank autorité.

• Une page qui est exclu par le fichier robots.txt mai figurer dans les résultats de recherche avec une seule URL et la description. Une page qui est exclu avec un meta tag robots ne seront pas affichées dans les résultats de recherche du tout.

• Une page qui est exclu par le fichier robots.txt ne sont pas explorées par Googlebot, et il ne passera pas PageRank vers d'autres pages vers lesquelles des liens.

• Une page qui est exclu avec la balise meta robots mai doivent être explorés par Googlebot et Google va suivre les liens sur le PageRank page.The qui est accumulé par cette page sera partagée avec des pages vers lesquelles des liens.

un article présenté par Chris Morgan

Disclaimer:Notre site n'est pas responsable du contenu de cet article. Webarticles est une ressource d'information gratuite.
Important: Cet article "Robots txt et fichiers du moteur de recherche robot" a été traduit par un logiciel automatique. Nous nous sentons désolés pour les fautes d'orthographe que mai ont eu lieu. Nous vous remercions de votre compréhension.