Outils et modules pour le serveur Apache

1@aymerictwit
SEO: outils et modules pour Apache

2@aymerictwit
Pendant 1 heure, on va causer de performances et aussi de…

3@aymerictwit
Objectifs de l'atelier:
- Apache et ses fichiers de configuration
- Utiliser les variables d'environnement (ex: cloacking, deny IP)
- Les modules à connaître
- NSEO et Duplicate Content
- Optimiser et monitorer son serveur Web
- Varnish en front pour doper ses perfs

4@aymerictwit
Apache c'est
- Un serveur HTTP puissant! mais parfois lourd…
- Des modules permettant de nombreuses fonctionnalités pouvant être utiles pour le SEO
- Combiner différents modules pour aller plus loin
 Varnish pour mieux tirer profit des outils d'Apache tout en boostant les performances de ton serveur Web

5@aymerictwit
Rappel .htaccess
Pour chaque appel de fichier, Apache va vérifier la présence d’un fichier .htaccess dans tous les répertoires :http://www.monsite.com/fr/categorie/images/monimage.jpg
Si le contenu du fichier .htaccess présent dans le répertoire /var/www/monsite/ était dans le fichier de configuration global apache2conf, il ne serait chargé qu’au démarrage
du serveur
 Moins d’accès disque par le daemon httpd & serveur plus rapide pour servir les fichiers
/v ar /www/monsite/
/v ar/ ww w /mo nsi te/f r/
/var/www/monsite/fr/categorie/
/var/www/monsite/fr/categorie/images/
.htaccess ?
.htaccess ?
.htaccess ?
.htaccess ?

6@aymerictwit
Gain de performances sans .htaccess:
D'autres sections existent pour les directives :
<Files "*.php"></Files>
<FilesMatch ".(jpe?g|png)$"></Files>
Pour désactiver les .htaccess: AllowOverride None

7@aymerictwit
mod_setenvif(#a2enmod setenvif)
On définit des variables d'environnement avec des IF pour interagir avec d'autres modules comme mod_headers, mod_rewrite,
mod_includes, mod_log_config…
SetEnvIfNoCase User-Agent HTTrack aspirateur
(équivalent: BrowserMatchNoCase HTTrack bot)
SetEnvIf Request_URI ".jpg$" objetimage=jpg
Liste des attributs: Remote_Host, Remote_Addr, Server_Addr, Request_Method, Request_Protocol, Request_URI, Referer

8@aymerictwit
Et si on cachait aux analyseurs de backlinks notre réseau de liens?
Ah! On peut les bloquer dans le robots.txt…
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /

9@aymerictwit
Bloquer les traceurs de liens pour planquer son réseau
SetEnvIfNoCase User-Agent "^AhrefsBot" especedindiscret
SetEnvIfNoCase User-Agent "^MJ12bot" especedindiscret
Order Allow,Deny
Allow from All
Deny from env= especedindiscret
Autre exemple : détecter la pagination pour des actions ultérieures
SetEnvIf Request_URI ".*/page/.*" stopindex
#puis mod_headers pour envoyer du noindex, follow

10@aymerictwit
mod_headers (#a2enmod headers)
Manipuler les en-têtes HTTP
Header set|unset|append|add Nomdelentete "Contenu"{ }
En-tête HTTP X-Robots-Tag pour Googlebot
#avec déclaration variable d'environnement
<Files "partenaires.html">Header Set X-Robots-Tag 'nofollow' env=CLOACK</Files>
En-tête HTTP X-Robots-Tag pour cacher son côté obscur
#avec déclaration variable d'environnement
Header set X-Robots-Tag "nosnippet,noarchive" CLOACK

11@aymerictwit
mod_headers (#a2enmod headers)
Un ordre est respecté pour l'exécution de ces directives
- Serveur principal
- Vhost (hors sections)
- Sections <Directory> et fichiers .htaccess
- <Files>
- <Location>
Utile pour les en-têtes Link (canonical, prev, netxt), X-Robots-tag mais aussi pour les en-têtes de cache.

12@aymerictwit
mod_rewrite (#a2enmod rewrite)
Gestion de la réécriture d'URL
Exemples d'utilisation avancés:
- Définir des variables d'environnement en fonction de plusieurs éléments
- Interagir avec d'autres modules (mod_headers, mod_proxy, etc.)
- Manipuler les URL et ce qui les composent (host, query_string)
- Gérer des migrations SEO

13@aymerictwit
mod_rewrite c'est plus marrant avec
- Des regexp: ^/?([A-Z] 1,4 )/(.*)${ }
- Des variables d'environnement: % HTTP_REFERER , % QUERY_STRING , % REQUEST_URI , % HTTP_USER_AGENT , % REMOTE_ADDR , % HTTP:Accept-Language …{ } { } { } { } { } { }
- Des conditions de réécriture: RewriteCond
- Des drapeaux: [R=xxx], [F], [G], [P], [CO], [S=xxx], [T= image/jpeg].

14@aymerictwit
- Dans une RewriteRule, on récupère les ensembles avec des $
RewriteRule ^/([a-zA-Z-]+)/([a-zA-Z-]+)/([a-zA-Z-]+)$ display.php?pays=$1&dpt=$2&ville=$3
- Dans une RewriteCond, on récupère les ensembles avec %
RewriteCond % QUERY_STRING ^page={ } (.*)$
RewriteRule ^(.*)$ /$1/page/%1/ [R=301,L]

15@aymerictwit
C’est aussi très pratique pour faire du cloacking…

16@aymerictwit
Cloacking du parano avec Apache
RewriteCond % REMOTE_HOST ^crawl-66-249-[0-9] 1,3 -[0-9] 1,3 .googlebot.com${ } { } { }
RewriteCond % REMOTE_ADDR ^66.249.[0-9] 1,3 .[0-9] 1,3 ${ } { } { }
RewriteCond % HTTP:Accept-Language ^${ }
RewriteCond % HTTP_REFERER ^${ }
RewriteCond % HTTP_USER_AGENT Googlebot{ }
RewriteRule ^home.html$ /homeggbot.html [L]
RewriteRule ^home.html$ /homestandard.html [L]
Pour pouvoir résoudre les IP de REMOTE_HOST: HostnameLookups on

17@aymerictwit
Avant de passer en ligne et de tout casser, vérifie ton cloacking:

18@aymerictwit
Rappel: pour un cloacking Googlebot sur IP

19@aymerictwit
Réutiliser des détections grâce aux variables d'environnement
RewriteCond % REMOTE_HOST ^crawl-66-249-[0-9] 1,3 -[0-9] 1,3 .googlebot.com${ } { } { }
RewriteCond % HTTP:Accept-Language ^${ }
RewriteCond % HTTP_REFERER ^${ }
RewriteCond % HTTP_USER_AGENT Googlebot{ }
RewriteRule . – [E=CLOACK:true]
#on réécrit en fonction de la valeur de la variable CLOACK
RewriteCond % CLOACK !^true${ }
RewriteRule ^/?robots.txt /robotspourindiscrets.txt [L]

20@aymerictwit
Faire sauter toutes les variables inconnues pour se protéger du DC
RewriteCond % QUERY_STRING !^${ }
RewriteCond % QUERY_STRING !(utm_source|utm_medium|utm_campaign){ }
RewriteRule ^(.*)$ /$1? [R=301,L]
Hotlinking d'images
RewriteCond % HTTP_REFERER !^${ }
RewriteCond % HTTP_REFERER !^http://www.urldemonsite.com/$ [NC]{ }
RewriteRule ^.*.(gif|png|jpe?g)$ /hotlinking.php?pict=% REQUEST_URI [L,NC]{ }

21@aymerictwit
Migration SEO et performances
RewriteBase /forum/
RewriteCond % REQUEST_URI !^/forum/.*${ }
RewriteRule . – [S=698]
RewriteRule ^viewtopic.php?id=279 /forum/bons-reductions-cdiscount.html [R=301,L]
RewriteRule ^viewtopic.php?id=134 /forum/comment-devenir-riche.html [R=301,L]
……. Si l'URL ne contient pas /forum/ (forum qui a migré), on saute les 698 règles qui suivent (1 règle = 1 RewriteRule)
Ou rewriteMap pour y voir plus clair
RewriteMap : RewriteRule avec un fichier de correspondance (préférence pour les .dbm)

22@aymerictwit
mod_ext_filter (#a2enmod ext_filter)
Envoyer la réponse d'Apache à un programme externe
Exemples d'utilisation:
- Utiliser des commandes tels que sed, awk pour faire du search-and-replace avancé (ex: copyright en footer sur des pages
statiques, nofollow)
- Modification d'images: watermark, cropping, filters, effects…
- Ton imagination 

23@aymerictwit
Ranker sur Google Images avec les images d'un autre site:

Flip horizontal
saturation


24@aymerictwit
Watermark images + modification de footprint:
<IfModule mod_ext_filter.c>
ExtFilterDefine watermark mode=output intype=image/jpeg cmd="/usr/bin/composite -gravity SouthEast /var/www/labs/images/wm.png - -"
</IfModule>
<FilesMatch ".jpg$">
SetOutputFilter watermark
</FilesMatch>
Demo: http://labs.yapasdequoi.com/images/

25@aymerictwit
mod_substitute (#a2enmod substitute)
Effectuer des rechercher/remplacer dans le corps des réponses
Exemples d'utilisation:
- Modifier les styles (font, color, etc.) sur l'ensemble d'un site sans modifier toutes les feuilles de style
- Nettoyer des thèmes Wordpress malveillant ou supprimer un hack en attendant de trouver une solution plus clean (origine
du code généré)
- Cacher ses liens d'affiliation
- Cleaner du contenu UGC, filtrer des mots

26@aymerictwit
mod_substitute (#a2enmod substitute)
AddOutputFilterByType SUBSTITUTE text/html
Remplacer un mot par un autre
Substitute "s/SEO/référencement naturel/i"
Ajouter l'appel d'un fichier JS
Substitute "s|</head>|<script src="http://www.monsite.com/js/jquery.js"></head>|ni"
Changement d'un répertoire image
Substitute "s| src="http://www.yapasdequoi.com/wp-content/uploads/([^"]*)"| src="/pict/$1"|i"
i = insensible à la casse, n = chaîne fixe, pas de regexp

27@aymerictwit
Reverse Proxy, ça te parle?
Invisible pour l'internaute, le ReverseProxy va récupérer du contenu sur un backend, pour éventuellement le mettre
en cache
 1 requête pour de multiples requêtes utilisateur

28@aymerictwit
mod_proxy (#a2enmod proxy,proxy_http,proxy_html)
Mandataire inversé : <client > <reverseproxy> <sitedistant>, transparent pour l'utilisateur
En détournant l'utilisation d'un reverse proxy, nous allons pouvoir:
- Faire du NSEO Duplicate (reverse proxy cloacké)
- Dupliquer un site à la volée (et en modifier certains éléments)

29@aymerictwit
Duplicate NSEO sur une homepage (attention au nombre de liens)
ProxyPreserveHost Off
ProxyRequests off
RequestHeader unset Accept-Encoding env=CLOACK
Header Set X-Robots-Tag "noarchive,nosnippet" env=CLOACK
RewriteEngine On
RewriteCond % ENV:CLOACK true{ }
RewriteCond % REQUEST_URI ^/${ }
RewriteRule . http://www.mattcutts.com/ [P,L]
ProxyPassReverse / http://www.mattcutts.com/
[P]= proxy (traitement de la requête)

30@aymerictwit
Duplicate NSEO sur une homepage… et dans le cas inverse
RewriteRule ^index.php$ - [L]
RewriteCond % ENV:CLOACK !true{ }
RewriteCond % REQUEST_FILENAME !-f{ }
RewriteCond % REQUEST_FILENAME !-d{ }
RewriteRule . /index.php [L]
 Reverse proxy applicable à des pages spécifiques ou à l'ensemble d'un site
Spécial dédicace Tiger http://www.seoblackout.com/2014/02/01/negative-seo-duplicate-content-mattcutts/
[

31@aymerictwit
S'attribuer la propriété d'un site de façon temporaire pour
- S'inscrire dans les annuaires alors que le site est "en construction"
- Poser des liens avec un site pourri/thématique touchy & co: (referer inside)
- …ton imagination 

32@aymerictwit
Copier un site à la volée en modifiant quelques détails:
Header set X-Robots-Tag "noindex,nofollow"
ServerName usurpateur.yapasdequoi.com
ProxyPreserveHost Off
ProxyRequests Off
ProxyPass / http://www.laurentbourrelly.com/
ProxyPassReverse / http://www.laurentbourrelly.com/
#RequestHeader unset Accept-Encoding
SetOutputFilter INFLATE;DEFLATE
AddOutputFilterByType SUBSTITUTE text/html
Substitute "s|Laurent Bourrelly|Kevin Richard|i"
Substitute "s|SEO |Blackhat SEO|i"
Substitute "s|<img src="/images/laurent-bourrelly.png.*">|<img src=http://www.chambe-carnet.com/wp-content/uploads/2012/01/photo-chambe-carnet-kevin-richard-251x300.jpg"
width="150" height="150">|i"
ProxyHTMLEnable On
ProxyHTMLURLMap http://www.laurentbourrelly.com/ /
Ex: http://usurpateur.yapasdequoi.com

33@aymerictwit
Les Logs, en cas de soucis avec ta config
- Log d'erreurs
#nano /var/log/apache2/error.log
- On crée des logs spécifiques avec les variables d'environnements
SetEnvIf User-Agent "Googlebot/2.1" googlebot_log
CustomLog /var/log/apache2/google.log combined env=googlebot_log
- On stock tous les referers sauf le local
SetEnvIf Referer www.yapasdequoi.com reflocal
CustomLog /var/log/apache2/referer.log combined env=!reflocal
- On envoie les lignes de logs dans un programme
CustomLog "|/var/www/scripts/analyse.php" formatspecifique env=watussi

34@aymerictwit
Et les outils Apache pratiques
Infos sur la configuration du serveur que tu ne connais pas (vhosts)
#apache2ctl –S
- Tester les performances du serveur avec Apache Benchmark
#ab -n 1000 -c 10 http://www.google.fr/
(1000 requêtes avec10 requêtes simultanées… Tiens, on peut faire du POST avec aussi )
- Résoudre des IP
logresolve stats.txt -c /var/log/apache2/googlebot.log hotesgoogle.txt

35@aymerictwit
Tu gères sur Apache maintenant? Alors on passe aux choses sérieuses…

36@aymerictwit
Varnish = "The" reverse proxy
il ne sait faire que ça, mais il le fait très bien
https://www.youtube.com/watch?v=x7t2Sp174eI
Varnish

37@aymerictwit
Varnish + Apache

38@aymerictwit
Apache doc: http://httpd.apache.org/docs/2.2/en/
et différents sites parcourus au fil du temps…
Quelques billets sur Apache & Varnish: http://www.yapasdequoi.com
Liens utiles et sources:

39@aymerictwit
Merci d'avoir choisi cet atelier!
Contact : http://twitter.com/aymerictwit
Google+: https://plus.google.com/+AymericBouillat
Linkedin: http://fr.linkedin.com/in/aymericbouillat
Keep in touch 

Outils et modules pour le serveur Apache

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (18)

More from Aymeric Bouillat

More from Aymeric Bouillat (10)

Outils et modules pour le serveur Apache

Editor's Notes