Le sujet des bots sur le site est très douloureux pour certains et donne un mal de tête constant, tandis que d'autres préfèrent l'ignorer complètement. Et ici, vous devez comprendre: si les dommages causés par les bots ne sont pas importants, investir de l'argent pour les combattre n'est pas très justifié d'un point de vue commercial. Le plus souvent, dans de tels cas, ils sont limités à une solution auto-écrite assez simple qui combat les bots de première génération (à propos des générations ci-dessous). Cependant, si les attaques sur le site nuisent à l'entreprise, l'entreprise commence à réfléchir à la manière de les gérer.
Par expérience, je peux dire que les compagnies aériennes et les grandes entreprises de commerce électronique souffrent le plus souvent du flux constant de robots. Un cas typique pour une compagnie aérienne, quand elle peut être frappée par des robots et être payée, est la tenue de siège bien connue. Comment ça marche: vous voulez acheter un billet et choisir un vol, une heure, un lieu et être payé. Très souvent, à cet endroit, la compagnie aérienne vous réserve cette place (non disponible à l'achat pour le moment aux autres visiteurs du site) et vous laisse le temps de payer par carte - de quelques minutes à plusieurs heures. Ce qui se passe: une vague de robots arrive sur le site, qui réserve tout l'avion (et après l'expiration du délai de paiement, réserve à nouveau une place). Ainsi, personne ne peut acheter un billet, et l'avion peut en fait s'envoler à vide. Et c'est de l'argent, et beaucoup.Pour les entreprises de commerce électronique, il s'agit le plus souvent de la recherche d'informations d'identification et de la radiation de points bonus.
Quel genre de bots existe-t-il? Ici, en fait, tout est très simple. Il y a deux réponses - bonne et mauvaise. Les bons sont les robots des moteurs de recherche, les robots de vos partenaires, une sorte de système de surveillance, etc. En général, ce sont les robots qui suivent les règles:
se faire passer pour qui ils sont
n'essayez pas de nuire au site
suivre les liens robots.txt
Les mauvais sont ceux qui ont des intentions hostiles ou qui sont utilisés à d'autres fins. Habituellement, ils essaient soit de se déguiser en personnes, soit de simuler d'autres bons robots bien connus. Le plus souvent, les mauvais robots sont utilisés pour:
Connectez-vous automatiquement à l'aide d'informations d'identification volées à la suite d'une violation de données ou d'un dark web.
Créez de nouveaux comptes en ligne pour recevoir des bonus d'inscription
, , .
DDoS-,
, . – ?
. , :
cURL- -. IP-. cookie JavaScript, -.
-, «» (headless) (: PhantomJS SimpleBrowser), Chrome Firefox, . , cookie JavaScript. - headless JavaScript - .
– . , . .
, , , , , , . UA IP-. , « » - , , - . - , . , , .
, , .
? :
, , ,
,
,
, , , , .
? :
( CDN, reverse proxy)
, /.
, Akamai, Distill ( Imperva ABP) RadWare. – PerimeterX.
, Akamai.
, Akamai, , . Akamai – -, (wiki). 1998., CDN . 20 . Akamai CDN, , -. CDN, , , WAF, DDoS mitigation ( L3/L4, L7), BOT, DNS, Real User Monitoring (RUM), API Gateway . , , . Akamai ? , 40 ( – 5). .
, , Akamai Bot Manager. :
Bot Manager Standard (BMS)
Bot Manager Premier (BMP)
, .
.
, General bot management, BMS, Transactional endpoint protection – BMP. , .
Customer-Categorized Bots? , , . , , , . ? . (, “Partners”), .
, .
Akamai-Categorized Bots. , , , . Akamai 1400 17 . ? , : , , , , . , «».
, – . : (transparent) (active). , , , . - . :
, , . , “Impersonators of Known Bots” – , , , Google, . :
Chrome –
-
Active – JavaScript cookie ( – SDK):
Akamai cookie . . , , JS .
BMP. , : /, , . endpoint. , POST /login, BODY user pass. , endpoint-a Akamai . BMP – . , BMS BMP , BMS, , - , BMP , . , , , . , - , .
: ? , : – , . , , . .
: ? :
( )
( 1–3 )
( 8–10 )
( 403 , - )
Tarpit ( , )
Challenge ( Google Captcha, Akamai Crypto Challenge)
Conditional action ( , 20% , – )
, Deny ( 403 ) -. 403 – , . , . . Akamai Tarpit. , Linux, , action IPTables. Tarpit, , . , , . : Akamai? -. 270 , . , . , . , . , , .
– Captcha. , . ! Google Captcha – Akamai. Crypto Challenge. : Akamai , ( 30 , ). , : crypto challenge ( ). , Akamai , , – challenge ( ).
Akamai ? , - (, , ). : . , , . , 60–70% . – .
, . , , . : , . : Akamai , . , User-Agent. Akamai – , . , 30% , , .
Comment avez-vous eu l'idée d'écrire cet article? Pendant deux jours, nous avons assisté à Highload ++ cette année avec notre stand GlobalDots, et pas mal de gens nous ont abordés avec à peu près les mêmes questions: y a-t-il Akamai en Russie? Quelque chose à part CDN? En fait, c'est ainsi que ce petit article est apparu.
C'est probablement tout. Il s'est avéré être un article plutôt introductif. J'ai l'habitude de montrer plus que de dire - cela s'avère plus instructif. Si vous avez des questions - bienvenue à saint tropez dans les commentaires.