Certains sites bloquent Chrome en mode sans tête et nous verrons comment contourner ce blocage.
Le diagnostic est la clé de tous les aspects des ordinateurs et de la programmation. Cet article commence par vous montrer comment gérer vous-même ce problème de blocage. Si vous n'êtes pas intéressé, vous pouvez accéder directement à l'élément «Solution» à la fin de l'article.
Si vous rencontrez des problèmes avec le mode sans tête, n'oubliez pas de prendre une capture d'écran via page.screenshot () pour voir ce qui se passe. Cela vous permettra au moins de savoir si vous avez affaire au même contenu visible qui est affiché en mode navigateur "normal" (géré), et aussi de savoir si vous êtes bloqué en raison d'un script cassé, sans rien comprendre.
Dans cet exemple, le serveur lui-même n'a même pas envoyé la page Web correspondante.
La réponse initiale est la page Accès refusé, et c'est tout ce que vous pouvez obtenir avec Chrome en mode sans tête. Ce qui ne se produit pas de manière contrôlée.
, , . , , , . , , , . , , .
? , , , , . , - . , -, , , . , , . – , .
HTTP-
( ) Chrome, headless-, Chrome, «» , , , , . , . , HTTP- (-), , headless-, , . http://scooterlabs.com/echo.json JSON-, , .
const puppeteer = require('puppeteer');
(async() => {
const browser = await puppeteer.launch({
});
const page = (await browser.pages())[0];
const response = await page.goto('http://scooterlabs.com/echo.json');
console.log(await response.json());
await browser.close();
})()
headless- ( ), «» ( headless:false ), , , .
time_utc – , . , , – , .
Accept-Language headless-. , - ( ), , . , – User-Agent.
User-Agent . , headless- :
Chrome , «Headless». User-Agent , . , , .
User-Agent - . , , .
( , )
, User-Agent. page.setUserAgent(). Chrome «» , , , : «Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36».
C'est tout ce qu'on peut en dire. C'est pourquoi l'approche diagnostique elle-même est plus importante que cette décision. Ces obstacles de toutes sortes surgissent tout le temps lorsque vous essayez d'automatiser des sites et souvent sur Internet, vous ne pouvez pas trouver de réponses spécifiques, vous devrez donc les gérer vous-même. Bonne chance et n'hésitez pas à me contacter pour toutes questions!