Cependant, cette publication attire rarement une attention particulière, contrairement, par exemple, à Fox News. Et il y a de bonnes raisons à cela! Fox News est un théâtre d'absurdité avec des clowns, et ils méritent totalement toutes les critiques qu'ils reçoivent.
Mais je suis curieux de connaître le New York Times. Ils représentent le monde qui les entoure sous un certain jour, et leur vision (du moins dans mes cercles), bien que l'on puisse être d'accord ou en désaccord avec elle, est perçue comme quelque chose d'accepté par défaut.
Je voulais regarder de plus près cette vision. Par conséquent, au cours des prochaines semaines, je publierai une série d'articles sur le New York Times, analysant les données collectées depuis la page d'accueil de leur site à l'aide du web scraping, ainsi que depuis l' API officielle . Le premier article se concentrera uniquement et exclusivement sur les tests A / B: comment le New York Times teste les titres des articles et comment ils changent au fil du temps.
Tests A / B et le New York Times
Écoutez, eh bien, nous sommes en 2021, je serais plutôt choqué s'il s'avère que le New York Times ne teste en aucune façon les gros titres. Oui, ils en parlent eux-mêmes en clair :
«De plus, le Times pratique ce qu'on appelle les tests A / B des versions numériques des titres pour le contenu de la page d'accueil: pendant environ une demi-heure, un titre est affiché à la moitié des lecteurs et un autre titre alternatif pour l'autre. demi. À la fin du test, The Times laisse le titre qui attire le plus de lecteurs. "
Mais j'avais encore des questions:
- Combien d'articles passent par des tests A / B?
- Combien de titres sont répétés pour chacun?
- Y a-t-il un sens à cela?
- À quel point les titres sont-ils différents?
Méthodologie
J'ai écrit un script qui fait ce qui suit:
- Grattage de la page d'accueil du site Web du New York Times.
- Extrait tous les en-têtes de l'ensemble de données.
- Les relie aux métadonnées d'article fournies dans l'API officielle du Times
- Pousse tout dans la table
Le script s'exécute toutes les cinq minutes. J'ai commencé mon observation le 13 février, voici donc les conclusions basées sur les données recueillies sur trois semaines.
résultats
Conformément à sa déclaration, le New York Times effectue des tests A / B des titres des articles. Quelque part dans 29% des matériaux ont plusieurs titres. Le nombre maximum de titres noté pour un article est actuellement de huit .
Dans de nombreux cas, les modifications se résument à des corrections mineures: il arrive souvent sur le site Web du New York Times qu'une erreur de ponctuation ou d'orthographe soit corrigée après la publication. Et il arrive aussi que les rédacteurs semblent incapables de décider d'écrire une excuse avec une majuscule ou avec une petite?
Dans d'autres cas, le New York Times change de titre au fur et à mesure que de nouvelles informations deviennent disponibles. Voici toute une histoire captivante composée d'une chaîne de titres:
- SpaceX lancera un autre prototype de fusée sur Mars en mode test (10%)
- SpaceX a suspendu les tests d'un prototype de fusée pour voler vers Mars (1%)
- SpaceX tentera à nouveau de lancer un prototype de fusée sur Mars (13%)
- Le prototype de fusée de SpaceX est allé sur Mars, a atterri et a explosé (14%)
- Le prototype de fusée de SpaceX a cette fois réussi à atterrir sur Mars avant l'explosion (24%)
- Le prototype de fusée de SpaceX parvient cette fois à atterrir sur Mars avant l'explosion (10%)
- Le prototype de fusée de SpaceX a explosé après son atterrissage sur Mars (27%)
Mais pour la plupart, le changement de titre est clairement le résultat de tests A / B entrepris pour collecter plus de clics. Par exemple, voici un article sur Biden et sa politique de gestion - son titre a radicalement changé.
- Discours calme et programme à grande échelle (7%)
- Biden est contre Trump et ça marche (93%)
Le seul objectif que ces remplaçants peuvent poursuivre est d'augmenter l'engagement. Et il fonctionne! Cet article est devenu chaud quelques heures seulement après le changement de titre (et cela confirme mon hypothèse selon laquelle les libéraux aiment lire quelque chose sur Trump).
Mais tous les tests A / B ne réussissent pas. Voici un exemple de test A / B qui a clairement échoué - vous devrez peut-être vous fatiguer les yeux pour voir un petit point bleu sur un fond rouge.
- Avez-vous vu combien d'Israéliens viennent de visiter les EAU? (cent%)
- Josaphat nerveux! Avez-vous vu combien d'Israéliens viennent de visiter les EAU? (0%)
J'espère que cet échec n'a pas freiné l'étrange éditeur qui a pensé à Josaphat the Jumper. Ce qui manque cruellement au New York Times, ce sont des références au dessin animé Bugs Bunny .
Mais en général, il y a une tendance dans les changements: avec le temps, les titres ont tendance à paraître plus dramatiques. Prenons, par exemple, un article sur Cuomo et le scandale entourant sa vie sexuelle:
- Cuomo attaqué pour son plan d'enquête sur les allégations de harcèlement (6%)
- Assiégé par les attaques, Cuomo modifie son plan d'enquête sur les allégations de harcèlement (25%)
- Assiégé par des allégations de harcèlement, Cuomo s'excuse (69%)
Après le premier remplacement, il s'avère que Cuomo n'est pas seulement attaqué, mais littéralement assiégé, et après le second, il passe brusquement d'une simple révision de plans à des excuses. De plus, la tactique a fonctionné: sur les graphiques, vous pouvez voir comment, au fur et à mesure que le titre est ajusté, l'article augmente de plus en plus dans la note des téléspectateurs.
Dans l'article sur le discours de Trump à la conférence conservatrice, tout s'avère encore plus incendiaire:
- Trump lance un appel aux conservateurs et envisage de diriger le parti républicain (3%)
- Trump révèle son intention de diriger le parti républicain lors d'une conférence conservatrice (7%)
- Trump se proclame chef républicain lors d'un discours à la conférence conservatrice (2%)
- Trump fait allusion à un troisième mandat à la conférence conservatrice et s'engage à amener les républicains à l'unité (4%)
- Trump s'engage à amener les républicains à l'unité, puis blâme ceux qui ont soutenu la destitution (6%)
- Trump dévoile les victimes républicaines lors d'une conférence conservatrice, un coup de semonce pour l'ensemble du parti (79%)
Tout commence avec Trump parlant aux conservateurs et se déclarant chef du Parti républicain, mais le dernier titre se résume aux listes de victimes et de coups de semonce. Et - qui en aurait douté - à cause de tout ce pathétique, l'article décolle et tombe dans le nombre des «plus lus».
Eh bien, le dernier exemple est un article sensationnel basé sur une interview que Meghan Markle a donnée à Oprah:
- , – , (3%)
- , – , (1%)
- , (80%)
- « »: , (16%)
Je n'ai même pas été trop paresseux pour regarder cette interview de deux heures et je peux vous dire que les deux premiers titres reflètent bien mieux son contenu. Oui, Meghan admet avoir des pensées suicidaires, mais il s'agit d'un intermède de cinq minutes dans une interview qui a dit beaucoup d'autres choses. Par exemple, aucun titre ne mentionne l'impact du racisme sur l'état mental de Meghan - et ce sujet a reçu beaucoup plus de temps que les pensées suicidaires.
Y a-t-il un effet?
Les articles sur lesquels je me suis attardé ci-dessus ont attiré une tonne d'attention supplémentaire grâce aux tests A / B. Mais qu'en est-il des autres matériaux?
J'ai fait quelques calculs et j'ai constaté que pour les articles qui passent par la procédure de test, la probabilité d'être "chaud" augmente de 80%. De plus, sans surprise, le nombre total de titres testés est en corrélation avec un engagement accru .
Clause de non-responsabilité: il existe une corrélation entre le nombre de titres et l'engagement, mais il est difficile de déterminer laquelle est la cause et quel est l'effet. À mon avis, il est logique de supposer que plus les variations de titres sont testées, plus les gens liront, aimeront ou partageront sur les réseaux sociaux. D'un autre côté, il est possible que le New York Times passe plus de temps à peaufiner des articles qui ont déjà suscité l'intérêt du public. Bien que, dans le cadre d'observations privées, je dois dire que nombre des articles que j'ai parcourus ont fait la une des journaux avant même de prendre les devants.
Alors qu'est-ce que j'ai appris?
Le New York Times effectue des tests de titres A / B pour accroître l'engagement des lecteurs
.
Dans l'ensemble, les tests ne sont pas largement appliqués.En
fait, je suis un peu surpris que les tests couvrent un si petit nombre de rubriques. Pour la plupart des articles, les tests ne sont pas du tout appliqués, et là où ils sont appliqués, en règle générale, seuls deux en-têtes sont utilisés.
J'ai vaguement supposé que les rédacteurs en chef du New York Times exigeaient que les employés soumettent tous les articles avec, enfin, là, six titres, et un système automatisé fonctionnerait tous ces six dans la première heure. Mais ce n'est évidemment pas le cas, bien que les données suggèrent que des tests A / B plus agressifs auraient entraîné plus d'engagement.
Une explication possible: 62% des bénéfices du New York Times proviennent des abonnements et seulement 27% de la publicité (et ce chiffre diminue chaque année). Cela signifie que les vues ne sont pas aussi importantes que les abonnements - et s'il y a un clickbait continu sur la page d'accueil, cela peut effrayer les abonnés potentiels.
Et pourtant, le résultat, ce sont des titres qui frappent les émotions.
Le New York Times, bien sûr, ne s'abaisse pas au niveau de BuzzFeed, mais il faut néanmoins garder à l'esprit que leur vision des choses ne peut pas non plus être qualifiée de neutre. Comme le montrent les exemples ci-dessus, après les tests A / B, les titres donnent aux événements une couleur beaucoup plus dramatique qu'ils ne le font réellement. Ceux qui lisent constamment cette ressource peuvent avoir l'impression que le monde est plus effrayant et plus imprévisible qu'il ne l'est en réalité.
Davantage
Dans le prochain article, j'explorerai la page d'accueil du site Web du New York Times, à savoir:
- Combien de temps les articles sont-ils suspendus là-bas?
- Lesquels des articles y sont retardés et ceux qui partent rapidement
- Quel type de contenu apparaît le plus souvent sur la page d'accueil et lequel est le moins probable
- La corrélation entre le temps passé sur la page d'accueil et l'engagement global
- Et d'autres choses intéressantes.
Données
Si mon instance EC2 gratuite est toujours active, vous pouvez suivre vous-même les données d'en- tête en temps réel. Gardez simplement à l'esprit deux choses: les données sont présentées à partir du 13 février 2021 et arrivent avec un léger décalage, puisque le cache est mis à jour toutes les trente minutes.