Problèmes des publications scientifiques

Pour les personnes qui ne connaissent pas le processus scientifique, l'importance des articles scientifiques peut ne pas être très claire. La publication n'est pas seulement la diffusion d'informations, mais aussi la vérification des résultats de la recherche, et aussi la mesure la plus importante de l'efficacité des travaux scientifiques.



L'importance des publications pour les scientifiques est décrite par l'expression « publier ou périr » - «publier ou mourir». Ce sont toutes sortes d'indicateurs bibliométriques qui sont à la base pour obtenir des subventions, gravir les échelons de carrière et, finalement, réussir dans la science. Et par conséquent, les problèmes des publications scientifiques affectent négativement la science dans son ensemble.

Introduction - Pourquoi des publications scientifiques?

Comment fonctionne le système de publication scientifique? Tout commence par le fait que vous avez une étude terminée que vous souhaitez publier. Vous devez préparer le texte et les illustrations selon le modèle adopté dans le magazine où vous souhaitez envoyer votre article. Au début, le manuscrit va à l'éditeur, il peut vous refuser tout de suite, jugeant l'article inintéressant, pas assez nouveau ou ne convenant pas au sujet de la revue. Si votre manuscrit passe ce premier filtre, l'éditeur le soumet pour examen par 2-3 chercheurs dans le domaine concerné. Cette étape est appelée revue par les pairs et est la principale étape de la publication scientifique. Les évaluateurs examinent attentivement votre travail et fournissent des commentaires, et suggèrent des modifications et des expériences supplémentaires. Si tous les évaluateurs ont évalué le manuscrit de manière négative, la revue ne publiera pas l'article.Mais même avec une évaluation positive, des changements doivent généralement être apportés. Après cela, l'article est envoyé au deuxième tour de la revue. Cela peut être répété plusieurs fois jusqu'à ce que les examinateurs soient satisfaits du résultat final.



Pourquoi un tel système est-il nécessaire? Il garantit que les experts ont révisé le manuscrit et que toutes les normes requises ont été respectées. C'est précisément ainsi que les articles diffèrent des prépublications (par exemple, sur arxiv.org et biorxiv.org), qui n'ont pas encore été revus, et la qualité du travail scientifique ne peut être garantie.



Une telle introduction détaillée est nécessaire pour comprendre en quoi une publication scientifique diffère, par exemple, d'un article sur Habré.



Quels sont les problèmes avec les publications scientifiques? Il y en a un grand nombre. Et ils ont un effet tangible sur l'ensemble du processus de recherche, car, comme je l'ai dit au début, les articles sont la principale mesure de l'efficacité du travail des scientifiques. Il est intéressant de noter que bon nombre des problèmes sont hérités des temps anciens, lorsqu'il n'y avait pas Internet et que les méthodes de diffusion de l'information étaient radicalement différentes.



Alors, commençons. Le problème le plus visible est bien sûr

Argent

Pour le moment, il existe deux manières principales de «monétiser» une revue scientifique: l'abonnement (paywall) et l'open access (open access). Dans le premier cas, vous devez acheter un article séparé ou un abonnement annuel au magazine. Le libre accès permet à n'importe qui de n'importe où de télécharger un article sur Internet.



Examinons les deux options plus en détail.

Accès payant (paywall)

C'est l'une de ces caractéristiques apparues il y a cent ans. Lorsque les magazines papier étaient le seul moyen de diffuser des informations, ils devaient être imprimés et envoyés. Les gens et les organisations s'y sont abonnés comme n'importe quel autre périodique. Certaines revues scientifiques ont encore des versions papier, mais le plus souvent, leur seule utilité est de feuilleter au déjeuner.



Il est évident qu'aujourd'hui la plupart des publications scientifiques sont diffusées via Internet. Et lorsque vous travaillez avec des informations, des systèmes de recherche automatique sont utilisés (par exemple, Scopus ou Pubmed). Autrement dit, maintenant je ne recherche pas un article dans un magazine, je recherche un article par mots-clés ou auteurs. Mais souvent, après avoir trouvé les recherches dont vous avez besoin, vous pouvez vous heurter à un paywall.





^{Article auto-ironique dans Nature ...}



De nombreuses revues scientifiques nécessitent désormais un abonnement pour accéder à l'article. Étant donné que le coût d'un seul article peut aller jusqu'à plusieurs dizaines de dollars et que chaque employé a besoin d'accéder à des centaines de publications, les éditeurs s'entendent avec les institutions scientifiques et éducatives pour s'abonner pendant longtemps à un grand ensemble de leurs revues. Dans ce cas, les salariés peuvent accéder à tous les magazines de l'éditeur. Cependant, même «avec une remise» pour un gros volume, le coût reste très élevé. On ne sait pas exactement combien d'argent chaque organisation dépense pour les abonnements, les éditeurs ne divulguent pas ces données. Mais les universités de nombreux pays, y compris, par exemple, l'Allemagne, refusent les abonnements en raison de son coût élevé. Notre institut a cessé de s'abonner à Elsevier et, par conséquent, nous avons perdu l'accès légal à un grand nombre de magazines. En général, de nombreuses institutions scientifiques n'aiment pas Elsevier,car ils veulent beaucoup d'argent pour un abonnement.



Un autre inconvénient est que l'abonnement ne fonctionne que sur les adresses IP de l'université ou de l'institut. Autrement dit, vous ne pouvez pas lire les articles de chez vous ou en voyage sans VPN. Et parfois, l'accès aux magazines est limité aux ordinateurs de la bibliothèque uniquement! C'est très gênant, et c'est pourquoi même les scientifiques qui ont un accès légal aux revues utilisent souvent SciHub.







Le principal problème est que la plupart des gens ne peuvent pas accéder aux articles. Mais plus de la moitié de la recherche scientifique est financée par l'État, c'est-à-dire par nos impôts. Et il est souvent impossible de lire l'article avec les résultats. Ni l'école, ni le journaliste, ni l'intéressé ordinaire n'ont d'abonnement, et donc d'accès à l'article.

Accès libre

Les problèmes de «monétisation» par abonnement sont apparus depuis longtemps pour la communauté scientifique. Et avec le développement d'Internet, des magazines sont apparus uniquement en ligne (l'un des éditeurs les plus connus est PLOS). Par conséquent, la monétisation a également changé. Maintenant, la personne qui le publie, c'est-à-dire le chercheur, paie l'article. Et les prix vous surprendront "agréablement" . Un article (selon le magazine) coûte de 1 500 $ à 5 700 $. 





Il est important de comprendre ici qu'il ne s'agit que d'un paiement pour publication. L'argent ou les subventions de l'université sont consacrés à la recherche, et la revue reçoit gratuitement un contenu prêt à l'emploi. Vous pouvez comparer ce système à YouTube, comme si les blogueurs devaient payer pour mettre en ligne une vidéo. Le plus intéressant, c'est qu'au final c'est la même personne qui paie avant (l'institution, et donc le plus souvent l'Etat). Mais dans le système d'accès ouvert, tout le monde peut lire le texte intégral de l'article. Ce changement simplifie considérablement l'interaction avec les journaux. Par conséquent, beaucoup soutiennent la transition de tous les articles vers le libre accès ( programme OA2020 ).



Cependant, dans ce système, les institutions dépensent encore d'énormes sommes d'argent pour publier des recherches. Par exemple, le Royaume-Uni économisera 8 millions d'euros s'il met tous les articles dans le domaine public - 45 millions contre 53 millions qu'ils paient actuellement. Seulement 44 millions, c'est aussi un montant assez important.





^{Ce qui constitue le coût de l'article. Il y a deux points importants à noter dans cette figure. Premièrement, le travail de l'examinateur prend un tiers du coût, mais il n'est pas payé. Deuxièmement, le bénéfice des revues scientifiques est de 15 à 20%! Et selon certaines estimations, il peut atteindre 35%.}

Un grand nombre de magazines et de normes différents

Un autre problème important est que tous les magazines et éditeurs ont des normes différentes. Ceci est particulièrement visible si l'article est rejeté par l'éditeur. Il le fait sans une analyse détaillée de l'article, se concentrant uniquement sur l'intérêt et la nouveauté de la recherche, ainsi que sur la façon dont l'article correspond au format et au sujet de la revue.



La révision éditoriale d'un article peut durer d'une semaine à un mois. Si un éditeur rejette un article, les auteurs le soumettent à une autre revue. En règle générale, cela impliquera des modifications drastiques de la mise en forme de l'article. Le nombre de caractères dans le texte, le nombre d'images et même la possibilité d'utiliser des images en couleur, le nombre de sources littéraires et bien plus encore doivent être modifiés lors du changement de magazine. Le changement peut prendre beaucoup de temps, par exemple, réduire le texte de 6 000 mots à 4 000 et même préserver le sens et l'exactitude du libellé.



Si l'article ne rentre pas dans le prochain magazine, vous devrez le modifier à nouveau. Parfois, jusqu'à 5-6 de ces manches peuvent se produire. Et pour chaque journal, on perd du temps à modifier le texte et à le réviser par l'éditeur. Dans des cas particulièrement malheureux, il faudra plusieurs mois et pas mal de changements de texte inutiles avant même que l'article soit révisé. Il est important de noter que ces changements n'affectent en aucun cas la qualité de l'article, ils ne sont nécessaires que pour s'adapter au format de la revue.



Il convient de noter que, malgré l'absence de limites de taille raisonnables pour les magazines modernes - ils sont publiés en ligne - le nombre de magazines différents ne fait qu'augmenter. Tous les éditeurs créent de plus en plus de magazines. Dans le même temps, comme indiqué précédemment, une telle diversité n'est pas justifiée par l'émergence de nouveaux domaines de connaissances - les scientifiques modernes ne lisent pas la revue en entier, mais recherchent les articles nécessaires dans des bases de données spéciales (telles que Scopus ou PubMed).

Note de l'éditeur

J'ajouterai quelques commentaires sur l'évaluation de l'article par l'éditeur. Un éditeur est une personne qui décide si la revue publiera ou non votre travail. Il peut refuser à tout moment pour n'importe quelle raison. L'éditeur s'intéresse aux articles les plus réussis qui seront activement cités. Cela signifie que les éditeurs sélectionnent les articles selon certaines caractéristiques, tandis que d'autres articles, au contraire, se trouvent dans une position très désavantageuse. Les rédacteurs en chef sont attirés par les sujets hype, les noms notables de scientifiques, la correspondance des résultats avec le cours actuel, les nouvelles méthodes et les grandes quantités de données que d'autres chercheurs peuvent utiliser. À l'inverse, des domaines scientifiques étroits, des auteurs inconnus et des méthodes simples peuvent devenir un facteur négatif. Il convient de noter que cela n'a souvent rien à voir avec la qualité de la recherche, mais reflète uniquement son sujet.



L'éditeur prend une décision après avoir lu l'article (ou une partie de celui-ci), mais vous ne recevrez généralement pas de commentaires détaillés de sa part. Si l'éditeur rejette l'article, la raison en est souvent une nouveauté scientifique insuffisante, une incohérence avec le sujet de la revue. Le travail de l'éditeur est complètement opaque: on ne sait pas s'il a lu l'article en entier ou juste un résumé, sur la base de quels critères il évalue la nouveauté de la recherche, etc. Il est également impossible d'argumenter avec l'éditeur si l'article est rejeté par l'éditeur, généralement il est envoyé à un autre magazine.



On peut également noter ici que la relation personnelle de l'éditeur avec les auteurs de l'article peut parfois influencer sa décision.

Examen (qui, pourquoi et combien)

L'examen par les pairs est la partie la plus importante du processus de publication scientifique. C'est grâce à l'examen par les pairs que nous pouvons, dans une certaine mesure, faire confiance aux résultats de la recherche. Sans vérifier l'article, on pourrait simplement le télécharger sur Habr (et, peut-être, la couverture serait encore plus élevée). Par conséquent, il est surprenant que tous les frais de publication soient affectés au fonctionnement de la revue et au profit. Les évaluateurs travaillent gratuitement et ne reçoivent rien pour leur travail. De plus, les évaluateurs le font pendant leur temps libre, car ils sont eux-mêmes des scientifiques et doivent mener leurs recherches. Un tel système fonctionne grâce à la responsabilité collective: aujourd'hui, vous révisez l'article, et demain vous en aurez besoin. Mais il n'en reste pas moins que la revue reçoit gratuitement non seulement le contenu, mais aussi la compétence des critiques.



Comment fonctionne la revue? L'éditeur, après avoir regardé votre article, sélectionne des critiques appropriés - des scientifiques qui ne collaborent pas avec les auteurs de l'article, mais qui travaillent dans le même domaine. Les réviseurs reçoivent le texte de l'éditeur et lui envoient leurs commentaires. L'identité des relecteurs n'est pas divulguée aux auteurs de l'article, toute correspondance est anonyme.





Après avoir soigneusement étudié l'article, les critiques suggèrent des modifications à apporter - corrections de la formulation, contrôles supplémentaires et expériences. Un bon critique peut grandement améliorer un article. Tout dépend de la personne qui examine votre article. Dans quelle mesure l'examinateur vérifiera-t-il les calculs? Comment examiner attentivement les documents et bases de données supplémentaires? Va vérifier les tests statistiques et les méthodes utilisées? Puisqu'il y a toujours deux ou trois examinateurs, le rôle de chacun est très important.



Il y a aussi place pour les abus. Le critique peut vous demander de citer son article ou d'écrire des critiques négatives parce qu'il n'est pas d'accord avec votre position sans se fier à la qualité réelle de la recherche.



Les auteurs peuvent débattre avec les réviseurs - il n'est pas nécessaire d'accepter pleinement tous leurs changements. Mais il est presque impossible de publier l'article dans sa forme originale, complètement sans corrections. Dans la plupart des revues, des corrections sont apportées au texte de l'article et la correspondance avec les critiques n'est accessible à personne, à l'exception des auteurs. Autrement dit, vous ne pouvez pas savoir exactement ce qui a été modifié par les critiques.





^{J'ai supprimé presque toutes les bandes dessinées sous le spoiler, mais cette image explique parfaitement ce qui se passe après la revue.}

Temps d'attente

Que font les auteurs pendant que la revue est en cours? Mais rien, ils attendent des retours. Bien sûr, à l'heure actuelle, les recherches se poursuivent sur les projets suivants, mais très peu est fait sous l'article sur l'audit des expériences.



Combien de temps cela prend-il? La révision de l'article par l'éditeur (avant l'envoi aux relecteurs) prend d'une semaine à un mois. Parfois, il vaut la peine de rappeler à l'éditeur votre article, puis le processus s'accélère. L'audit peut durer d'un mois à six mois. Il faut comprendre que le travail de l'examinateur n'est pas rémunéré, donc beaucoup refusent de procéder à un examen. De plus, il peut être difficile de trouver un critique sans conflit d'intérêts et un expert dans le domaine de l'article. Par conséquent, dans certains cas, il faut beaucoup de temps pour trouver des évaluateurs. Dans des situations exceptionnelles, l'éditeur ne peut pas trouver de réviseurs, ce qui retarde davantage le processus.



Pourquoi cela pourrait-il être un problème? Il convient de noter ici que les articles sont souvent nécessaires pour les rapports sur les subventions, les étudiants de troisième cycle ont besoin de publications pour la défense, parfois l'auteur d'un article change rapidement de lieu de travail - souvent il y a une ou une autre date limite à laquelle la recherche doit être publiée. Il est clair qu'il est erroné de publier un article inachevé. Mais la propagation en termes de jusqu'à six mois rend très difficile la planification du travail.



L'examen peut prendre plusieurs tours. Une fois les modifications apportées, les évaluateurs peuvent demander des expériences supplémentaires. En conséquence, l'examen peut prendre plusieurs années.





^{Et ce n'est pas une blague.}

Reproductibilité

C'est un très gros problème pour le processus scientifique en lui-même. La "crise de reproductibilité", en particulier dans les sciences médicales, est l'un des obstacles les plus importants au développement rapide et qualitatif de la science. Ce sujet a déjà été analysé de manière suffisamment détaillée sur Habré ( un et deux ), nous ne parlerons donc ici que de l'influence du système de publication actuel à ce sujet.





^{Facteurs rendant difficile la reproduction des résultats. Les flèches sombres peuvent être corrigées lors de la révision et de la publication. Les flèches claires indiquent des facteurs indirectement liés aux publications.}

Et cette influence est grande. Sur l'image, les flèches indiquent les principales raisons de la faible reproductibilité, qui sont associées au fonctionnement des magasins. C'est l'éditeur de l'article qui doit vérifier la présence du code, la disponibilité des données dans la base de données, la description des méthodes et tout le matériel nécessaire. Cependant, de nombreuses revues limitent considérablement la portée de l'article et les méthodes détaillées ne rentrent tout simplement pas dans le texte principal. Les auteurs l'ont mis dans des documents supplémentaires, mais ils sont beaucoup moins contrôlés par l'éditeur et les critiques, ils sont plus difficiles à trouver par référence et ils peuvent être dans n'importe quel format - tout est à la discrétion des auteurs.





Fait intéressant, c'est dans les magazines les plus cool que des articles sont souvent publiés où les méthodes ne sont pas décrites de manière suffisamment détaillée, les liens vers les sources ne fonctionnent pas, le code n'est pas disponible et les fichiers les plus importants ne sont pas dans les bases de données. 





La structure même des articles et le processus de publication conduisent à une faible reproductibilité - si vous ne savez pas ce que les auteurs ont fait, vous ne pouvez pas le répéter. Mais deux autres faits jouent un rôle encore plus grand.



Publier ou périr. J'ai écrit ceci au tout début, c'est ainsi que toute la science fonctionne maintenant. Cela oblige les scientifiques à rechercher les résultats les plus en vogue et à les publier le plus rapidement possible. Les gagnants sont ceux qui écrivent beaucoup d'articles, pas ceux qui font des recherches qualitatives. La pression de la recherche de subventions conduit au fait qu'il est plus rentable de publier plus souvent, même si les résultats ne peuvent être reproduits plus tard. Cela n'a plus d'importance - l'article a été publié. Et dans certains cas, cela peut conduire à des fraudes: à la fois de petites manigances avec des images (comme celles trouvées sur Retraction Watch) et la falsification des résultats d'articles entiers.





Et ce n'est pas moins important: personne n'est intéressé à répéter les expériences des autres. De telles œuvres sont très difficiles à publier et il est presque impossible d'obtenir une subvention pour cela. Tout le monde veut de nouvelles recherches. Il est particulièrement avantageux pour les magazines de publier des articles qui obtiennent autant de citations que possible. La répétition de résultats connus suscitera beaucoup moins d'intérêt. Il est intéressant de noter que la reproduction des recherches d'autres personnes est difficile à publier quels que soient les résultats, vous avez confirmé l'article précédent ou l'a nié.

Utiliser des articles comme mesure de la fraîcheur

Un problème très important du système moderne n'est pas directement lié aux articles. Comme je l'ai dit au début, les publications sont une mesure du succès des travaux scientifiques et le principal critère pour recevoir des subventions. Ce n'est pas un problème en soi. La question est la mise en œuvre - comment évaluer la fraîcheur de l'article? Il existe de nombreux indicateurs bibliométriques différents. Les plus importants sont le nombre de citations de l'article et le facteur d'impact de la revue.



Le nombre de citations d'articles indique le nombre de fois que votre recherche a été mentionnée dans d'autres articles évalués par des pairs. C'est une caractéristique importante évaluant la pertinence de la recherche dans la communauté scientifique, un indicateur assez objectif, mais non sans inconvénients. Le principal problème avec ce paramètre est que la citation d'un article ne s'accumule qu'au bout de quelques mois (pour un travail très important) ou de plusieurs années (la version habituelle). Autrement dit, immédiatement après la publication d'une publication, son importance et son influence ne peuvent être estimées par le nombre de citations.



Le facteur d'impact d'une revue est la citation moyenne pendant un an de tous les articles parus au cours des deux années précédentes. Autrement dit, il s'agit de la mesure moyenne de la citation d'articles dans la revue. Quels sont les problèmes avec ce paramètre? La moyenne est très sensible aux valeurs aberrantes, de sorte qu'un petit nombre d'articles les plus cités ont la plus grande influence sur le facteur d'impact.



Mais le principal problème est que le facteur d'impact d'une revue en dit très peu sur la qualité d'un article particulier dans cette revue. Cependant, ce paramètre est très souvent utilisé spécifiquement pour l'évaluation d'articles. Impact Factor est immédiatement disponible et de nombreuses subventions l'utilisent pour donner à un article une valeur de qualité.



Quel est le problème avec cette approche? Comme vous le savez déjà, la décision de publier dans la revue (ou de refuser) est prise par une seule personne - l'éditeur. Et s'il trouve l'article inintéressant, pas assez hype ou inapproprié pour tout autre paramètre, la publication sera refusée. Cela signifie que l'article sera soumis à une autre revue avec un facteur d'impact inférieur. Autrement dit, le contenu du travail n'a pas changé, mais son évaluation a diminué, et non à cause de la qualité de l'étude. 

Échange d'informations et interaction

En fin de compte, je voudrais discuter non pas du problème le plus important, mais plutôt indicatif. En effet, au 21e siècle, les articles scientifiques ne sont pas très différents de ce qu'ils étaient il y a cent ans. Oui, nous pouvons télécharger l'article sur Internet (si vous y avez accès), mais il s'agit toujours d'un document texte avec des images. La qualité des images s'est améliorée (bien que certains magazines doivent encore payer un supplément pour les images en couleur), des hyperliens vers des sources littéraires sont apparus (qui pour une raison quelconque ne fonctionnent pas très bien), mais c'est tout. Et vous lisez le texte disposé en colonnes, tel qu'il était à la fin du 19e siècle.





^{Article du tout premier numéro de la revue Nature. Ceux qui connaissent ce magazine reconnaîtront le format Lettre. Il est encore utilisé aujourd'hui, bien qu'il soit complètement gênant pour publier des données scientifiques modernes.}

La fonction principale du magazine est désormais l'hébergement de pdf. C'est moins que ce que fait, par exemple, Wikipedia. Dans le même temps, pour un tel service, vous devez payer plusieurs milliers de dollars pour un document, qui est probablement l'hébergement le plus cher au monde.



Il est clair que j'exagère, mais de nos jours, il y a tellement d'opportunités pour les critiques, les notes et l'agrégation d'articles. Vous pouvez fournir une plate-forme permettant aux scientifiques de discuter directement des articles directement sur le site et de les y apporter. Si nous prenons Habr comme exemple, alors les commentaires ne sont souvent pas inférieurs à l'article lui-même.



Maintenant, certains magazines ont la possibilité de commenter, mais presque personne ne l'utilise. D'une part, parce que cette fonction n'est pas très pratique et est mise en œuvre moins bien que dans les applications habituelles, d'autre part, parce que la revue ne dépense pas d'énergie pour attirer des scientifiques et développer une telle plateforme.



Il me semble que l'expérience moderne de différents domaines qui organisent une grande quantité de données - réseaux sociaux, sites d'annuaires (comme Kinopoisk), Wikipedia et bien d'autres - va changer la façon dont nous échangeons des informations scientifiques. Les éditeurs font timidement des pas dans ce sens, mais ils sont satisfaits de la situation actuelle, ils n'ont rien à changer.





À la fin, je voudrais inviter tout le monde à une discussion. Notez si vous avez eu des expériences négatives avec des magazines. Ou peut-être êtes-vous entièrement satisfait du système moderne? Je serais heureux d'entendre votre opinion sur les publications scientifiques dans les commentaires.



Et sur la façon dont certains des problèmes décrits sont résolus et ce qui peut être fait d'autre et quelles sont les perspectives de développement, nous vous en parlerons la prochaine fois ( deuxième partie de l'article ).

Remerciements

Un grand merci à Olga Zolotareva pour les discussions et les idées pour cet article. Merci à Sofya Kamalyan pour son aide dans la vérification du texte. Et aussi à tous les collègues avec qui nous avons discuté des problèmes des publications scientifiques.