Cette fois, nous discuterons des solutions qui ont déjà été inventées, mises en œuvre et développées. Enfin, je décrirai ma vision d'un système optimal d'échange d'informations scientifiques.
Systèmes de recherche d'informations scientifiques
Le fait que vous puissiez maintenant trouver n'importe quel article scientifique en ligne n'est plus surprenant. Cependant, il y a à peine une vingtaine d'années, les choses étaient loin d'être faciles.
Vous pouvez maintenant trouver n'importe quel article par auteur, titre, année de publication ou mots-clés du résumé. Il suffit d'ouvrir Scopus, PubMed, Google Scholar ou un autre système.
Cependant, il y a sans aucun doute place à amélioration. La plupart des systèmes ne recherchent que par annotation, bien que la recherche dans tout le texte donne accès à une quantité beaucoup plus importante d'informations. Cela pose le problème du fait que souvent le texte intégral n'est pas accessible au public (à cause du paywall). En outre, des capacités de recherche par les méthodes utilisées dans les travaux et les expériences individuelles seraient utiles.
L'utilisation des moteurs de recherche est un facteur important dans la création de nouvelles revues ou d'archives pré-imprimées. Souvent, un service de recherche populaire est utilisé par de nombreux scientifiques dans un domaine particulier (par exemple, en biologie et en médecine, il s'agit de PubMed). Dans ce cas, les articles publiés sur des ressources non indexées par de tels moteurs de recherche se révèlent pratiquement invisibles pour la communauté scientifique.
Accès libre
L'un des problèmes les plus importants des revues scientifiques modernes est la restriction d'accès aux articles par abonnement (paywall). Quiconque a travaillé avec des articles au moins une fois est tombé sur cela.
Résumé de la série précédente
, . , , . , , 30 , . , . , , .
Le problème de l'accès aux articles est généralement reconnu et la communauté scientifique fait de gros efforts pour traduire tous les articles en libre accès.
La solution au problème est connue depuis longtemps: lors de la soumission d'un article pour publication, les auteurs paient une redevance unique et l'article est distribué gratuitement. Tout le monde peut télécharger gratuitement l'article. Les coûts de publication font l'objet d'une discussion distincte, mais même aux prix actuels, publier tous les articles du domaine public sera moins cher que les abonnements pour toutes les universités.
La chose la plus intéressante est que c'est également bénéfique pour les magazines - ils n'ont pas besoin de maintenir le système d'abonnement, ils prennent juste de l'argent aux auteurs.
PeerJ
rg_software. PeerJ , open access ( 1200$). — 400$ ( ) — .
De plus, les articles du domaine public peuvent avoir beaucoup plus de lecteurs (puisque l'accès à ces articles n'est limité par rien), ce qui signifie qu'il leur est plus facile d'obtenir des citations. Encore une fois, cela profite à tout le monde - à la fois aux auteurs et même aux magazines, car cela augmente le facteur d'impact.
Pré-soumission
De nombreux magazines ont leurs propres normes pour la mise en forme du texte, des illustrations et d'autres parties de l'article. Cela peut conduire à un problème très ennuyeux. Tout le monde n'est pas confronté à ce problème, mais si vous êtes très malchanceux, vous pouvez perdre six mois à faire un travail complètement improductif et à attendre sans aucune amélioration de la recherche elle-même. Nous parlons de la nécessité de refaire complètement la conception du magazine si, dans le magazine précédent, l'éditeur avait rejeté l'article. Les changements peuvent souvent être importants et prendre du temps. Et aussi l'article peut être rejeté plus d'une fois.
Mais en biologie ...
, . .
Afin d'éviter de réécrire complètement l'article dans son intégralité, les revues proposent aux auteurs une pré-soumission. Les auteurs n'envoient qu'une brève description de leur article à l'éditeur, qui prend une décision préliminaire. Si l'article ne convient pas au magazine, vous pouvez l'envoyer à un autre magazine sans perdre de temps à préparer l'ensemble du design. Si l'éditeur s'intéresse à votre travail, la soumission habituelle du texte intégral pour révision commence. Pour le moment, de nombreux éditeurs offrent cette opportunité aux auteurs.
La pré-soumission peut sembler une amélioration mineure, mais dans la situation actuelle avec un grand nombre de revues, elle peut faciliter la vie des auteurs et gagner beaucoup de temps.
Pré-enregistrement de l'étude (pré-enregistrement)
Un projet pilote assez intéressant a été lancé par la maison d'édition PLoS. Vous pouvez enregistrer votre projet dans la revue au tout début du travail . Dans ce cas, nous ne parlons que du concept; lors de l'enregistrement, il n'y a pas de résultat final ou de texte prêt à l'emploi. Cette pré-inscription est une opportunité intéressante pour obtenir rapidement les commentaires d'autres universitaires et évaluateurs potentiels. Cette approche permet d'optimiser le travail et d'accélérer la révision dès la soumission à la revue.
Un autre avantage de l'enregistrement préliminaire est la publication des résultats, qu'il ait été possible de confirmer ou non l'hypothèse énoncée. Le fait est qu'il est presque impossible de publier des résultats négatifs maintenant. Ceci conduit à un biais dans la perception des faits scientifiques: seules les hypothèses confirmées sont publiées, les hypothèses qui ont échoué le sont extrêmement rarement. La pré-inscription peut résoudre ce problème. Si vous avez enregistré votre projet depuis le début, le résultat final sera publié, qu'il soit positif ou négatif.
L’enregistrement préliminaire des projets présente des inconvénients évidents. Certains chercheurs pensent que de cette manière, il sera possible d '«occuper» des sujets intéressants et de les explorer lentement. En général, la question de la priorité dans un tel système devient très controversée. Dans de nombreux domaines scientifiques, ce n'est pas tant l'idée initiale qui importe que sa vérification expérimentale. Autrement dit, il est facile de proposer un projet, mais beaucoup plus difficile à mettre en œuvre. La préinscription peut encourager plus de projets que le groupe ne peut en rechercher.
Mais il y a aussi un inconvénient plus évident de ce système. Les magazines qui utilisent la préinscription sont désavantagés par rapport aux magazines traditionnels. Après tout, la pré-inscription vous oblige à ouvrir les détails de votre projet, ainsi que dès le début à choisir une revue dans laquelle vous publierez votre recherche. D'autres chercheurs peuvent utiliser vos idées de projet et publier leurs recherches dans une revue traditionnelle. Autrement dit, le système de pré-enregistrement ne peut fonctionner efficacement que si toutes les revues y participent.
Révision des articles
Résumé de la série précédente
. — . , , . .
La révision est la partie la plus importante du processus de publication; sans elle, vous ne pouvez pas être sûr que les informations ont été vérifiées. Cependant, il s'agit d'un processus long et laborieux. Voici quelques moyens d'optimiser votre avis.
Pré-impressions
Une pré-impression est un texte scientifique rédigé qui n'a pas encore été révisé par les réviseurs. Les auteurs peuvent publier leurs recherches sur des sites dédiés tels que arxiv.org et biorxiv.org.
Les services de pré-impression sont devenus très populaires ces derniers temps. Du point de vue de la diffusion des informations scientifiques, ils ne sont en aucun cas inférieurs aux articles ordinaires - tout le monde peut télécharger le manuscrit et le lire. La principale différence est que la pré-impression n'a pas été vérifiée. Mais si un spécialiste le lit, ce problème n'est pas trop important - le lecteur agit en tant que critique pour lui-même. Mais la pré-impression peut être postée beaucoup plus tôt, ce qui accélère l'échange d'informations.
Le plus souvent, les pré-impressions sont envoyées à une revue scientifique régulière en même temps. Autrement dit, après un certain temps, la pré-impression devient un article régulièrement évalué par les pairs. Dans certains cas, les pré-impressions peuvent aider à résoudre le problème de l'accès fermé, ainsi qu'à obtenir des commentaires de collègues sur l'article alors qu'il est encore en cours de révision.
Mais en physique ...
F1000Recherche
Le magazine F1000Research combinait les deux possibilités: le manuscrit est d'abord publié sous forme de pré-impression et après examen, il reçoit le statut d'un article vérifié. À mon avis, c'est une direction prometteuse, mais jusqu'à présent, très peu de magazines l'utilisent.
Ce magazine vous permet également de publier des affiches et des diapositives avec des devoirs doi. Autrement dit, il devient plus facile de rechercher ces matériaux et, si nécessaire, de citer.
Je suis très proche de la position de ce magazine indiquée sur leur page d'accueil:
Publiez tous vos résultats, y compris les résultats nuls, les notes de données et plus encore.
Interagissez avec vos réviseurs de manière ouverte et transparente.
Accélérez l'impact de vos recherches.
Fait intéressant, un modèle similaire a été choisi pour JMIRx - magazines associés à biorxiv, medrxiv et psiarxiv. Les auteurs téléchargent un article dans l'archive, et les éditeurs de JMIRx sélectionnent certains articles et les soumettent pour examen. Les auteurs eux-mêmes peuvent demander la révision de leur article. Les modifications proposées par les réviseurs sont également téléchargées dans l'archive.
Voici comment l'idée est décrite dans JMIRx:
Les chercheurs pourraient soumettre des articles électroniques de type 1 [prépublications non évaluées par des pairs] à des serveurs de préimpression pour discussion et examen par les pairs, et les éditeurs de revues et les éditeurs choisiraient et soumissionneraient pour les meilleurs articles qu'ils souhaitent voir comme des «articles de type 2» [ version du dossier] dans leur journal.
À mon avis, c'est un excellent exemple d'une nouvelle approche de la publication des résultats. Je ne suis pas d'accord avec tout dans leurs décisions, par exemple, les critiques sont principalement invités en fonction des propositions des auteurs de l'article, mais je pense que le principe d'introduction d'innovations est très correct.
Examen par les pairs avant soumission à la revue
Récemment, plusieurs revues se sont unies pour que les scientifiques soumettent leur article non pas à une revue spécifique, mais à une revue générale pour tous . Après avoir passé l'examen, la revue optimale pour la publication sera sélectionnée. L'éditeur participe également à ce processus, qui dans ce cas représente l'ensemble du syndicat.
Ce format de révision vous donne l'assurance que l'article ne sera pas rejeté par une revue particulière au cours du processus. Cela signifie que les auteurs ne perdront pas de temps à soumettre à nouveau, car le choix d'une revue particulière pour la publication intervient après la revue.
Le développement évident d'un tel système sera la consolidation de plus en plus de revues. Cependant, la concurrence entre éditeurs peut devenir un obstacle à ce processus. Dans le cadre d'une maison d'édition, il n'est pas très difficile de trouver le bon magazine sur le sujet. En outre, différents éditeurs ont des magazines avec des sujets similaires, et ils sont souvent proches en termes de facteur d'impact.
Publication de revues
Certaines revues (comme eLife et Nature ) publient des évaluations par les pairs. Je pense que c'est exact, car l'examen est une partie importante du processus scientifique. Si un critique a suggéré de bonnes expériences et a remarqué des inexactitudes importantes, il a contribué au développement de l'étude. D'un autre côté, parfois les exigences des réviseurs peuvent être complètement illogiques, alors il est également utile de voir les critiques afin de comprendre ce qui a été ajouté et ce que les auteurs ont suggéré à l'origine. Dans le même temps, la publication de la revue n'empêche pas les relecteurs de rester anonymes.
La question de la nécessité d'examens anonymes n'a pas de réponse claire. Dans la plupart des cas, la méthode semi-aveugle est utilisée lorsque les noms des auteurs sont connus et que les relecteurs sont anonymes. Dans Nature, une variante des revues en double aveugle a été proposée, lorsque ni les auteurs ni les relecteurs ne divulguent leurs noms (après la revue, les noms des auteurs sont bien sûr ouverts). Dans le même temps, la tâche d'assurer l'anonymat de l'article incombe aux auteurs, ce qui est loin d'être facile. Souvent, par sujet, objet et méthodes de travail, il est possible d'identifier avec précision le laboratoire qui a effectué la recherche.
Et le F1000Research déjà mentionné, au contraire, soutient l'approche opposée - l'examen y est complètement ouvert. Les auteurs et les critiques se connaissent mutuellement. Je n’ai pas d’opinion définitive sur l’approche qui est la meilleure. Chacun d'eux a ses propres avantages. Sur un point, de nombreux participants à la discussion s'accordent à dire que l'examen anonyme est probablement plus critique.
Rémunération des examinateurs
L'un des problèmes évidents, à mon avis, est que le travail des examinateurs n'est pas rémunéré.
Il est clair que les magazines ne sont pas du tout intéressés à changer un tel système. Mais malgré cela, de petits progrès sont en cours. Certaines revues, au minimum, discutent de la possibilité de publications gratuites pour les critiques actifs. Les pas dans cette direction sont très faibles, mais il semble que la communauté commence à réfléchir sérieusement aux défauts du modèle existant.
Facteur d'impact comme mesure de la fraîcheur
Un problème très important du processus scientifique moderne dans son ensemble est de savoir comment évaluer le succès et l'efficacité des travaux scientifiques. C'est un sujet éternel qui peut être discuté de toutes sortes de côtés, mais aujourd'hui, il est important pour nous de savoir comment les publications scientifiques influencent cela.
Le fait est que les articles sont la principale mesure du succès d'un scientifique. La grande majorité des mesures de succès utilisent l'une ou l'autre mesure liée aux publications. Tous ceux qui étaient même légèrement liés à la science ont entendu parler de l'indice de Hirsch, du nombre de citations et du facteur d'impact. Ce dernier est le plus souvent utilisé pour rendre compte des subventions et pour en recevoir de nouvelles (c'est-à-dire qu'il détermine combien d'argent un scientifique disposera). Cela signifie que le facteur d'impact affecte le plus clairement le succès des chercheurs.
Le facteur d'impact est une affaire sérieuse
Le facteur d'impact est la somme des citations pendant un an, de tous les articles parus au cours des deux années précédentes. Autrement dit, il s'agit de la mesure moyenne de la citation d'articles dans la revue. Par conséquent, le principal inconvénient de ce paramètre est le suivant: le facteur d'impact est une caractéristique d'une revue et non d'un article séparé. Dans une certaine mesure, ces valeurs sont corrélées - un mauvais article ne sera pas publié dans une revue de premier plan. Le problème est qu'il s'agit d'une estimation très indirecte. Nous ne savons pas dans quelles revues les auteurs ont envoyé leur article, nous ne savons pas non plus sur quoi le rédacteur a été guidé lorsqu'il a accepté ou rejeté l'article. Cela peut être soit la qualité ou la nouveauté de l'article, soit un sujet de battage publicitaire ou un scientifique bien connu des auteurs. Nous ne savons pas pourquoi l'article s'est retrouvé dans une bonne revue - c'est une mesure cumulative qui combine tous les avantages et inconvénients de l'article. Outre,la décision finale est prise par une seule personne - l'éditeur, et l'évaluation de la qualité d'un article scientifique dépend de sa décision. Tout cela fait du facteur d'impact une mesure très opaque et difficile à analyser de la qualité d'un article individuel.
La question même de la qualité du travail scientifique est très compliquée. Qu'est-ce qui est le plus important, la qualité des expériences ou la nouveauté? Ou peut-être la popularité momentanée du sujet? Mais le facteur d'impact cache tous ces paramètres (et bien d'autres) dans un seul chiffre, calculé pour tous les éléments sur deux ans.
Et si le facteur d'impact est inutile?
De nombreux scientifiques s'opposent à l'utilisation de facteurs d'impact - par exemple, la combinaison de DORA et ASAPbio , qui prônent l'abolition des facteurs d'impact. Le lauréat du prix Nobel Randy Sheckman, l'un des fondateurs du magazine eLife, appelle également à abandonner cette métrique. Fait intéressant, eLife ne souhaitait pas au départ indexer son magazine dans cette note. Mais les compilateurs de la liste des facteurs d'impact, Thomson Reuters, n'ont pas tenu compte de leur avis.
Les principes d’évaluation utilisés par les grands donateurs sont toutefois les plus importants. S'ils décident d'abandonner le facteur d'impact au profit d'une méthode d'évaluation différente, cela peut très rapidement changer le statu quo.
Reproductibilité
C'est le problème le plus important auquel est actuellement confrontée toute la communauté scientifique. Il n'y a pas de solution unique à ce problème et les donateurs, les revues et les scientifiques eux-mêmes doivent travailler ensemble pour améliorer la fiabilité des données. Cependant, les publications scientifiques jouent un rôle important dans ce processus. Un examen plus strict des articles par les pairs pour valider les méthodes de recherche et la disponibilité des données devrait être le point de départ définitif pour améliorer la reproductibilité.
Une façon d'organiser la description des méthodes, des matériaux et des données consiste à utiliser divers formulaires standard. Il n'existe actuellement pas de norme unique pour décrire les méthodes, mais certains magazines proposent leurs propres directives de conception. Par exemple, Cell Press utilise les méthodes dites STAR et le tableau des ressources clés. Il s'agit d'une liste de critères pour décrire les méthodes et spécifier avec précision tous les matériaux utilisés. Ces critères ne sont pas idéaux, mais ils représentent un grand pas en avant. Cell n'autorise plus le transfert des méthodes vers Supplementary, ce qui permet également de standardiser la description.
Il convient également de noter l'émergence d'un grand nombre de ressources exclusivement destinées à l'échange de protocoles de recherche (par exemple, protocoles.io ). Pour cela, des magazines spéciaux sont fabriqués avec des procédures très détaillées. Et par exemple un magazineJoVE (Journal of Visualized Experiments) publie non seulement des descriptions textuelles des procédures, mais aussi une vidéo montrant les détails du processus, ce qui peut être très utile pour reproduire des expériences complexes.
En ce qui concerne la reproductibilité, il convient bien sûr de mentionner la montre de rétraction . Il s'agit d'une tentative de résoudre le problème de l'autre côté. Ils recherchent des modifications d'image, des irrégularités expérimentales et d'autres falsifications dans des articles déjà publiés. Il est important de comprendre que même les évaluateurs les plus attentifs et les plus responsables peuvent manquer une erreur ou une inexactitude. C'est là que la communauté aide en signalant les articles suspects.
Souvent, à la suite des actions de Retraction Watch, le magazine rappelle des articles falsifiés. Il convient de noter ici que la prochaine étape du système moderne n'est presque jamais franchie. Personne ne passe en revue d'autres articles que les mêmes critiques ont vérifiés, par exemple. Même si un éditeur dans une revue trouve un critique systématiquement peu scrupuleux, les autres revues ne le sauront pas.
Interaction des scientifiques
La dernière fois, une vive réaction a été provoquée par la possibilité de commenter des articles scientifiques. Auparavant, un genre spécial de publications était répandu - le «commentaire de l'article». Autrement dit, un scientifique a écrit une petite note au journal, où il a discuté de l'article d'autres auteurs. C'est une bonne occasion de discussion savante, mais plutôt lente.
Maintenant, je rencontre à peine de telles notes. Il y a une section avec des commentaires sur les sites de magazines, mais presque personne ne l'utilise. Je suis très inspiré à cet égard par Habr, car ici les commentaires sont une source précieuse d'informations complémentaires qui développent les idées de l'article. Il est clair que les commentaires dans une revue scientifique devraient fonctionner différemment, mais la possibilité même de publier de petits articles expérimentaux ou des discussions est demandée.
Comment fonctionnent les commentaires de journaux maintenant
, Iamkaant :
, . , - . , , , , . , . .
www.nature.com/articles/nature14295, Nature, , , . , , , , . . , , , . …
, . , - . , , , , . , . .
Ici, il faut garder à l'esprit que la plupart des lecteurs de l'article sont des spécialistes du même domaine. Beaucoup d'entre eux souhaitent utiliser les données ou les approches expérimentales de l'article. Autrement dit, leur opinion peut être précieuse tant pour les auteurs que pour les autres lecteurs de l'article. Et les scientifiques utilisent désormais une variété d'outils pour faciliter cette communication.
Voici une raison importante à cela.
:
, « ». . ! : — ? ?
Étonnamment, Twitter reste l'une des plateformes les plus populaires. Les scientifiques partagent non seulement des liens vers leurs articles, mais organisent également des discussions assez larges. Il me semble que ce n'est pas très pratique (du moins à cause de la limite du nombre de caractères), mais la plateforme est déjà devenue une sorte de réseau social pour les scientifiques.
Mais des plateformes plus spécialisées évoluent également . Le réseau social le plus connu pour les scientifiques est probablement ResearchGate . C'est un site assez convivial avec de nombreuses fonctionnalités. Ici, vous pouvez publier des articles et des pré-impressions, vous abonner aux mises à jour des scientifiques qui vous intéressent, créer des projets WIP avec des expériences non encore publiées, écrire des commentaires sur les articles. Il existe également un système de notation, qui comprend les publications, les questions, les réponses et le nombre d'abonnés.
Elsevier a son propre réseau social pour les universitaires basé sur le programme de bibliographie de Mendeley . Étonnamment, même après l'achat d'Elsevier, le programme reste gratuit. C'est un gestionnaire de références assez pratique, mais en tant que réseau social, je ne l'ai pas utilisé.
Comment je vois le magazine du futur
En fait, je vous ai trompé dans le titre de cette section. Il n'y a rien de particulièrement futuriste dans ce concept. Je ne suggère pas de remplacer les scientifiques par des robots pour collecter automatiquement des données ou d'utiliser la blockchain pour se protéger contre la falsification. Tout ce que je suggère d'utiliser est déjà là et utilisé. Je suggère seulement que nous combinions les concepts qui fonctionnent ensemble.
idée principale
L'idée est de créer une archive unifiée d'informations où les auteurs peuvent télécharger des recherches sur n'importe quel sujet. En même temps, il combine les avantages des revues scientifiques, mais fonctionne (presque) automatiquement!
Le système sera basé sur un programme tel que JANE . Si vous n'êtes pas familier avec de tels programmes et que vous disposez d'un court texte scientifique sur des sujets biomédicaux, je vous recommande de suivre le lien et de l'essayer. JANE recherche des articles similaires et, sur cette base, sélectionne les revues appropriées et répertorie les auteurs travaillant sur ce sujet. Les détails sont décrits ici dans cet article .
Qui est Jane?
Have you recently written a paper, but you're not sure to which journal you should submit it? Or maybe you want to find relevant articles to cite in your paper? Or are you an editor, and do you need to find reviewers for a particular paper? Jane can help!
Just enter the title and/or abstract of the paper in the box, and click on 'Find journals', 'Find authors' or 'Find Articles'. Jane will then compare your document to millions of documents in PubMed to find the best matching journals, authors or articles.
Il me semble qu'un tel programme est idéal pour le rôle d'éditeur automatique. Elle pourra vérifier les catégories de sujets et les mots-clés, ainsi que trouver des critiques.
L'auteur de l'article télécharge le manuscrit sur le serveur, le programme trouve les réviseurs appropriés, leur envoie des courriels. Les relecteurs vérifient l'article, prennent une décision, marquent le statut de l'article sur le site et envoient les commentaires nécessaires aux auteurs. Sur la base des résultats des corrections, les relecteurs autorisent la publication de l'article et lui attribuent une note.
Ainsi, nous obtenons un journal évalué par des pairs pour le prix d'une archive pré-imprimée!
Ce ne sont pas toutes les fonctionnalités que j'aimerais offrir, mais c'est l'idée la plus élémentaire. Il est facile d'y ajouter des fonctionnalités supplémentaires nécessaires. Voyons à quoi pourrait ressembler un tel service en détail.
Détails
Formater les notes
Le service doit être accessible à tous, tous les documents doivent être accessibles au public .
J'aime beaucoup le concept du magazine F1000Research que j'ai mentionné plus tôt. Par conséquent, immédiatement après le chargement, le texte devient disponible sous forme de pré - impression . Dans le même temps, il est spécifiquement indiqué que l'examen n'est pas encore passé. Après la révision, le statut de l'article passe à l'article révisé.
En règle générale, un article se compose de plusieurs sections , représentant souvent différentes hypothèses, expériences ou parties de travail. Je trouve utile d'ajouter des mots clés à ces sections et même à des expériences individuelles pour faciliter leur recherche. Il convient également de mentionner les auteurs qui ont mené et analysé cette expérience.
Pour chaque expérience, il est fait référence aux méthodes utilisées, qui sont décrites avec des références aux protocoles complets . Ces protocoles peuvent être publiés séparément sur des sites spéciaux (par exemple, protocoles.io ).
Toutes les données sont nécessairement disposées sur des services indépendants. Des liens relient chaque expérience à des fichiers de résultats spécifiques.
Pour plus de contrôle et de reproductibilité, vous pouvez ajouter une exigence d' accès ouvert à la revue électronique du laboratoire pour le projet (un exemple d'une telle revue est le benchling). Maintenant, cela ne nécessite aucun effort, mais cela peut réduire considérablement la falsification, améliorer la description des expériences. Cependant, les journaux de laboratoire électroniques ne sont pas encore devenus une norme, de sorte que l'exigence peut être trop stricte pour le moment.
Fournissez des liens vers d'autres articles de différents types . Autrement dit, maintenant non seulement les citations de l'article seront prises en compte, mais certaines citations seront indiquées comme références, certaines comme base de recherche, et certaines sont citées pour indiquer des contradictions. Différents types de citations contribueront différemment à l'évaluation de l'article cité. Les mentions et les principaux liens peuvent être déterminés automatiquement (par le nombre de citations dans l'article). Une approche intéressante des différents types de liens est décrite dans cet article , et j'en discuterai plus en détail ci-dessous.
Ajoutez une citation de sections spécifiques d'articles (au moins pour les liens internes). Autrement dit, lorsque vous citez un autre article, vous indiquez dans quelle section de cet article se trouvent les informations nécessaires. Cela simplifiera grandement la recherche de faits dans l'article et la vérification des sources de la littérature.
enregistrement
Tout le monde peut lire des articles et des commentaires. Mais seuls les utilisateurs enregistrés peuvent télécharger des articles, rédiger des commentaires et des critiques.
Pour vous inscrire, vous devez être l'auteur d'un article dans une revue à comité de lecture ou recevoir une recommandation d'un scientifique avec des publications. Un tel système constitue une certaine garantie des spécialistes quant à la possibilité de publication.
Chaque participant se voit attribuer une note. Lors de l'inscription, la notation est déterminée sur la base d'indicateurs bibliométriques (nombre d'articles, citations, index Hirsch).
Editeur et révision automatique
Lorsque les auteurs téléchargent leur article sur le serveur, le système analyse le résumé et sélectionne les mots-clés et les réviseurs. Lors de la sélection des évaluateurs, leurs co-auteurs et affiliations sont pris en compte pour éviter les conflits d'intérêts.
Les évaluateurs sont sélectionnés avec des notes différentes, mais pas trop basses. Autrement dit, le système essaiera de trouver un évaluateur avec une note élevée et moyenne. La recherche de réviseurs est effectuée non seulement parmi les utilisateurs enregistrés, mais parmi tous les scientifiques qui ont des publications dans la base de données.
Les examinateurs sélectionnés reçoivent des courriels de la revue les invitant à réviser le manuscrit. La lettre contient un résumé, un lien vers le texte intégral et un lien vers un canal de communication anonyme avec les auteurs. Si le critique accepte l'offre, il lit l'article et rédige sa critique aux auteurs. S'il refuse, le système regarde plus loin.
Le travail de l'examinateur dans ce cas ne diffère que dans l'évaluation du manuscrit selon plusieurs indicateurs. Pour le reste, le critique décrit également les avantages et les inconvénients de l'article, suggère des expériences supplémentaires. Les commentaires du critique sont immédiatement disponibles pour les auteurs, ils peuvent corriger l'article et mener des expériences supplémentaires. Dans ce cas, il n'est pas nécessaire d'attendre les réponses de tous les relecteurs, les auteurs reçoivent immédiatement une réponse immédiatement.
Tous les utilisateurs enregistrés peuvent rédiger des avis "utilisateurs" et noter l'article. Cette note peut être considérée indépendamment de la note des évaluateurs sélectionnés, ou elle peut être combinée en tenant compte du possible conflit d'intérêts et de la note.
Évaluation
Tous les utilisateurs enregistrés sont notés. La note est obtenue pour les articles, y compris dans d'autres revues, pour les critiques, pour les commentaires. Idéalement, la notation devrait être semi-automatique.
Il est important que toutes les actions de l'utilisateur soient enregistrées et que pour chaque action, la note de l'utilisateur puisse être augmentée ou diminuée. Par exemple, un réviseur reçoit des points pour chaque révision. Si l'évaluation s'avère biaisée ou si une erreur évidente a été manquée, le critique recevra un moins dans la note. Pour une bonne critique recevront des points supplémentaires plus. Je décrirai ci-dessous comment les cas controversés qui surviennent lors de l'évaluation des articles sont traités.
commentaires
La revue et les réponses des auteurs deviennent le premier niveau de commentaires. Dans le même temps, les évaluateurs peuvent rester anonymes ou ouvrir leur nom à volonté.
Tous les utilisateurs enregistrés peuvent laisser des commentaires sur n'importe quel article. Il peut s'agir de critiques «d'utilisateurs», de fils de discussion gratuits, de reproduction d'expériences (réussies ou infructueuses), de plaintes concernant des méthodes insuffisamment détaillées et des données non disponibles.
Ces plaintes peuvent être semi-automatiques - vous pouvez laisser une plainte en cliquant sur le bouton et en décrivant l'essence de la plainte. Les auteurs peuvent corriger eux-mêmes une telle erreur, alors leur note ne diminue pas. Si les auteurs ne répondent pas à la plainte, un relecteur supplémentaire est affecté et les auteurs et les relecteurs originaux de l'article perdent leur note.
Les commentaires avec des expériences individuelles reçoivent leur propre identifiant (doi) et peuvent être examinés par un réviseur. Les auteurs peuvent également publier des expériences supplémentaires sur leur article sous forme de commentaires. Ceci est souvent utile, car les expériences qui ne correspondent pas à la ligne d'un article ne sont généralement pas incluses dans le manuscrit. Cette opportunité vous permettra de faire un petit travail basé sur l'article, qui ne traîne pas jusqu'à une publication complète. Par exemple, cela peut être utile pour les projets étudiants.
Net
Dans cette version du service, vous pouvez profiter pleinement des réseaux avec un grand nombre d'utilisateurs. Par exemple, vous pourrez obtenir des recommandations d'articles lus par des personnes ayant le même historique de recherche.
Ou abonnez-vous à un scientifique célèbre. Ce n'est qu'en utilisant ses évaluations d'articles que l'on peut se faire une idée de son opinion sur les œuvres publiées. Autrement dit, chaque scientifique devient, en un sens, un éditeur, mais sélectionne les articles après leur publication, et pas avant.
De plus, un tel réseau d'interactions permet de trouver des conflits d'intérêts.
Résolution de conflit
Il est clair que des conflits peuvent survenir dans n'importe quel système. Cela peut être vu dans l'exemple de edit wars sur Wikipedia, et sur d'autres ressources. Les algorithmes peuvent être utilisés pour identifier et résoudre les conflits, mais dans certains cas, une décision humaine est nécessaire. Les modérateurs peuvent travailler de façon permanente ou être des bénévoles. Dans le second cas, les utilisateurs actifs avec une bonne note peuvent recevoir des messages leur demandant de vérifier un article ou un commentaire spécifique. Autrement dit, ils peuvent travailler en tant que réviseurs, mais pour résoudre un problème spécifique.
La recherche de conflits dans de nombreux cas peut être automatisée. Plusieurs violations d'intégrité potentielles typiques peuvent être envisagées.
Écoles opposées- il y a des moments où plusieurs groupes ont des théories différentes et tentent de dégrader le point de vue opposé.
Cette situation peut être déterminée par le graphique des liens - citations, notes et affiliations. Les groupes opposés seront représentés par des clics isolés dans le graphique, et les scores des articles de chacun seront opposés. Dans ce cas, vous pouvez marquer les notes, les commentaires et les avis d'un autre groupe avec une étiquette spéciale - vous ne pouvez pas simplement les jeter, ils peuvent contenir des informations précieuses. Mais ces examens ne peuvent pas non plus être considérés comme impartiaux.
«Amis» - parfois la situation inverse se produit, des collègues ou des connaissances surestiment mutuellement. Cela peut également être calculé à partir du graphique des liens et des citations. Ces évaluations peuvent également être étiquetées avec une étiquette spéciale.
Réclamations... Comme je l'ai déjà écrit dans la section sur les commentaires, vous pouvez vous plaindre d'un article si vous y trouvez une faille grave. Cela peut être des descriptions insuffisamment détaillées des méthodes, du code ou des références de données manquantes, ou il peut y avoir un problème plus sérieux - manipulation d'image, falsification ou théories pseudo-scientifiques. Une petite plainte peut être corrigée par l'auteur sans impliquer un modérateur. Une violation grave est traitée par un modérateur indépendant (ou plusieurs) qui prend une décision. En fonction de cette décision, la notation des auteurs, des critiques et des commentateurs change.
Promotion
Darksnake a décrit un système similaire dans son commentaire sur la première partie . Il a également partagé une idée d'un moyen de promouvoir un tel magazine.
Exactement comme une archive pré-imprimée. Il y en a très peu maintenant. Sur la base des archives des pré-impressions, vous pouvez créer un journal officiel. Il n'est pas réaliste de créer son propre magazine à partir de rien. Mais créer un magazine basé sur une base de publications toute faite est tout à fait réaliste.
Il me semble qu'un tel modèle de promotion convient également au système décrit. En effet, du point de vue de l'utilisateur, il ne diffère pas beaucoup de l'archive de pré-impression. Il n'y a pas non plus de frais supplémentaires pour la rédaction dans ce cas.
Un peu de fantaisie
Paiement pour le travail des examinateurs
J'ai décrit une option de service gratuit pour les lecteurs et les auteurs. Bien sûr, il faut une certaine somme d'argent pour entretenir et développer les infrastructures et autres dépenses nécessaires. Cependant, pour le prix du service de pré-impression, nous obtenons une revue à comité de lecture.
À l'avenir, vous pouvez ajouter la rémunération des évaluateurs, par exemple 100-200 euros par avis. Même ainsi, le coût total pour les auteurs sera bien inférieur au coût moyen d'une publication en libre accès. Il existe une variété d'options: les évaluateurs peuvent être payés en fonction de la qualité de leur avis et de leur note. Le paiement pour la publication dans le magazine peut être effectué selon le système «payez ce que vous pouvez» ou tout autre, mais dans tous les cas pour beaucoup moins d'argent que les coûts d'accès libre actuellement.
Problèmes
Au cours des discussions sur ce système, j'ai rencontré plusieurs problèmes potentiels. Discutons de certains d'entre eux (je suis sûr qu'il y en aura plus dans les commentaires).
Trop de charge de travail pour les réviseurs
On craint que trop d'articles soient soumis aux critiques sans sélection préalable par l'éditeur. Il me semble que c'est un problème résoluble.
Premièrement, il est facile de suivre le nombre d'articles soumis à chaque critique et de ne pas en soumettre de nouveaux s'il y en a déjà trop.
Deuxièmement, il existe une réserve assez importante de scientifiques qui ne reçoivent généralement pas d'articles pour examen - post-doctorants et étudiants diplômés. Souvent, ce sont eux qui examinent des articles dans des revues pas très cool, mais ils reçoivent une offre de leur superviseur, qui est formellement considéré comme un réviseur de l'article. Beaucoup de gens sont sceptiques quant à l'évaluation par les pairs des scientifiques au début de leur carrière, mais il me semble que beaucoup d'entre eux sont capables de faire face à la tâche ainsi que leurs collègues plus âgés.
Troisièmement, d'après mon expérience, tous les critiques ne lisent pas complètement l'article avant de le soumettre pour examen. Dans ce cas, un critique potentiel lui-même peut décider de prendre l'article ou non en lisant le résumé et en regardant les photos. Un critique peut toujours refuser d'accepter un article s'il ne s'y intéresse pas, s'il ne s'estime pas suffisamment compétent dans le domaine requis, ou s'il n'a pas le temps.
Quatrièmement, le système de notation devrait aider à résoudre ce problème. Ainsi, les scientifiques avec une note plus élevée peuvent gagner un avantage à trouver un évaluateur. Et la note peut être affichée même avec une communication anonyme. À l'inverse, les utilisateurs ayant une faible note seront limités dans leur capacité à soumettre des articles (par exemple, pas plus d'une fois tous les quelques mois), car ils étaient auparavant vus soumettant des données de mauvaise qualité.
Affûtage d'articles "similaires"
Cela signifie que les scientifiques ajusteront au maximum leurs articles à tout système de notation mis en place. Et si vous proposez d'évaluer un article avec des «j'aime» conditionnels d'autres scientifiques, alors les articles seront optimisés pour obtenir plus de ces «j'aime». C'est un problème éternel qui se pose dans tout système de notation. Dans un commentaire sur la partie précédente, jungeschwili a mentionné l'effet cobra et la loi de Goodhart , qui décrivent très bien le problème. Néanmoins, plusieurs voies peuvent être proposées pour compenser cet effet.
Premièrement, la notation ne vise pas à être la seule mesure de la qualité de l'article. Je propose seulement de m'éloigner de l'évaluation des facteurs d'impact et d'ajouter également une évaluation évidente des examinateurs.
Deuxièmement, la recherche automatique des conflits d'intérêts vous permet de contourner une part notable de «j'aime» des «amis» ou des «ennemis» de l'auteur, ce qui peut être moins objectif.
Troisièmement, il est optimal d'avoir des commentaires - si un scientifique évalue des articles de mauvaise foi, le prix de son évaluation baisse.
Nous devons aller plus loin
Microarticules
Le problème qui est la prémisse de ce paragraphe, je n'ai pas analysé la dernière fois. Il consiste à évaluer tous les auteurs de l'article. En biologie, le premier auteur est considéré comme le plus important, qui a apporté la plus grande contribution à l'œuvre. Mais il peut y avoir beaucoup de gradations et il peut être difficile de diviser le degré de participation entre un grand nombre d'auteurs. Certaines revues demandent d'indiquer directement la contribution des auteurs à la fin de l'article.
Cependant, il existe une solution plus intéressante. Si l'article n'est pas publié comme un tout, mais comme un ensemble d'expériences distinctes, chacun peut se voir attribuer une liste distincte d'auteurs. Et en plus, vous ne pouvez pas citer l'article en entier, mais uniquement les parties qui vous intéressent.
Il existe un certain nombre d'autres avantages intéressants à ce concept. Petr Lidsky a décrit le concept et même le processus de transition vers celui-ci en détail dans cet article.... Si vous êtes intéressé par l'une des options pour le développement des magazines du futur, je vous recommande vivement de lire.
Intégration des informations reçues
L'un des problèmes les plus importants n'est même pas la meilleure façon de publier un article scientifique, l'organisation de la connaissance scientifique dans son ensemble. Après tout, chaque article n'est qu'une petite pièce d'un énorme puzzle que nous essayons d'assembler sans diagramme.
Les revues sont désormais l'un des rares moyens de combiner des études disparates. Les scientifiques les écrivent sur la base de divers travaux expérimentaux. Cependant, même les meilleures critiques deviennent obsolètes assez rapidement, de nouveaux articles paraissant chaque semaine.
Dans les commentaires ( un , deux) à l'article précédent suggéré d'utiliser le format wiki pour garder les avis mis à jour par la communauté. À mon avis, c'est une idée assez intéressante. De plus, il est déjà utilisé dans des versions légèrement différentes dans diverses bases de données. Cependant, il y a aussi place pour du développement ici.
C'est ainsi que ma collègue Zoya Chervontseva décrit son point de vue sur les problèmes des publications scientifiques:
Il me semble que le plus gros problème des publications biologiques est maintenant un désordre dans la partie sémantique, pas dans l'organisation. Il existe de nombreuses déclarations privées (la protéine A fait ceci et cela dans telle ou telle condition) qui ne sont en aucun cas corrélées entre elles. Les avis tentent de combler ce besoin, mais ils font défaut. Le système idéal de publications, IMHO, devrait explicitement écrire ses nouvelles déclarations dans une structure (graphique?) De connaissances antérieures.
Une difficulté distincte réside dans le fait que de nombreuses déclarations sont maintenant probabilistes - la protéine A ne fait pas quelque chose, mais la protéine A, peut-être, selon les résultats de notre nouveau protocole ultra-sophistiqué, avec telle ou telle valeur p se lie à ce site dans l'ADN - et tant pis pour des milliers de sites du génome. Autrement dit, il s'avère même pas une unité d'information, mais la densité de probabilité de l'information)). De plus, bien sûr, l'effet batch et les bogues dans les programmes d'analyse - oui, mais il semble que l'irreproductibilité ici n'est pas aussi mauvaise que le fait que nous ne sommes, en principe, pas en mesure d'intégrer correctement ce type d'informations maintenant.
De nos jours, diverses bases de données remplissent une fonction similaire. Mais ils sont encore loin d'être idéaux. Sans parler de la création d'une structure de données qui décrit une grande partie de la science à la fois. Cependant, je suis sûr que cette direction continuera à se développer activement dans un proche avenir.
Rôle des magazines classiques dans le futur
Il est clair que les magazines classiques ne disparaîtront pas du jour au lendemain. Mais ce n'est pas nécessaire. Ils peuvent très bien fonctionner en parallèle avec le système d'accès ouvert.
Par exemple, ils peuvent sélectionner des scientifiques éminents et leur confier l'examen de divers domaines de connaissances. Ou faire du journalisme scientifique. Ou pour présenter plus facilement la recherche à des non-spécialistes.
Une petite conclusion
Ce sont les axes de développement des publications qui me semblent prometteurs. Je pense que dans un proche avenir, même de telles prévisions pourraient s'avérer plutôt modestes - il existe un énorme potentiel de développement dans ce domaine, et qui sait quel format de présentation de l'information sera le plus efficace. Je suis sûr que nous devons développer des publications scientifiques et utiliser les opportunités disponibles.
Plus de formats, bons et différents
Et je voudrais vous remercier d'avoir lu cet article et vous inviter à une discussion dans les commentaires. Je suis sûr que vous avez des idées intéressantes et je me ferai un plaisir d'en discuter.
Remerciements
Un grand merci à Olga Zolotareva pour les discussions et les idées pour cet article. Merci à Sofya Kamalyan pour son aide dans la vérification du texte. Merci à tous ceux qui ont participé à la discussion sur la première partie de l'article, en particulier: Peter Lidsky, Nadezhda Vorobyova, Omar Kantidze, Zoya Chervontseva, Alexei Savchik. Pour les utilisateurs de Habr: rg_software, Jerf, CactusKnight, qvan, technic, darksnake, nnseva, damewigit et bien d'autres. Et aussi à tous les collègues avec lesquels nous avons discuté des problèmes des publications scientifiques.
La première partie de l'article.