D'où vient l'application de ML en Russie au niveau de l'État?

Préface

salut!



La question dans le titre n'est pas rhétorique, je suis vraiment intéressé. Si soudainement quelqu'un connaît la réponse, écrivez s'il vous plaît dans les commentaires, peut-être que j'ai essayé de passer du mauvais côté.



Je précise également que je n'ai aucune raison de me plaindre de quelqu'un, par conséquent, dans les réponses des ministères, j'ai enlevé tous les tampons avec les noms et signatures des fonctionnaires responsables. Je suis intéressé à comprendre comment ce système fonctionne.

Comment tout cela a-t-il commencé?

Tout a commencé par le fait qu'à la fin de 2019, j'ai réalisé que dans mon domaine d'activité précédent, j'avais atteint un certain pic et un développement ultérieur dans ce domaine pour moi:

1. pas intéressé
2. c'est possible, mais c'est pleinement conforme au principe de Pareto, où je devrais consacrer beaucoup d'efforts pour des perspectives fantomatiques, et même pas aussi désirable qu'il me paraissait au début du voyage.

Grâce à une réunion importante avec des amis, j'ai réalisé qu'un désir de longue date, noyé pour diverses raisons, est «d'aller à l'informatique», à savoir, le ML et plus précisément je peux réussir. Je ne décrirai pas comment j'ai étudié, mais c'était vraiment intense, productif et surtout excitant, à tel point que j'ai dû me forcer à me reposer. En fin de compte, j'ai fait faillite. Il a quitté son ancien emploi et a consacré presque tout son temps libre à étudier.



Au fil du temps, j'ai commencé à penser à trouver un emploi dans une nouvelle entreprise préférée, mais l'histoire avec Covid a commencé. De plus, ce n'est un secret pour personne que l'apprentissage automatique est récemment devenu un sujet très à la mode et, par conséquent, un nombre important de candidats aux postes de juniors / stagiaires dans le domaine de la DS sont apparus sur le marché du travail. Pris ensemble, ces 2 facteurs, pour moi personnellement, signifiaient que même avec de bons résultats dans plusieurs compétences pour l'employeur, je n'étais qu'un des nombreux nouveaux arrivants dans le domaine, tout comme moi, et j'avais peu de chance d'atteindre le stade de l'entretien.



Après réflexion et réalisant que la seule chose que je peux distinguer favorablement du reste est la présence de bons projets, j'ai commencé à chercher un sujet pour le premier projet. Quand je commençais à peine à étudier le ML, je débordais de nombre d'idées, mais au moment où j'ai choisi le sujet du projet, ces idées sont devenues moins nombreuses, car ayant déjà fouillé un peu dans les détails, j'ai commencé à penser un peu différemment - «oui, c'est une bonne idée, mais un CV ouvert n'est pas adapté en raison de sa formation préalable et pour enseigner le mien, je n'aurai pas assez de ressources et de données, uniquement si vous ne prenez pas le réseau GAN et générez des images avec son aide. Et puis il y a des restrictions sur les demandes à la version gratuite de l'API, et pour décharger un jeu de données normal, vous avez besoin de beaucoup de temps ou d'argent »et ainsi de suite.



Décidant de partir de l'autre bout, je suis retourné à Kaggle, j'ai ouvert les jeux de données, je les ai classés par "hotness", puis cela m'est apparu. Covid est dans la cour! Quoi de mieux - faire non seulement un projet, mais un projet sur un sujet hype! Ensuite, ils me remarqueront probablement et m'arracheront avec leurs mains. Alors j'ai pensé. Ouais, schazz.



Pour l'avenir, je ne peux m'empêcher de noter que malgré tous mes petits avantages, mes réponses à xx ont été soit franchement ignorées soit poliment refusées, même pour les postes vacants pour lesquels un employé interne de l'entreprise m'a recommandé. En seulement un mois de recherche d'emploi, il y a eu environ 70 réponses de mon côté, et il semble que 3 entretiens après lesquels j'ai moi-même pris une décision négative. Je ne sais pas ce qui était exactement le cas dans chaque cas individuel, mais je soupçonne que le problème est dans l'âge (30+), le manque d'éducation / d'expérience spécialisée et les projets tordus.



Mais précisément, cette histoire de recherche d'emploi avec une bonne fin - mon manager actuel m'a trouvé le xx, j'ai rapidement traversé les étapes des entretiens et maintenant je fais des analyses, y compris en utilisant le ML, et j'aime vraiment ça. De plus, ils me paient aussi pour ça! Je ne dirai probablement pas cela au visage de mon chef à cause de ma certaine introversion, mais merci beaucoup si vous lisez soudainement ceci)



Eh bien, d'accord, j'étais trop emporté dans le sens des paroles. Plus proche

Aux affaires

Ayant tout obtenu sur le même jeu de données caggle (https://www.kaggle.com/parthachakraborty/pneumonia-chest-x-ray), j'ai écrit un petit réseau séquentiel avec une précision d'environ 85%. En conséquence, j'ai pris un ensemble de données avec la pneumonie dans son ensemble, et non avec la pneumonie causée par covid, car je n'ai pas trouvé d'ensembles avec un nombre important de photographies de COVID-19, mais à ce moment-là, je connaissais peu les méthodes d'augmentation.



Heureusement, je me suis souvenu que j'avais un ami, un radiologue, avec l'aide duquel j'ai appris quelques détails sur les différences dans le diagnostic de la pneumonie par tomodensitométrie et méthodes de radiographie. Je lui ai également envoyé les images classées par modèle, que j'ai tirées de l'immensité de la toile d'araignée à la demande de «radiographies des poumons infectés par une pneumonie». Les résultats sont légèrement pires que ce à quoi je m'attendais. Ainsi, dans plusieurs photos que le réseau percevait comme une pneumonie bactérienne, il y avait en fait une tuberculose, qui n'était tout simplement pas dans l'échantillon de formation, mais sinon le pourcentage d'erreurs correspondait à model.score (X_valid, y_valid).



J'étais ravi. Pourtant, je faisais de la vraie science des données, et je ne faisais pas la 70e soumission pour tenter de percer dans le top 1%, prédisant les prix à Melbourne. Je ne serais pas surpris si je découvrais que les agents immobiliers locaux ont le hoquet lorsqu'ils essaient d'évaluer une maison. Désolé, je n'ai pas pu résister.



En général, j'ai été inspiré, j'ai envoyé une douzaine de réponses et ... encore rien.



Lorsque cette idée m'est venue à l'esprit, je ne peux pas dire que j'étais guidé exclusivement par de bonnes intentions comme la paix-paix, sauver les pauvres et les autres. Non, mon objectif était de trouver un emploi le plus rapidement possible, et pour cela j'avais besoin de me démarquer de manière positive de la foule du même «je veux être en ML».



Mais, en même temps, traversant la crise de l'adolescence «pourquoi sommes-nous ici?» Et étant athée, j'ai déterminé pour moi-même mon credo - que je veux rendre le monde meilleur, parce que le reste, à ma connaissance, n'a aucune valeur réelle à grande échelle. Idéaliste et naïf? Oui, c'est vrai et ce que j'ai fait et pourquoi j'écris ce post découle de mes qualités.



J'ai décidé d'écrire à la réception du Président de la Fédération de Russie une proposition d'environ le caractère suivant (je n'ai pas conservé le texte exact, car il est écrit sous une forme spéciale sur le site Web de la réception): «Moi, tel ou tel, dans le cadre de la désignation par le Président de la Fédération de Russie de domaines clés développement de l'état, à savoir, dans le cadre de l'application du ML dans différentes sphères de l'État, je propose ce qui suit: organiser la collecte et le stockage des images radiographiques, et rendre ce stockage accessible pour un traitement par des méthodes de ML et la possibilité de donner un retour d'expérience. " Ensuite, j'ai brièvement décrit mon modèle, indiqué que même moi, avec mon petit bagage de connaissances, pouvais faire un modèle de recommandation qui pourrait fonctionner en tandem avec un radiologue et être utile. Et en Russie, il y a un nombre important de passionnés de DC avec un haut niveau de connaissances / compétences qui peuvent faire beaucoup non seulement dans le domaine de la médecine,mais aussi dans d'autres domaines où, en principe, vous pouvez appliquer le ML.



Malheureusement, je ne me souviens pas du texte exact de l'appel, puisque c'était en mars ou avril, mais le sens général est exactement le même.



En développant ce sujet, j'ajouterais maintenant qu'en principe, il est nécessaire de collecter et d'agréger le plus grand nombre possible de données ouvertes et de le déployer sur un analogue de Kaggle où il serait également possible de définir des tâches, de discuter de leurs solutions et de trouver les meilleures. Rosstat fait déjà quelque chose de similaire en ce qui concerne la publication des données, j'ai même réussi à analyser quelque chose, mais ce sujet doit être développé davantage.



Le message a été enregistré, à propos duquel une lettre distincte est venue, mais j'ai quand même été assez surpris quand j'ai vu que la réponse venait. La première réponse est venue du ministère de la Santé. C'était court et laconique.







L’essence de la réponse, telle que je la vois, est «ok, merci, non».



Je pensais que c'était la fin de l'histoire, mais une autre réponse est venue du ministère de l'Industrie et du Commerce. La réponse est très détaillée et détaillée, mais j'avais le sentiment que soit ils recevaient des informations déformées, soit ils m'avaient simplement mal compris.



















Je n’ai demandé aucune aide financière pour la mise en œuvre de ce projet, de plus, je n’ai pas écrit un mot que je voulais y participer (bien que je ne refuserais naturellement pas). Eh bien, ils ont répondu, bien, et merci pour cela.



J'aurais sûrement oublié cette histoire si je n'avais pas régulièrement rencontré des nouvelles comme celle-ci ou celle-ci (très fraîche) ou surtout celle-ci . Après l'avoir lu, j'ai ri un peu, car c'est exactement ce que j'ai écrit.

Résultat

Fuh, eh bien, le message est sorti.



Telles sont les questions clés que je voulais poser.



Qui est impliqué dans la mise en œuvre du ML dans les «processus d'affaires» de l'État? Qui dirige ces gens?



Est-il centralisé ou est-ce que chaque ministère a ses propres data scientists? Sont-ils même dans l'appareil d'État?



J'ai vu le texte de la stratégie nationale de développement de l'intelligence artificielle pour la période allant jusqu'à 2030, mais j'ai encore des dizaines de questions, à qui puis-je leur poser? Pour obtenir une réponse raisonnable, bien sûr.



Compte tenu des réponses que j'ai reçues, je doute que cette stratégie ne soit pas seulement une déclaration d'intention, mais un véritable plan, et que toute cette entreprise ne se traduira pas par le financement de plusieurs projets «propres» pour animaux de compagnie, auxquels il sera ensuite fait référence, en notant le succès de la stratégie.



En général, l'un de ceux qui ont lu cet article met en œuvre des programmes issus de cette stratégie?



Merci à tous d'avoir pris n minutes de votre temps!