Comment nous avons choisi une bibliothèque d'apprentissage automatique pour le langage naturel

En 2019, un nouveau centre de travail avec l'intelligence artificielle (CII) est apparu dans OTR. Initialement, il a été créé comme une sorte d'expérience de travail avec les nouvelles technologies. Cependant, assez rapidement, il a reçu la première mission de combat pour automatiser le support technique pour les utilisateurs du GIIS "Budget électronique" Anatoly Bezryadin, directeur de la direction des technologies et des compétences, et les employés de CII qui ont participé à ce projet ambitieux, ont évoqué les étapes de la mise en œuvre de l'IA.





Les appels au support technique sont des demandes techniques complexes avec de nombreuses variables - section, sous-système, documentation réglementaire, facture, etc. Dans certains cas, le texte de la proposition peut comporter jusqu'à 20 lignes de texte. Il est parfois difficile même pour une personne de comprendre le contexte d'une telle application, et pour l'IA, cela peut devenir une tâche insoluble du tout. 





La liste des difficultés a été complétée par des délais serrés pour accomplir la tâche, ainsi que par des restrictions sur les solutions logicielles utilisées. Puisque nous travaillons avec des clients gouvernementaux, nous pouvons utiliser nos propres développements ou des solutions open source. 





Choisir le type de réseaux de neurones

« » . , . .





. . . , .





. . . , . , . , .





. , . . . , . .





. . , . .





. .





, . . , , :





  • ;





  • ;





  • ;





  • ;





  • GPT;





  • BERT.





, . .





GPT BERT. , . BERT , , Google. .





:





  • open-source-;





  • ;





  • ;





  • ;





  • ;





  • ;





  • .





:





  • MATLAB + Deep Learning Toolbox;





  • Theano:





  • Torch;





  • PyTorch:





  • TensorFlow/Keras.





MATLAB — The MathWorks. . Deep Learning Toolbox. , . 





. , . , . 





Theano — Python. . , .





, Theano . . 





Torch — . Lua. , . 





Theano, Torch . . . 





PyTorch — . , Torch. Python. 





PyTorch , , . . 





TensorFlow — , Google. Keras, . . 





TensorFlow Keras . , , . Google.





Google TensorFlow Keras . —  , 10 . 





75% . . . . 85%.





« ». . .





, . , .








All Articles