Bonne journée tout le monde! Le concours annuel international d'IA, organisé par la Sberbank avec des partenaires russes et étrangers, dans le cadre de la conférence Artificial Intelligence Journey , vient de se terminer récemment . Tâches de cette année: Digital Peter: reconnaissance des manuscrits de Peter I , NoFloodWithAI: inondations sur le fleuve Amour et AI 4 Humanities: ruGPT-3 . Cette fois, environ 1000 personnes de 43 pays ont participé au concours.
Notre équipe a participé à la résolution du problème "Digital Peter: reconnaissance des manuscrits de Peter I" et a remporté la première place. Je voudrais vous dire ce que nous avons fait dans le processus de résolution de la concurrence, qui est papa ici , quels trucs et astuces nous avons utilisés. Il y a beaucoup d'informations, il y aura beaucoup de mots spéciaux pour ceux qui ne sont pas dans le sujet. Ce n'est pas un tutoriel, je ne le décrirai pas en détail, mais je me ferai un plaisir de répondre aux questions dans les commentaires.
Vous pouvez regarder l'équipe de rêve
Plan
Description de la tâche
Format des données, ressources disponibles et limites
, : , I, (. ). , , - .
.
, - , - , , .
500 , , , , .
1.
, ( OOF), . ( ), ( ), , +90, -90 . (Resnet34 ) . , .
, .. . .
2.
, CTCLoss Attention. CTCLoss , Attention . CTCLoss, , Attention . .
Bs - , (w, h, c) - (, , ). . Hidden size - LSTM . Dict Size - , . Dense - Keras, Linear PyTorch.
3.
, . : ToGray, CLAHE, Rotate, CutOut.
CutOut . , HandWrittenBlots, , , . , ( ) . CutOut , HandWrittenBlots . Augmixations. .
P.S. CutOut , .
4. CharMasks
, , CTC Loss. , , , ( , ). ( Action Labeling ).
. , , . , . XVII-XVIII (, ). , , .
, , , , . . , . . (Multi Word Expression) ( ) .
, , .. , . - :
5. Spell correction using XLMRoberta
, .
, ( , ). NLP. XLMRoberta XVII-XVIII .., I. :
1. OCR ( ) ( ) ( + softmax), 3 (//blank ..) ;
2. : 3-4 , - .. //blank, , . zero-shot learning, , . OCR ('': 'p', '': 'o', '': 'e', '': 'c', '': 'a', '': 'x', '': 'u', '': ‘k’);
3. OCR step by step (!), ;
4. : ( 0 12), 50% padding ( ), 10% . ( ). XLMRoberta outputhiddenstates - NER, ;
5. GPU , TPU Colab
6. Ensemble + Spell Correction Thresholds
, , , CTCLoss, . . , . N "" . , , . . , , , ., +- .
Other Backbones. (EfficientNet, [SE, ECA]ResNet[xt], Mobilenet ), Resnet34.
Augmentations. Albumentations (Brightness, Gamma, Blur ), , .
TTA (Test-Time Augmentations). , holdout , public test - . , holdout.
Classic Blending. , , , , , .
(). , ! :)
, , . , .
P.S. ( , public):
| CER: 2.531 | WER: 13.5 | ACC: 62.107 | TIME: 32s |
submission .
P.P.S.
, ? :)
