- le dispositif d'un cluster de journaux, qui nous permet de comprendre ce qui se passe avec les paiements et les transactions (ainsi qu'avec les composants et services en général)
- le travail des ingénieurs de données en apprentissage automatique;
- mise en œuvre et transformation de CI / CD.
Nous partageons une expérience précieuse afin que vous ne commettiez pas nos erreurs. Nous espérons que ce sera utile!
Notre râteau est la clé de votre succès
Maxim Ogryzkov, administrateur système principal
La conférence portera sur le traitement des journaux de plusieurs centres de données avec accès via une seule interface. Discutons des raisons et des conséquences de la mise à niveau du cluster. Je vais vous parler du transport de la livraison de journaux à partir de différents systèmes et environnements, et en quoi Apache Kafka a à voir avec cela. Et aussi pourquoi nous n'utilisons pas logstash et comment «attacher» un cluster avec une requête dans Kibana.
1:17 De quoi sera question la discussion: un cluster de journaux
1:43 Comment les journaux entrent-ils dans le cluster?
3:50 Pourquoi avons-nous choisi Apache Kafka
5:02 Rsyslog: avantages de l'utilisation
9:00 Où stocker les journaux de différents DC?
12:08Que faire si la quantité de données est trop importante?
14h00 Mise à jour du cluster.
20:30 Notre rake et des solutions
22:35 Translog
24:25 demande en vrac
26:28 Opendistro-perfomance-analyseur
28:28 Index Shrink
29:49 Librdkafka
31:37 Résumé: ce que nos regards de cluster comme maintenant
Ingénieurs de données en apprentissage automatique
Evgeny Vinogradov, chef du département de développement de l'entrepôt de données
Une histoire sur la façon dont le travail industriel sur les expériences en ML ressemble - quels problèmes sont résolus au niveau du modèle, et lesquels sont uniquement au niveau des données, et comment fournir un processus d'apprentissage contrôlé.
1:40 À propos de l'orateur
2:41 Qui est impliqué dans les projets DS?
8h30 Qu'est-ce qu'un projet Data Science?
14:15 Procédure dans le projet DS
15:42 Le processus de collecte d'un ensemble de données
20:26 Comment tout
fonctionne dans Apache Kafka 29:10 Que se passe-t-il après la collecte d'un
ensemble de données 29:21Comment choisir un modèle?
30:40 Exemples de problèmes qu'un ingénieur de données peut résoudre
34:38 Sur quelles technologies tout cela fonctionne-t-il?
35:03 Conclusions du rapport
CI / CD pour Data Engineer: aller-retour
Anton Spirin, Senior Developer of BI
Présentation sur la mise en œuvre des principes CI / CD dans le développement BI, objectifs, leur transformation et surmonter les difficultés.
14h00 Enquête sur l'orateur
14h44 Description du problème
16h28 Qui est un ingénieur de données?
5:43 CI / CD - quel est le travail d'un ingénieur?
6:55 En savoir plus sur la pile et les systèmes d'information
8:00 Point de départ: où nous avons commencé
10:34 La première étape des changements
15:50 Tout semble être bon, mais ... la deuxième étape des améliorations
19:01 Presque démo: JenkinsFile, Pipelines
20:44 Qu'avons-nous obtenu à la sortie?
22:43 Combien de temps cela a-t-il pris? Statistiques de sortie
23:37 Nos défis et ce qui aurait pu être fait différemment. Plans futurs
Tous les rapports de la grande conférence informatique YuMoneyDay . Des documents sur le PM, les tests et le développement mobile sont en cours.