Comment la pratique des données a été construite dans EPAM

EPAM travaille avec les données depuis longtemps, les premiers grands clients avec des projets Big Data sont apparus en 2001. À l'époque, les sociétés d'analyse bien connues Gartner et Forrester, ainsi que les principaux fournisseurs Oracle, Microsoft et IBM, ont noté que les entreprises devraient s'orienter vers le Big Data, car ces technologies sont indispensables dans tous les domaines liés au traitement de grandes quantités de données. Depuis, l'équipe d'experts d'EPAM n'a cessé de s'agrandir, travaillant sur des projets de plus en plus complexes et offrant des solutions éprouvées et des produits de qualité pour travailler avec le Big Data. Aujourd'hui, uniquement dans l'EPAM russe, plus de 500 personnes travaillent dans la pratique des données. Comment tout a commencé, quels projets nous avons rencontrés, quels échecs se sont produits, ce à quoi les spécialistes des données devraient se préparer et quel type de spécialistes des données il existe,J'ai parlé avec le responsable de l'EPAM Data Practice en Russie -Ilya Gerasimov .  

Carrière 

Dites-nous comment vous en êtes arrivé à la direction des données

J'ai rejoint EPAM en 2006 en tant que développeur junior sur .NET et MS SQL Server, avant cela j'ai travaillé dans une société de produits et occupé le poste de chef d'équipe, développant des logiciels d'automatisation d'hôtels et de restaurants. Mais à EPAM, j'ai commencé ma carrière à partir de zéro. En 2013, j'étais devenu un chef d'équipe et j'étais à la recherche de nouvelles opportunités pour mon développement en EPAM, et c'est à ce moment-là que j'ai rencontré à la SEC à Minsk le responsable du centre de compétences Big Data, et nous avons convenu que ce domaine devrait être développé en Russie.   

Ensuite, nous étions deux ou trois. Des collègues d'autres pays nous ont aidés, nous ont donné des cours et nous ont impliqués dans diverses activités liées à ce domaine. J'ai dû beaucoup étudier, puis diffuser les connaissances acquises.  

Pourquoi travaillez-vous pour l'entreprise depuis si longtemps?

Data , - . , , . - — , .

Data?

   —  Data,  Data.  :)

Data-?

   Data-: Data Science, Machine Learning, Business Intelligence, Enterprise Search, DevOps in Data, Data Quality, Business Data Analysis.   500 —        .  

     .     «»  ,  «»  .  

 Data-  Data governance, ..  , , ,    .   , ,  ,  .. 

 —  .  

, , . ,    —  , ,  , Data Science  .  

, , ,

2013-2014 , - , , , , Data Science.

, Scala , DevOps, , . , , , .

?

. , . Java, Python, DevOps- .

« », , . , 2012 — , . , , , . , . , , , , -, EPAM.

— Data Analytics, , Data Engineering, Data Science , — EPAM.

, , . — , .

? ?

, - , - , - , . , . , . . Cadence, , , , , , .

, Reinforcement Learning. . 2- , . , . , , Reinforcement Learning. , , , .

« », Data-. . , , «» . , « » — . , , , . , , Theano, TensorFlow, Theano - .

•  Apache  , ,  —  Spark, Cassandra, Elasticsearch  .  

  
  
  
  
  

• Yarn, HDFS, MapReduce, Hive, Kafka, ZooKeeper —   , .   Hadoop  ,     ,   ,  ,  . 

  
  
  
  
  

•     —  Amazon, Microsoft Azure, GCP —   Hadoop, .  

  
  
  
  
  

• ,  Kerberos, Knox, Ranger.  

  
  
  
  
  

• ,  NoSQL  NewSQL  — Cassandra,  (  ), Snowflake, Amazon Redshift, HBase, MongoDB, Teradata. 

  
  
  
  
  

• DevOps  — Kubernetes, Docker, Jenkins.  

  
  
  
  
  

• : Power BI, Tableau, QlikView. 

  
  
  
  
  

•  Data Science  ,  TensorFlow  Google BERT (  « »,   ), PyTorch, Keras.  

  
  
  
  
  

•  Streaming. Streaming    Data,    — Spark Streaming, Kafka Streams, Apache Flink, Apache Storm.   

  
  
  
  
  

.   

SQL ( ), DWH ( — , , Data Vault,  ..), ( ,   , , ), , DWH, Data Mart, Data Lake.  

, . , AWS, Azure, GCP. 

, ETL ( ) ETL ELT, , ,  slowly changed dimension. ETL (PL/SQL, T-SQL, pgSQL, Python, Spark), (, Airflow), ,  , (Talend, Informatica Power Center, Pentaho, etc.). 

(Data Analytics and Visualization), 2- (Power BI, Tableau, TIBCO Spotfire, MicroStrategy, Pentaho,  ..)   (, Storytelling). 

- ?

   Apache —  Spark, NiFi, Elasticsearch . .   ,  ,  — - Open Source .  

,     Open Source , , Open Data Analytics Hub (ODAHU) , ML .  

?

- ,    Data —     ,   . (blueprint) . ,  ,   .  ,  ,        , , . 

  blueprint   -  , ,      , ,   Data Scientists, ,   .. 

?

    , ,   , e-commerce,  ,  ,  Life Science   —  , -.  , ,  blueprints  , .   

,     , , .    , ,   .

2020 ?

, ,      XXI .  2020 , (late majority),   ,    . 

, : , ?

, ,    , . , ,   ,    .  

,   ,   Data,  Java, Scala  Python. 

- EPAM , Data Engineering, Data Science, BI, Python , .

, Data EPAM?

. ,  Data  —  Java, Scala  Python (, ),  SQL, , , ,  DevOps- ,      Machine Learning  .