Si votre poste est ingénieur de données, vous avez peut-être rencontré un biais d'information offensant. La science des données est activement couverte, elle contient de nombreux matériaux utiles. Et vous travaillez dans un domaine connexe, où de nombreuses questions importantes se posent également, mais on en dit beaucoup moins sur ces questions.
, , 9-12 SmartData. - : data scientists, - , .
- , , . , , , .
, 2017- « SmartData», 2018- SmartData. : « , , ». : !
, , . , , . , data science, :
, , , . , : « , , , - …»
, SmartData 2020? , , . , :
Streaming
- Flink
- Spark
- Kafka
, , noSQL, SMP/MPP- DWH:
- Hive, Impala, Presto, Vertica, ClickHouse, Cassandra
- Teradata, Redshift, GreenPlum, exadata
- MSSQL, PostgreSQL
- MongoDB, DynamoDB
- S3, ADLS, GCS, HDFS
DWH
- Ad-hoc reporting
- Hadoop
Data governance
- Data security
- Data quality
- Metadata catalog management
- Master data management
ETL
- Spark
- Hadoop MapReduce
- Sqoop
- Performance analysis and optimization
MLOps
- Airflow, NiFi, Luigi, Azkaban, Oozie etc
- MLflow
-
- - , data engineer
- CI/CD
SmartData
Call to action
? :
SmartData!
