Tâches de fond de Faust Partie I: Une introduction

1. Partie I: Introduction
2. Partie II: Agents et équipes

Comment suis-je arrivé à cette vie?

Il n'y a pas si longtemps, je devais travailler sur le backend d'un projet très chargé, dans lequel je devais organiser l'exécution régulière d'un grand nombre de tâches en arrière-plan avec des calculs complexes et des demandes de services tiers. Le projet est asynchrone et avant d'y arriver, il disposait d'un mécanisme simple pour lancer des tâches dans une couronne: une boucle avec vérification de l'heure actuelle et lancement de groupes de coroutines via rassembler - cette approche s'est avérée acceptable jusqu'à ce qu'il y ait des dizaines et des centaines de telles coroutines, cependant, lorsque leur nombre dépassait deux mille, j'ai dû penser à organiser une file d'attente de tâches normale avec un courtier, plusieurs travailleurs et ainsi de suite.

Celery, . , , , .

, , , , . , , , (. group). issue , , . , , … , . , 2-3 http- , 4 tcp , 2 — … . - aiohttp .

, ! celery, , Ask Solem, Faust, robinhood. Faust Kafka Streams Kafka , rocksdb, — , .

, celery faust : , , . , , faust — .

?

, , Faust. - , , alphavantage.co. , (sink, , ), (cron) , cli- faust ( click), , datadog ( ) , - . mongodb motor .

P.S. , , , - , - :

, , , :

1. overview ( .. , , cash flow — ) —
2. ( ) —
3. —
4. —

, : horton

, , — docker-compose kafka ( zookeeper — ), kafdrop ( ), mongodb. [docker-compose.yml](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) :

version: '3'

services:
  db:
    container_name: horton-mongodb-local
    image: mongo:4.2-bionic
    command: mongod --port 20017
    restart: always
    ports:
      - 20017:20017
    environment:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    container_name: horton-kafka-local
    image: obsidiandynamics/kafka
    restart: always
    ports:
      - "2181:2181"
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka-service:29092,EXTERNAL://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    container_name: horton-kafdrop-local
    image: 'obsidiandynamics/kafdrop:latest'
    restart: always
    ports:
      - '9000:9000'
    environment:
      KAFKA_BROKERCONNECT: kafka-service:29092
    depends_on:
      - kafka-service

. kafka listener': (internal) , (external) , . 2181 — zookeeper'. , , .

:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── database
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

, , .

. , mongodb. , , .

— pyproject.toml

, virtualenv (, venv ):

pip3 install poetry (   )
poetry install

config.yml — . alphavantage. config.py — . , , — sitri.

— . , .

?

, , — , .

, :

1. alphavantage aiohttp .
2. , .