L'utilisation de méthodes liées à la transformée discrète de Fourier en entreprise présente un potentiel important. Un facteur limitant dans la réalisation de ce potentiel est une barrière à l'entrée méthodologique élevée.
L'axe principal du travail:
- les exigences en matière de données pour une approximation correcte de Fourier des séries chronologiques;
- la validité des attentes par rapport aux prévisions;
- un petit ensemble d'harmoniques suffit pour approcher une série complexe;
- qu'est-ce qu'un événement de Fourier;
- comment et comment les événements de Fourier peuvent aider les entreprises;
- Evénements de Fourier dans l'analyse des flux de trésorerie.
1. Prévisions
La tâche était confiée à un grand transporteur maritime et concernait les prévisions des prix du fret par type de navire. Le transporteur avait une série d'abonnements aux prévisions de sociétés d'analyse internationales, mais la qualité des prévisions ne lui convenait pas. Les sociétés d'analystes utilisaient des régressions multiples, disposaient de statistiques à long terme et augmentaient continuellement la dimension de leurs modèles. Dans le même temps, ils ont eux-mêmes admis un pourcentage assez important d'erreurs dans leurs prévisions.
Le critère pour évaluer le succès de la nouvelle prévision était le suivant: un fragment de données historiques est donné, une prévision est formée et la précision de la prévision du futur déjà réalisé est calculée. L'événement est devenu immédiatement un problème méthodologique clair. Si les États-Unis n'ont pas vendu du tout de pétrole avant 2017, puis sont immédiatement devenus un chef de file, comment cela peut-il affecter les conclusions fondées sur des données historiques. Autres événements: guerres, crises, - du point de vue de la prévision, ce sont essentiellement les mêmes événements, mais la situation des exportations de pétrole des États-Unis est extrêmement indicative afin d'écarter le facteur événement dans la méthodologie de prévision (les pondérations produisent de la linéarité, et les événements produisent un écart et une singularité) ...
De nombreuses méthodes ont été essayées. Le plus intéressant était l'approximation des séries de Fourier (approximation de Fourier) des séries chronologiques et son étude du point de vue de la prévision pour les entreprises. En même temps, il y avait un problème technique - tout le temps, il y avait un décalage dans l'approximation de la série originale.
2. Formation des données pour la transformée de Fourier
Explications préliminaires nécessaires.
La transformée de Fourier discrète est appliquée aux vecteurs constitués de valeurs réelles. Si une série temporelle est considérée comme un ensemble de points <valeur-temps>, la transformée de Fourier est appliquée à un vecteur à partir d'une séquence de valeurs de séries temporelles.
Il y a des subtilités dans l'utilisation de la transformée de Fourier, qui sont associées au nombre de valeurs et aux caractéristiques des écarts entre elles. Par exemple, la série chronologique d'origine peut avoir des intervalles inégaux ou des valeurs manquantes pour certaines positions temporelles (week-ends, jours fériés).
Dans de nombreux cas, la procédure suivante est utile. La série temporelle d'origine est d'abord interpolée, puis le nombre requis de valeurs aux positions temporelles souhaitées est extrait de la fonction interpolée. Ainsi, la série chronologique d'origine est remplacée par une série régulière plus fréquente avec le nombre requis de valeurs interpolées.
Voici l'approche décrite par A. Dieckmann.
Transformée de Fourier discrète.
Un vecteur de valeurs réelles u = u [r] est converti en un vecteur de valeurs complexes f [s] en utilisant la formule suivante (il existe plusieurs formules pour F [s, r] qui donnent des résultats équivalents): f [s] = u [r] * F [s, r], où
, et les valeurs de s, r varient de 1 à n.
Données nécessaires pour obtenir le spectre de Fourier.
Le vecteur résultant f [s] peut être interprété comme un spectre de Fourier, car il contient des informations sur les amplitudes, fréquences et phases des harmoniques fondamentales.
De plus, il existe des exigences pour u [r]. Les valeurs u [r] doivent être spécifiées aux points de partage de l'intervalle lorsque l'intervalle a la longueur d'un nombre entier d'étapes de même taille. La valeur r correspond à la position (index) dans le vecteur. En général, r définit une position dans le temps (série chronologique) ou dans l'espace (dans d'autres dimensions).
Supposons que le vecteur u [r] doit être défini sur l'intervalle [tMin, tMax], dont la longueur est tt = (tMax-tMin). Soit delta = tt / n la distance entre les points adjacents de l'intervalle, à laquelle u [r] est calculé.
Examinons quel processus devrait techniquement avoir lieu.
L'exposant complexe dans la matrice F [s, r] peut être interprété comme une sonde vectorielle (dépend de s) qui tourne dans le plan complexe avec une fréquence (s-1) / tt et se déplace séquentiellement (dans le temps ou dans l'espace) le long de (r- 1) * tt / n. Lors de la multiplication de la matrice, le vecteur sonde correspondant à r est multiplié par le u [r] spécifique, et la somme vectorielle est calculée sur tout r, donnant le nombre complexe f (s). Et ainsi il est répété pour tous les s de 1 à n. Chaque f [s] indique la présence ou l'absence d'un composant oscillant à la fréquence associée à s.
Comment u [r] doit-il être formé?
À ce stade, la série chronologique d'origine doit être interpolée et mappée à l'intervalle sélectionné, un multiple d'un nombre entier d'étapes. Un nombre suffisant de points pour une approximation précise est choisi empiriquement.
À ce stade, le principal est le nombre de points à prendre et lesquels. La valeur de n est fixée à delta. Dans ce cas, nous avons un ensemble de n + 1 points pour toutes les valeurs de la partition d'intervalle.
Dans u = u [r] il est nécessaire de n'inclure que les points du premier au dernier mais un, mais pas le dernier: seulement n.
Sinon, l'approximation de Fourier sera légèrement décalée par rapport à la série chronologique d'origine.
3. Interprétation visuelle des transformées de Fourier
Pour l'utilisation généralisée de la transformée de Fourier dans la pratique, il est nécessaire de ressentir ce qu'elle donne en plus des formules complexes, et de former correctement les données initiales.
Considérez comment la transformée de Fourier agit sur une fonction sinusoïdale. Pour ce faire, il est utile de combiner sur un même graphe le comportement de la fonction et les caractéristiques que la transformée de Fourier donne en des points spécifiques et en général sur la fonction étudiée.
Considérons la fonction 1 + Sin [2πx] sur le segment [0, π].
L'amplitude de cette fonction correspond à 1Hz, puisqu'elle répète son mouvement après 2 π.
Soit n = 20, puis en divisant l'intervalle en parties égales, vous pouvez obtenir 21 valeurs aux points correspondants de la division. Mais, en suivant l'explication ci-dessus, nous allons opérer avec seulement 20 points - sans le dernier (uniquement en noir sur l'image ci-dessus).
Le paramètre r se déplace le long de l'abscisse et a 20 valeurs. Le paramètre s définit la vitesse en (s-1) Hz.
Les figures suivantes montrent la rotation du vecteur sonde. Chaque sonde vectorielle commence au point u [r], pour lequel la valeur F [s, r] est calculée. Les paramètres de la fin du vecteur sonde sont obtenus comme suit: l'abscisse est le produit u [r] * Re [F [s, r]], l'ordonnée est u [r] * Im [F [s, r]].
Pour plus de clarté, une palette de vecteurs de sonde en mouvement du début à la fin a été sélectionnée. Il commence du marron, puis du vert au bleu:
Les figures ci-dessous montrent la rotation du vecteur sonde réduite au point du graphique pour lequel la transformée de Fourier est calculée, ainsi que le chemin (somme vectorielle) lorsque les vecteurs sonde adjacents sont directement adjacents.
L'axe des ordonnées affiche l'amplitude de la fonction d'origine et la partie imaginaire de la transformée de Fourier.
L'axe des abscisses est la position du point sur les intervalles de temps de la fonction d'origine et de la partie réelle de la transformée de Fourier.
La somme des vecteurs montre la configuration du mouvement des vecteurs sondes. Le point noir indique le début du mouvement et la fin du mouvement (un autre point noir s'ils ne correspondent pas). Pour s = 3, le début et la fin sont les mêmes. Pour s = 1 et s = 2, le début et la fin ne correspondent pas.
Les coordonnées de début et de fin sont affichées séparément, ainsi que les valeurs arrondies (très proches de zéro).
La valeur s caractérise la fréquence testée.
Il y a symétrie dans le comportement.
Le centre est s = 11.
Pour un exemple de symétrie, montrons les chiffres pour s = 19 et s = 20, qui sont symétriques à s = 3 et s = 2.
Que se passe-t-il si vous ne prenez pas 20 points, mais 21, y compris le dernier. Exemple pour s = 3. Il montre la présence d'un composant oscillant avec une fréquence associée à s = 3, alors qu'il n'y a pas de telles oscillations dans la fonction d'origine. Il n'y a qu'une fluctuation de 1 Hz dans la fonction d'origine.
Tous les graphiques ci-dessus sont destinés à montrer l'importance de fractionner correctement les intervalles et les données d'échantillonnage pour ces intervalles sans la dernière valeur. Ce n'est que dans ce cas qu'il y aura une approximation de Fourier correcte de la série originale et la possibilité de sa continuation périodique.
Les autres aspects de l'approximation de Fourier sont présentés de manière assez complète dans la littérature de référence.
4. Analyse des séries temporelles réelles
Revenons à la tâche qui a été décrite au tout début.
Ce qui suit est une approximation de Fourier des données historiques sur les prix des navires pour l'expédition.
Chaque image du premier bloc à gauche montre un graphique montrant à quel niveau des valeurs d'amplitude (ligne pointillée rouge) les harmoniques qui apportent une contribution insignifiante sont coupées. Le premier bloc de droite montre les caractéristiques des 10 premières harmoniques de la série approximative en amplitude décroissante.
Le deuxième bloc est constitué de tracés avec l'augmentation du nombre d'harmoniques (dans l'ordre de la plus grande amplitude) utilisé pour l'approximation. Le résultat de l'approximation est une ligne pointillée rouge.
Pour une série temporelle donnée, 5 harmoniques suffisent.
Pour cette série chronologique, vous pouvez vous limiter à 5 harmoniques, si vous ne considérez pas les données très anciennes comme trop importantes.
Cette série chronologique est assez bien approximée par les 8e harmoniques.
Dans ce cas, il est souhaitable de prendre en compte 11 harmoniques.
Ainsi, les données historiques dans un domaine d'activité plutôt dynamique (prix des navires pour le transport maritime) peuvent être bien approximées par une moyenne de 10 harmoniques.
En général, le problème de la prévision, lorsque le futur déjà existant est restauré à partir d'un fragment de données historiques avec une certaine erreur, peut être considéré comme résolu si les (certaines) harmoniques fondamentales de l'approximation sont connues.
En même temps, il est clair que la prévision pour l'avenir que donnera l'approximation de Fourier sera en fait complètement fausse: cela devient clair grâce au mécanisme transparent de construction de l'approximation de Fourier.
Avec la régression multiple, quand on parle de 70% de la fiabilité des prévisions, tout est pareil, mais le mécanisme de construction opaque permet d'espérer déraisonnablement que, dans l'ensemble (70%), la prévision sera correcte.
5. Événements de Fourier
Les événements de Fourier apparaissent en supposant que des processus cycliques de base (harmoniques) se produisent, qui se superposent et se combinent avec des événements importants, également représentés par des harmoniques.
Ainsi, toutes les harmoniques de l'approximation de Fourier sont divisées en deux parties: les harmoniques de base du processus et les harmoniques des événements. Il est important de se rappeler que la somme des harmoniques de base et d'événement donne une approximation adéquate de la série originale.
Dans ce cas, pour une bonne prévision, il suffit de connaître les cycles de base et d'avoir une liste d'événements et de circonstances, selon laquelle une prévision glissante doit être formée en fonction des événements prévus ou déjà survenus ou de leurs chaînes. Mais il s'agit d'une technologie de prévision légèrement différente et non traditionnelle.
Les deux méthodes suivantes pour corriger les événements de Fourier sont justifiées méthodologiquement.
La première méthode est associée à la soustraction de la série chronologique complète de toutes les combinaisons possibles d'harmoniques qui la rapprochent, et à la comparaison des événements connus aux extrema ou écarts stables résultants. Étant donné que presque toutes les industries ont des sociétés d'analyse qui collectent des statistiques et examinent les tendances (dans certaines industries même chaque semaine), trouver des événements importants pour une date n'est pas un problème assez difficile.
La seconde, appelons-la la méthode de division, est associée à la division de la série chronologique complète en périodes de longueurs différentes et à la recherche de périodes «similaires» par des harmoniques comparables. Avec l'approche décrite de l'approximation de Fourier, une telle tâche peut être entièrement automatisée.
La méthode de fractionnement est qualitativement différente de la première méthode, car il existe une opération non linéaire pour l'ensemble du fractionnement, l'opération initiale consistant à isoler sa tendance (régression linéaire) de chaque composant du fractionnement sélectionné.
6. Analyse des données sur les prix du pétrole à travers les événements de Fourier
Par exemple, considérons les prix du pétrole en Europe Brent Spot Price FOB. Source: Thomson Reuters. Administration américaine de l'information sur l'énergie. Thomson Reuters. Les données sont quotidiennes en dollars américains du 20 mai 1987 au 10 novembre 2020.
Série chronologique originale.
Nous sélectionnons une tendance - régression linéaire.
Nous effaçons les données initiales de la tendance (une tendance linéaire peut toujours être restaurée).
Graphique bleu - données brutes. Le noir est une tendance. Orange - données normalisées (pas de tendance).
Trouvez une approximation.
Pour l'instant, tout n'est pas très bon: les 8e et 20e harmoniques pour une telle série ne suffiront pas.
Pour 30 harmoniques, le résultat est tout à fait acceptable.
Passons à la méthode d'isolement des événements de Fourier. Illustrons une des approches pour le cas d'approximation de la série originale par 8e harmoniques.
Trouvez toutes les combinaisons possibles de 8 harmoniques. Il y en aura 255. Pour chacune des 255 combinaisons, nous calculons la valeur absolue à partir de la différence de points entre la ligne d'origine et la structure (ligne) générée par une combinaison spécifique d'harmoniques.
Pour une nouvelle série, nous calculons le maximum, l'écart type et la somme totale des valeurs (il est possible que d'autres indicateurs soient à calculer: moyenne, etc.).
Sur les figures, ces indicateurs sont représentés séquentiellement. Ils correspondent aux cent premières valeurs, triées par ordre décroissant de maximum.
Considérons les 60 premiers des 100 sélectionnés. Ensuite, nous choisirons ceux (visuellement) intéressants. Les graphiques sont présentés ci-dessous. Le nombre sous l'image correspond au nombre ordinal de la combinaison de 255. Le graphique gris est la ligne d'origine, la ligne rouge est de la combinaison d'harmoniques.
Ce qui compte comme «intéressant» est une tâche significative pour une entreprise. Tout ce qui a été là jusqu'à présent n'est que technique standard.
Ce qui est arrivé à la fin? À partir de l'ensemble des harmoniques qui se rapprochent bien de la série originale, nous avons sélectionné des combinaisons qui dans certains domaines correspondent très bien à la série chronologique d'origine, et dans d'autres montrent un écart évident. Ce sont les derniers sites candidats à l'analyse des événements qui se sont déroulés pendant cette période (tous les graphiques sont quotidiens avec une date explicite).
De plus, la présence de zones de graphes très bien contigus fournit une base pour dériver les caractéristiques de la «norme» pour la dynamique des processus réfléchis.
Le but de l'analyse est d'identifier les harmoniques qui correspondent aux événements. Le problème inverse est la sélection des processus cycliques de base.
La méthode de fractionnement est importante car le processus représenté par une série chronologique peut être essentiellement composite et dépendre d'événements d'un ordre supérieur: une crise mondiale, etc.
7. Événements de Fourier dans l'analyse des flux de trésorerie
Le processus d'analyse d'une série chronologique est associé à l'attente que les processus cycliques y dominent. En général, ces attentes peuvent ne pas être satisfaites. Le fait n'est même pas qu'il n'y a pas une telle domination de la cyclicité. Simplement en raison de la manière particulière dont la série chronologique est formée, il peut ne pas être possible d'identifier la cyclicité dans cette série particulière.
La trésorerie est une autre affaire. En fait, production et activité commerciale, la plupart des processus sont initialement cycliques dans la façon dont ils sont formés. Les écarts par rapport à la norme sont associés à des événements qui perturbent cette cyclicité. L'utilisation de la méthode des événements de Fourier dans l'analyse des flux de trésorerie permet d'identifier une «norme» objective, ainsi que des indicateurs d'écarts.
En termes d'événements de Fourier, le problème d'analyse des flux de trésorerie est bien algorithmique pour appliquer les méthodes d'intelligence artificielle et de réseaux de neurones (apprentissage automatique).