Les données sur plus d'un million de permis de construire (enregistrements dans deux ensembles de données) du Département des bâtiments de San Francisco - vous permettent d' analyser non seulement l'activité de construction dans la ville , mais également d'examiner de manière critique les dernières tendances et l'histoire du développement de l'industrie de la construction au cours des 40 dernières années , au cours de la période allant de 1980 à 2019.
L'open data permet d'étudier les principaux facteurs qui ont influencé et vont influencer le développement de l'industrie de la construction dans la ville, en les divisant en «externe» (booms et crises économiques) et «interne» (impact des vacances et des cycles saisonniers-annuels).
Contenu
Données ouvertes et revue de référence
Activité annuelle de construction à San Francisco
Attentes et réalité dans l'estimation des coûts
Activité de construction en fonction de la saison de l'année
Investissement total dans l'immobilier San Francisco
Dans quels domaines ont été investis au cours des 40 dernières années
Coût moyen estimé d'une demande par district de la ville
Statistiques sur le total des demandes par mois et par jour
L'avenir de l'industrie de la construction à San Francisco
Données ouvertes et aperçu des paramètres d'origine.
Ce n'est pas une traduction de l'article. J'écris sur LinkedIn et afin de ne pas créer de graphiques en plusieurs langues - tous les graphiques sont en anglais. Lien vers Jupyter Notebook avec des données et des graphiques (pour ceux qui sont enregistrés sur Kaggle - veuillez mettre un plus Notebook - Merci).
Lien vers la version anglaise: les hauts et les bas de l'industrie de la construction à San Francisco. Tendances et histoire de la construction.
Données sur les permis de construire pour la ville de San Francisco - tirées du portail de données ouvertes - data.sfgov.org . Le portail contient plusieurs jeux de données sur le thème de la construction. Deux de ces ensembles de données stockent et mettent à jour les données sur les permis délivrés pour la construction ou la réparation d'installations dans la ville:
- Permis de construire pour la période 1980-2013 (850 mille entrées)
- Permis de construire après 2013 (280000 enregistrements, données téléchargées et mises à jour chaque semaine)
Ces ensembles de données contiennent des informations sur les permis de construire délivrés, avec diverses caractéristiques de l'objet pour lequel le permis est délivré. Le nombre total d'entrées (permis) reçues au cours de la période 1980-2019 est de 1 137 695 permis .
Les principaux paramètres de cet ensemble de données qui ont été utilisés pour l'analyse:
- permit_creation_date - date de création de l'application (en fait, le jour à partir duquel les travaux de construction commencent)
- desctription - description de l'application (objet deux ou trois mots clés décrivant la construction (travaux) pour laquelle a été créé l' autorisation)
- estimé_cost - coût estimé (estimé) des travaux de construction
- revision_cost - coût révisé (coût du travail après réévaluation, augmentation ou diminution du volume d'origine de l'application)
- existing_use - type de logement (maison individuelle ou bifamiliale, appartements, bureaux, production, etc.)
- code postal, emplacement - code postal et coordonnées de l'objet
Activité annuelle de construction à San Francisco
Dans le graphique ci-dessous, le coût estimé et le coût révisé sont présentés comme une distribution du coût total des travaux par mois.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Pour réduire les «émissions» mensuelles, les données mensuelles sont regroupées par année. Le graphique du montant d'argent investi au fil des ans a reçu une vue plus logique et plus facilement analysable.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Selon le mouvement annuel de la somme des valeurs (tous les permis de l'année) dans les objets urbains , des facteurs économiques sont clairement visibles qui, de 1980 à 2019, ont influencé le nombre et la valeur des projets de construction, ou, en d'autres termes, sur les investissements dans l'immobilier à San Francisco.
Le nombre de permis de construire (le nombre de travaux de construction ou le nombre d'investissements) au cours des 40 dernières années a été étroitement lié à l'activité économique dans la Silicon Valley.
Le premier pic d'activité de construction a été associé au battage médiatique électronique du milieu des années 80 dans la vallée. Le ralentissement de l'électronique et des services bancaires qui a suivi en 1985 a laissé le marché immobilier régional en déclin, dont il ne s'est pas remis pendant près d'une décennie.
Après cela, deux fois de plus (en 1993-2000 et 2009-2016), avant l'effondrement de la bulle Dotcom et le boom technologique de ces dernières années, l' industrie de la construction de San Francisco a connu une croissance parabolique de plusieurs milliers de pour cent .
En supprimant les pics et les creux intermédiaires et en laissant les valeurs minimales et maximales dans chaque cycle économique, il est clair à quel point les fluctuations du marché ont tourmenté l'industrie au cours des 40 dernières années.
La plus forte augmentation des investissements dans la construction est survenue pendant le boom des technologies de l'information, lorsque de 1993 à 2001, 10 milliards de dollars ont été investis dans les réparations et la construction, soit environ 1 milliard de dollars par an. Si vous comptez en mètres carrés (le coût de 1 m² en 1995 - 3000 $), cela représente environ 350 000 m² par an pendant 10 ans, à partir de 1993.
La croissance des investissements totaux annuels au cours de cette période a été de 1215%.
Les entreprises qui louaient du matériel de construction pendant cette période étaient similaires aux entreprises qui vendaient des pelles pendant la ruée vers l'or (dans la même région au milieu du XIXe siècle). Seulement au lieu de pelles - dans les années 2000, il y avait déjà des grues et des pompes à béton, pour les entreprises de construction nouvellement créées qui voulaient gagner de l'argent sur le boom de la construction.
Après chacune des nombreuses crises que le secteur de la construction a traversées au fil des ans, au cours des deux années qui ont suivi la crise, l'investissement (le nombre de demandes de permis) dans la construction a à chaque fois diminué d'au moins 50% .
Les plus grandes crises de l'industrie de la construction à San Francisco se sont produites dans les années 90. Lorsque, à intervalles de 5 ans, l’industrie a soit baissé (-85% sur la période 1983-1986), puis augmenté à nouveau (+ 895% sur la période 1988-1992), restant en termes annuels en 1981, 1986, 1988, 1993 - au même niveau.
Après 1993, toutes les récessions subséquentes dans le secteur de la construction ne dépassaient pas 50%. Mais l' approche de la crise économique (due au COVID-19) pourrait créer une crise record dans le secteur de la construction sur la période 2017-2021, dont la baisse déjà pour la période 2017-2019 s'élève à plus de 60%.
La croissance démographique de San Francisco au cours de la période 1980-1993 a également montré une croissance presque exponentielle. La force économique et l'énergie innovante de la Silicon Valley étaient une base solide sur laquelle l'hyperbole de la nouvelle économie, de la renaissance américaine et du dot-com a été construite. C'était l'épicentre de la nouvelle économie. Mais contrairement à la croissance de l'investissement immobilier, après le pic des dotcoms, la population a atteint un plateau.
Si avant le pic des dot-coms en 2001, depuis 1950, la croissance démographique annuelle était d'environ 1% par an. Puis, après l'éclatement de la bulle, l'afflux de nouvelle population a ralenti et depuis 2001, il n'est plus que de 0,2% par an.
En 2019 (pour la première fois depuis 1950), la dynamique de croissance a montré une sortie de la population (-0,21% soit 7000 personnes) de la ville de San Francisco.
Attente et réalité dans la préparation du coût estimé
Dans les ensembles de données utilisés, les données sur le coût des permis pour un objet de construction sont divisées en:
- coût initial estimé ( estimé_coût )
- coût des travaux après réévaluation ( révision_coût )
En période de boom, le principal objectif de la réévaluation est d'augmenter la valeur initiale, lorsque l'investisseur (le propriétaire du bâtiment) a de l'appétit après le début de la construction.
Pendant la crise, ils essaient de ne pas dépasser le coût estimé, et les estimations initiales ne subissent pratiquement aucun changement (sauf pour le tremblement de terre de 1989).
À partir du graphique tracé sur la différence entre le coût réévalué et estimé (révision_coût - coût_estimé), vous pouvez observer que:
Le montant de l'augmentation de valeur lorsque le volume des travaux de construction est réévalué - dépend directement des cycles du boom économique
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Dans les périodes de croissance économique rapide, les clients professionnels (investisseurs) dépensent leur argent assez généreusement, augmentant leurs demandes après le début des travaux.
Le client (investisseur), sentant sa confiance financière, demande à l'entrepreneur en construction ou à l'architecte d'étendre le permis de construire déjà délivré. Cela peut être une décision d'augmenter la longueur initiale de la piscine ou d'augmenter la superficie de la maison (après le début des travaux et la délivrance d'un permis de construire).
Au plus fort des dotcoms, ces dépenses «supplémentaires» atteignaient le milliard «supplémentaire» par an.
Si vous regardez ce tableau déjà en pourcentage de variation, alors le pic de l'augmentation de l'estimation (100% ou 2 fois le coût initial estimé) est tombé sur l'année précédant le tremblement de terre survenu en 1989 près de la ville. Je suppose qu'après le tremblement de terre, les projets de construction qui ont débuté en 1988 ont exigé après le tremblement de terre de 1989 - plus de temps et d'argent à mettre en œuvre.
A l'inverse, une révision à la baisse du coût estimé (qui n'a eu lieu qu'une seule fois de 1980 à 2019) quelques années avant le séisme, vraisemblablement due au fait que certains objets démarrés en 1986-1987 ont été gelés ou des investissements dans ces objets ont été réduites. Dans les délaisen moyenne, pour chaque objet commencé en 1987 - la réduction des coûts estimée était de -20% du plan initial .
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
L'augmentation du coût initial estimé de plus de 40% indiquait ou était peut-être le résultat d'une bulle imminente sur le marché financier et, par la suite, de la construction.
Quelle est la raison de la diminution de l'écart (différence) entre la valeur estimée et la valeur révisée après 2007?
Peut-être que les investisseurs ont commencé à examiner attentivement les chiffres (le montant moyen sur 20 ans est passé de 100 000 $ à 2 millions de dollars) ou peut-être que le département de la construction, avertissant et ralentissant les bulles émergentes sur le marché immobilier, a introduit de nouvelles règles et restrictions pour réduire les manipulations possibles et les risques éventuels qui surviennent pendant les années de crise.
Activité de construction selon la saison de l'année
En regroupant les données par semaines calendaires dans une année (54 semaines), vous pouvez observer l'activité de construction de la ville de San Francisco en fonction de la saisonnalité et de la période de l'année.
À Noël, tous les organismes de construction essaient d'avoir le temps d'obtenir l'autorisation pour de nouveaux «gros» objets (en même temps! Le nombre! D'autorisations dans les mêmes mois est au même niveau tout au long de l'année). Les investisseurs, qui prévoient d'acquérir leur propriété au cours de la prochaine année, concluent des contrats dans les mois d'hiver, comptant sur de grosses remises (étant donné que les contrats d'été, pour la plupart, arrivent à échéance d'ici la fin de l'année et que les entreprises de construction souhaitent recevoir de nouvelles demandes).
Avant Noël, les montants les plus importants sont présentés dans les demandes (une augmentation par rapport à une moyenne de 1 à 1,5 milliard par mois. Jusqu'à 5 milliards en décembre seulement).Le nombre total de commandes par mois reste au même niveau (voir la section suivante :. Statistiques sur le nombre total de commandes par mois et par jour)
Après la pause hivernale, le secteur de la construction est activement engagé (avec pratiquement aucune augmentation du nombre de permis) dans la planification et la mise en œuvre des au milieu de l'année (avant les vacances du «Jour de l'Indépendance») - pour avoir le temps de libérer des ressources avant la nouvelle vague de contrats d'été, qui commence immédiatement après les vacances de juin.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Les mêmes données en pourcentage (ligne orange) montrent également que l'industrie fonctionne «bien» tout au long de l'année, mais avant et après les vacances, l'activité sur les permis augmente à 150% dans la période comprise entre la semaine 20-24 (avant le jour de l'indépendance) et diminue immédiatement après les vacances jusqu'à -70%.
Avant Halloween et Noël, l'activité dans l'industrie de la construction à San Francisco la semaine 43-44 augmente de 150% (de bas en haut) puis diminue à zéro pendant les vacances.
Ainsi, l'industrie est dans un cycle de six mois, qui est divisé par les jours fériés «Independence Day of the USA» (semaine 20) et «Noël» (semaine 52).
Investissement total dans l'immobilier à San Francisco
Sur la base des données sur les permis de construire dans la ville:
L'investissement total dans les projets de construction à San Francisco de 1980 à 2019 est de 91,5 milliards de dollars.
sf_worth = data_location_lang_long.cost.sum()
La valeur marchande totale de tous les biens immobiliers résidentiels à San Francisco, estimée par l'impôt foncier (est la valeur estimée de tous les biens immobiliers et de tous les biens personnels appartenant à San Francisco) a atteint 208 milliards de dollars en 2016 .
Dans quels quartiers de San Francisco ont été investis au cours des 40 dernières années
Avec l'aide de la bibliothèque Folium, voyons où ces 91,5 milliards de dollars ont été investis par district. Pour ce faire, en regroupant les données par code postal (code postal), imaginez la valeur obtenue à l'aide des cercles (fonction Circle de la bibliothèque Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Les districts montrent que la majeure partie du gâteau est allée logiquement à DownTown. Après avoir simplifié le regroupement de tous les objets en fonction de la distance au centre-ville et du temps nécessaire pour se rendre au centre-ville (bien sûr, des maisons chères sont également en cours de construction sur la côte), toutes les autorisations ont été divisées en 4 groupes: 'Downtown', '<0.5H Downtown', '< 1H Downtown ',' Outside SF '.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Sur les 91,5 milliards investis dans la ville, près de 70 milliards (75% de tous les investissements) investis dans la réparation et la construction sont en centre-ville (zone verte) et en zone urbaine dans un rayon de 2 km. du centre (zone bleue).
Coût moyen estimé d'une demande de construction par quartier de la ville
Toutes les données, comme dans le cas du montant total des investissements, ont été regroupées par code postal. Seulement dans ce cas, avec le coût estimé moyen (.mean ()) de l'application par code postal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Dans les zones ordinaires de la ville (à plus de 2 km du centre-ville) - le coût moyen estimé de la demande de construction est de 50 000 $.
Le coût moyen estimé dans le centre-ville est environ trois fois plus élevé (150 000 $ à 400 000 $) autres domaines (30 à 50 000 dollars).
Outre le coût du terrain, trois facteurs déterminent le coût total de la construction de logements: la main-d'œuvre, les matériaux et les frais gouvernementaux. Ces trois composantes sont plus élevées en Californie que dans le reste du pays. Les codes et normes du bâtiment de la Californie sont considérés parmi les plus complets et les plus stricts du pays (en raison des tremblements de terre et des réglementations environnementales), nécessitant souvent des matériaux et une main-d'œuvre plus coûteux.
Par exemple, le gouvernement exige des constructeurs qu'ils utilisent des matériaux de construction de meilleure qualité (fenêtres, isolation, systèmes de chauffage et de refroidissement) afin d'atteindre des normes d'efficacité énergétique élevées.
À partir des statistiques générales sur le coût moyen d'une demande d'autorisation, deux emplacements sont éliminés:
- Treasure Island est une île artificielle de la baie de San Francisco. Le coût moyen estimé d'un permis de construire est de 6,5 millions de dollars.
- Mission Bay - (2 926 résidents) Coût moyen estimé d'un permis de construction - 1,5 million de dollars.
En fait, l'offre moyenne élevée dans ces deux régions est associée au plus petit nombre d'offres pour ces emplacements postaux (145 et 3064, respectivement, la construction sur l'île est très limitée), tandis que pour le reste des codes postaux - pour la période 1980-2019, environ 1300 ont été reçues demandes par an (au total, 30 à 50 000 demandes en moyenne pour toute la période).
Selon le paramètre «nombre de demandes», une répartition idéalement uniforme du nombre de demandes par code postal est perceptible dans toute la ville.
Statistiques sur le nombre total de candidatures par mois et par jour
Les statistiques globales sur le nombre total de demandes par mois et jour de la semaine de 1980 à 2019 montrent que les mois les plus «calmes» pour le département du bâtiment sont les mois de printemps et d'hiver. Dans le même temps, le montant des investissements indiqué dans les candidatures varie considérablement et varie parfois de mois en mois (voir aussi «Activité de construction selon la saison de l'année»). Lundi, parmi les jours de la semaine, la charge de travail du ministère est inférieure d'environ 20% au reste de la semaine.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Alors que juin et juillet ne diffèrent pratiquement pas dans le nombre de demandes, dans le coût total estimé, la différence atteint 100% (4,3 milliards en mai et juillet et 8,2 milliards en juin).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
L'avenir de l'industrie de la construction à San Francisco, prédiction de l'activité par des modèles.
En conclusion, comparons le graphique de l'activité de construction à San Francisco avec le graphique du prix du Bitcoin (2015-2018) et le graphique du prix de l'or (
1940-1980 ) Pattern (du modèle anglais - un modèle, un échantillon) - en analyse technique, ils sont appelés combinaisons répétitives persistantes de données de prix, de volume ou d'indicateurs. L'analyse de modèle est basée sur l'un des axiomes de l'analyse technique: «l'histoire se répète» - on pense que des combinaisons répétées de données conduisent à un résultat similaire.
Le modèle principal que l'on peut deviner sur le graphique d'activité annuel est «Head and Shoulders» - un modèle d'inversion de tendance.Il est nommé parce que le graphique ressemble à une tête humaine (pic) et des épaules sur les côtés (pics plus petits). Lorsque le prix franchit la ligne reliant les creux, le modèle est considéré comme terminé et le mouvement est susceptible de se produire vers le bas.
Le mouvement de l'activité dans le secteur de la construction à San Francisco coïncide presque complètement avec le calendrier de croissance de l'or et du bitcoin. La performance historique de ces trois graphiques de l'évolution des prix et de l'activité montre des similitudes marquées.
Afin de prédire le comportement futur du marché de la construction, il est nécessaire de calculer le coefficient de corrélation avec chacune de ces deux tendances.
Deux variables aléatoires sont dites corrélées si leur moment de corrélation (ou coefficient de corrélation) est différent de zéro; et sont appelées quantités non corrélées si leur moment de corrélation est nul.
Si la valeur obtenue est plus proche de 0 que de 1, cela n'a aucun sens de parler d'un modèle clair. C'est un problème mathématique difficile, qui peut être abordé par des collègues expérimentés qui pourraient être intéressés par ce sujet.
Si un! peu scientifique! examinez le sujet du développement ultérieur de l'industrie de la construction à San Francisco: si le modèle coïncide avec le prix du bitcoin, alorsSelon ce scénario pessimiste , il ne sera pas facile de sortir de la crise de l'industrie de la construction à San Francisco dans la période proche de l'après-crise.
Dans un scénario plus «optimiste» , une croissance exponentielle répétée de l'industrie de la construction est possible si l'activité suit ici le scénario «prix de l'or». Dans cette option, dans 20-30 ans (peut-être dans 10), le secteur de la construction s'attend à une nouvelle poussée de l'emploi et du développement.
Dans la partie suivante, j'examinerai de plus près les différents secteurs de la construction (réparation de toits, cuisines, construction d'escaliers, salles de bains, si vous avez des souhaits pour les industries ou d'autres données - veuillez écrire dans les commentaires) et comparer l'inflation pour certains types de travaux avec un taux fixe sur les prêts hypothécaires et le rendement des obligations d'État américaines (taux hypothécaires fixes et rendement du Trésor américain).
Lien vers Jupyter Notebook: San Francisco. Secteur du bâtiment 1980-2019.
S'il vous plaît, pour ceux avec Kaggle - mettez plus Notebook (Merci!).
(Les commentaires et clarifications sur le code seront ajoutés ultérieurement au carnet)
Lien vers la version anglaise: The Ups and Downs of the San Francisco Construction Industry. Tendances et histoire de la construction.
Si vous aimez mon contenu, pensez à m'acheter un café.
Merci pour votre aide!
Acheter du café pour l'auteur