Bienvenue sur Make Open Data

Des données publiques exploitables déployées sur une BDD Postgres/PostGIS accessibles depuis l'outil de votre choix.

• Présentation du projet ou contactez-nous pour une démo : https://make-open-data.fr/
• Catalogue des données : https://data.make-open-data.fr/

Qu'est-ce que Make Open Data ?

Make Open Data est un ELT Open Source pour les données publiques :

• Extrait les fichiers sources (data.gouv, INSEE, Etalab, etc.) les plus adaptés et récents.
• Transforme ces données selon des règles transparentes et le moins irréversibles possible.
• Stocke ces données dans une base de données PostgreSQL (avec PostGIS).
• Teste des hypothèses sur ces données (ex. : prix par transaction immobilière sur DVF).

Les données spatiales sont intégrables dans QGIS et autres SIG.

Déploiement managé par Make Open Data

Nous fournissons les accès à une base PostgreSQL dans le cloud avec des données à jour.

Contactez-nous : https://make-open-data.fr/

Déploiement manuel

1. Installation des outils nécessaires

Mettre à jour les paquets et installer les dépendances :

sudo apt update
sudo apt install git python3-venv postgresql postgis

2. Cloner le projet et configurer l'environnement virtuel

git clone git@github.com:<utilisateur_orga_destination>/<nom_repo_destination>.git
cd make-open-data-EPF
python3 -m venv dbt-env
source dbt-env/bin/activate

3. Configuration de PostgreSQL

Définir les variables d'environnement :

Ajouter :

export POSTGRES_USER=<YOUR_POSTGRES_USER> # ex: postgres
export POSTGRES_PASSWORD=<YOUR_POSTGRES_PASSWORD>
export POSTGRES_HOST=<YOUR_POSTGRES_HOST> # ex: localhost
export POSTGRES_PORT=<YOUR_POSTGRES_PORT> # ex: 5432
export POSTGRES_DB=<YOUR_POSTGRES_DB> # ex: postgres

Appliquer les changements :

Modifier la configuration PostgreSQL :

sudo nano /etc/postgresql/XX/main/postgresql.conf

Changer :

#listen_addresses = 'localhost'

Par :

Redémarrer PostgreSQL :

sudo systemctl restart postgresql.service

4. Activer PostGIS

Se connecter à PostgreSQL et activer l'extension :

psql postgresql://$POSTGRES_USER:$POSTGRES_PASSWORD@$POSTGRES_HOST:$POSTGRES_PORT/$POSTGRES_DB
CREATE EXTENSION postgis;
\q

5. Chargement des données

python3 -m load  # Chargement des données d'exemple
python3 -m load --production  # Chargement complet des données

6. Configuration et exécution de DBT

export DBT_PROFILES_DIR=.
dbt debug
dbt deps
dbt seed
dbt run --target dev  # Tables logement sur Occitanie et DVF Hérault

Pour une exécution complète en production :

dbt run --target production  # Environ 1 heure

Tester les transformations :

7. Installation de pgAdmin4 (facultatif)

sudo apt install pgadmin4