Session sur l’extraction de données depuis internet – 1/3 : Utilisation d’API natives

La première session de la 3ème « vague » ElementR s’est tenue le 30 Mars 2016, et avait pour thème le web scraping, soit la collecte/extraction de données depuis Internet.

Le document utilisé en séance est disponible à cette adresse, et les données sont ici.

Le sujet étant assez étendu, j’ai choisi de développer les exemples dans un format plus long de tutoriel, en découpant l’ensemble de la séance en trois parties centrées sur :

  1. L’utilisation d’API natives à R
  2. La récupération d’une page web structurée
  3. Le scraping d’un site web.

La première partie vient d’être mise en ligne et peut être consultée sur le site RPubs : http://rpubs.com/RobinC/web-scraping-1

N.B. :  Si le site affiche une page blanche, pensez à désactiver votre bloqueur de script/addblock.

http://rpubs.com/RobinC/web-scraping-1

7e SESSION : Raster

Séance sur les rasters (format, manipulations simples, statistiques zonales, masque et visualisation).

A partir d’exemples en climatologie (urbaine) : l’îlot de chaleur urbain de surface et les simulations du changement climatique en Ile-de-France.

Intervenants : Malika Madelin (UMR PRODIG)

Librairies :
ncdf
raster
rasterVis
ggplot2
maptools
sp
rgdal
RColorBrewer

 

Les fichiers :

Raster_Partie1 : fichier zip avec les programmes + une partie des données

Raster_Partie2 : lien vers un fichier zip avec l’autre partie des données (taille importante)

• Pour illustrer le programme 1, un poster présenté à l’EGU en 2012 : PrIllustrerProg1

EGU12_Madelin

6e SESSION : Créer des applications interactives avec R et shiny

Titre : Créer des applications interactives avec R et shiny

Intervenants : Hadrien Commenges (LEESU) & Robin Cura (UMR Géographie-cités)

Résumé :

Utilisation du package shiny pour créer des applications interactives.

Prérequis :

Connaissances de base sur la création de fonctions dans R.

Matériel et software nécessaire :

  • un ordinateur portable
  • une version récente de R et de RStudio
  • les packages shiny, manipulate, reshape2 et ggplot2

Informations pratiques :

Vendredi 10 avril de 14 à 16h

Université Paris Diderot – Paris 7

Bâtiment Olympe de Gouges – Salle 204

PlanDAccesOlympeDeGouges

Données et code utilisés pour la séance :

introShiny

5e SESSION : Cartographie de flux

La séance aura lieu le vendredi 6 mars de 14h à 16h à l’Université Paris VII, Bâtiment Olympe de Gouges, salle 204.

Elle sera animée par Françoise Bahoken (IFSTTAR-SPLOTT et UMR Géographie-Cités) et Paul Chapron (UMR Géographie-Cités).

La séance part du constat de l’impossibilité d’une représentation cartographique directe et exhaustive de manière lisible, sur un fond de carte, de l’information disponible dans une matrice de flux dense (en raison de l’effet spaghetti). Pour y pallier, il convient de sélectionner ou de filtrer l’information de flux à cartographier.

 

La séance propose différents critères de sélection visuelle et analytique de l’information de flux à représenter. Trois grandes familles seront présentées : la première concerne les critères qui agissent au niveau global de la matrice, lorsque l’on souhaite cartographier, par exemple, les flux supérieurs à une seule valeur, empirique ou statistique ; la seconde famille concerne les critères qui agissent localement, sur les lieux d’origine et/ou de destination, comme dans le cas de la méthode de sélection des seuls flux majeurs, principaux, dominants….. Ces critères peuvent être combinés, et être intrinsèques à la matrice ou bien être le résultat d’un traitement réalisé sur une autre matrice. La troisième famille concerne donc le cas de la sélection des flux par rapport à un critère appliqué sur une matrice externe, en considérant par exemple l’espace des flux qui mobilise entre autres une matrice de distance parcoure.

La séance sera composée de trois sections :

  • Préparation des trois principaux types de matrices de flux (asymétriques, symétriques, antisymétriques)* ; et éventuellement d’une matrice de distances ou de proximités ;
  • Procédés de cartographie des liens et des flux, en fonction du type de matrice de flux ;
  • Choix d’un (ou de plusieurs) critère (s) de sélection des flux à cartographier ;

Les packages à installer et leurs dépendances respectives éventuelles sont les suivants :

igraph | tnet | ggplot2 |reshape2 | rgdal | sp | spdep | gdata
classInt | maptools | RColorBrewer | proj4 |

Les données d’exemple sont :

– les migrations interrégionales de l’ex-Tchécoslovaquie (1965-1990), déjà manipulées lors de la SEANCE n°3 ; elles sont téléchargeables ici : données_seance_5

– les mobilités professionnelles intercommunales en Isère (2010), issues du Recensement de la population de l’INSEE (fichier de détail MOBPRO), associées à l’extrait du fond de carte GEOFLA de l’IGN(c), pour les communes de l’Isère.

Le téléchargement complet du code sera proposé à l’issue de la séance selon deux approches (matricielle et réticulaire) sous la forme d’un Markdown.

 

_____________

* cette partie de la séance est globalement similaire à la SEANCE n°3.

4e SESSION : Analyse de données spatio-temporelles

La séance aura lieu le vendredi 6 février de 14h à 16h à Paris 7, site Olympe de Gouges. salle 204 et sera animée par Hélène Mathian (UMR 5600 Environnement, Ville et Société, ENS Lyon), assistée de Marion Le Texier (Institut Universitaire Européen de Florence).

PlanDAccesOlympeDeGouges

Le thème est l’analyse des données spatio-temporelles :

« Etudier des phénomènes inscrits dans le temps et dans l’espace. Intégrant une réflexion sur les données à mobiliser et les indicateurs à constituer, il s’agira d’exploiter les potentialités des méthodes d’analyses des données et des modèles d’analyse spatiale pour évaluer l’évolution  des entités spatiales ou des organisations spatiales. L’environnement R permettra de le faire dans le cadre d’une démarche exploratoire intégrant représentations graphiques et cartographiques. »

Les packages à installer sont sp, rgdal, reshape2, ggplot2, aspace, ade4, FactoClass, grid, maptools, et RColorBrewer (avec leurs dépendances respectives éventuelles).

Les données sont disponibles ici. Une partie d’entre elles renseigne sur la construction de bâtiments d’une hauteur de plus de 50 mètres à Londres (sources : Emporis, ANR Skyline, M. Appert, EVS & Lyon 2). L’autre partie rend compte de l’évolution des caractéristiques démographiques des communes de la petite couronne parisienne (source : Insee, IGN-Geofla).

Télécharger le Code

D’autres packages pourront être demandés dans le cadre d’un exercice « bonus » visant à réaliser des représentations animées et interactives dans l’espace-temps des données. Il s’agit des librairies suivantes : rgl, GeoXp, plot3D, mapdata, mapproj, OpenStreetMap, animation, ggmap. Une version récente de Java est aussi recommandée.

3e SESSION : Analyse de flux et modèles gravitaires

La séance a eu lieu le vendredi 12 décembre de 14h à 16h à Paris 7, site Olympe de Gouges. salle 127 et sera animée par Claude Grasland (UMR Géographie-Cités, Université Paris 7) et Laurent Beauguitte (UMR IDEES).

Au programme :

  • manipulations de matrices origine – destination ;
  • cartographie du volume et du solde des flux entre lieux ;
  • modèles gravitaires et cartographie des résidus.

Les packages à installer sont rCarto, reshape2, maptools et RColorBrewer (avec leurs dépendances respectives éventuelles).

Les données sont disponibles ici même : il s’agit des flux domicile travail français (niveau départemental) et des migrations entre régions tchécoslovaques. Le .zip contient pour les deux exemples un fond de carte au format .shp et un jeu de données au format .csv. Le Markdown correspondant à la session de formation est disponible en téléchargement ici (format .html et .Rmd).

Les données proviennent des sources suivantes : Tchécoslovaquie  : extrait du fonds de carte généralisé GREAT de l’UMS RIATE (http://www.ums-riate.fr/Webriate/?page_id=153) et annuaires démographiques de Tchécoslovaquie  (http://grasland.script.univ-paris-diderot.fr/ANSPAM2/applications.html#Application_4.1_ ) ; France : fond de carte tiré du Cours de Biostatistique sous R de l’Université Lyon 1 (http://pbil.univ-lyon1.fr/R/) et fichier détail des DADS, 2007 (http://www.insee.fr/fr/themes/detail.asp?ref_id=fd-dads2007) agrégé au niveau départemental par C. Grasland.

2e SESSION – Régression multiniveaux

Titre : Régression multiniveaux

Intervenants : Clémentine Cottineau, Zoé Boularan

Résumé :

La séance porte sur la régression multiniveaux avec des exemples d’application sur des données statistiques sur les revenus et deux niveaux d’agrégation : communes françaises appartenant à des aires urbaines.

Prérequis :

Connaissances de base sur la régression multiple uni-niveau.

Matériel et software nécessaire :

  • un ordinateur portable
  • une version récente de R (et optionnelle de RStudio)
  • les packages lme4, reshape2, sp, rgdal, maptools, RColorBrewer, classInt, ggplot2, scales, mapproj

Informations pratiques :

Vendredi 7 novembre de 14 à 16h

Université Paris Diderot – Paris 7

Bâtiment Olympe de Gouges – Salle 127

PlanDAccesOlympeDeGouges

1e SESSION : Recherche reproductible et création de packages

Titre : Recherche reproductible et création de packages

Intervenants : Timothée Giraud, Hadrien Commenges

Résumé :

La séance porte sur la « recherche reproductible », deux points seront abordés : la rédaction de documents dynamiques utilisant R et markdown et la création de packages. Le premier point explique comment rédiger des documents avec des traitements reproductibles, documents tout-en-un qui combinent les contenus textuels, les codes et les sorties graphiques. Le second point s’inscrit aussi dans cet objectif de reproductibilité, il s’agit de mettre au point une procédure (une fonction simple pour cette séance), de la documenter et de la rendre générique pour que d’autres utilisateurs puissent la reproduire.

Prérequis :
Connaissances de base sur la manipulation des objets (vecteurs, dataframes…) et sur la création de fonctions.

Matériel et software nécessaire :

  • un ordinateur portable
  • une version récente de R et de RStudio
  • les packages reshape2, roxygen2, devtools
  • tous les packages liés à l’utilisation de markdown : dans RStudio, aller dans File > New > R Markdown, il propose automatiquement l’installation de tous les packages nécessaires

Informations pratiques :

Vendredi 3 octobre de 14 à 16h

Université Paris Diderot – Paris 7

Bâtiment Olympe de Gouges – Salle 103

PlanDAccesOlympeDeGouges