OpenSource OpenData

Jorge Aguilera

Who I am?

Jorge Aguilera

https://jorge-aguilera.gitlab.io

@jagedn

Groovy developer

Speaker MadridGuG, Codemotion

Tutorial Asciidoctor (Amazon)

Agenda

  • Qué es (y qué no es) esta charla

  • Buzzwords

  • OpenSource y OpenData

  • Cámaras de tráfico. De querer probar Kafka a publicar 3 Bots

  • Carreras populares y poyaques: canal de Telegram

  • BigQuery DataSet Préstamos

  • Spin-off: gif-generator, import-csv, social network plugin

Qué es (y qué no es) esta charla

  • Charla práctica poco académica

  • Catálogo de datos abiertos de Madrid y otros

  • Aplicaciones OpenSource, NO comerciales

  • Formatos usados

  • Tal vez sean "inspiradoras"

Buzzwords

  • html, csv, json, xls, kml

  • Java y Groovy como lenguajes principales

  • Grails y Micronaut como frameworks

  • Gradle como herramienta construcción

  • Telegram, Gitlab, Pipeline Digital Ocean y Google AppEngine como infraestructura

OpenSource OpenData

  • Open Source: modelo de desarrollo de software basado en la colaboración abierta enfocado más a lo práctico que a lo ético (Wikipedia)

  • Open Data: filosofía y práctica para ofrecer determinados datos a todo el mundo sin restricciones de derechos de autor, patentes, etc (Otra vez Wikipedia)

Cámaras de tráfico

(probando Kafka)

Demo

docker-compose up -d
http://localhost:8080
Estuvo desplegada en DigitalOcean un par de meses (5-10€ al mes) con SSL gracias a Let’s Encrypt

Cámaras trafico bot

M30Bot, el spin-off de m30gif

Cámaras trafico bot, Madrid

Demo

…​, Barcelona, Granada

Demo

Spin-off Gif generator

Carreras Madrid

... ahora Eventos Madrid

Arquitectura

Tasks

Demo

Spin-off Plugin SocialNetwork

Préstamos

  • Incluir los libros más leídos el mes anterior

  • Reto: parsear CSV con 200K líneas y buscar los TOP

  • Solución: usar una bbdd Derby en local

  • task queryPrestamos

Spin-off QueryCSV Plugin

Bibliomadrid

Importar en BigQuery de Google todo el histórico de préstamos y crear un DataSet abierto para su consulta

Ejemplos

Ejemplos

European Data Portal

Conclusiones

  • Infinidad de datos ahí fuera

  • Oportunidad de aprender

  • Coste "cero" (económico porque en tiempo …​.)

Q&A & Feedback

ContactFeedback

@jagedn

https://forms.gle/A3CkzVadYRdhBYXi8 https://forms.gle/A3CkzVadYRdhBYXi8

https://gitlab.com/puravida-software

https://www.linkedin.com/in/jagedn/

gracias multilingue