A couple of new things from Hydrologis

My former students of Hydrologis, which whom I collaborated in doing the Horton Machine contained in the uDig Spatial Toolbox, came out recently with a few good news.

The first is Stage an application that makes the Spatial Toolbox available alone, in meanwhile uDig migration to Location Tech is ongoing. Besides it offers a way to save and store Geopaparazzi projects in your personal Computer.  In the words of hydrologis:

"The new Spatial Toolbox And Geoscripting Environment is a web application based on the RAP.
The RAP ecosystem exploits the Server-Side Equinox project, which integrates an OSGI engine with classic Servlet Techniques. The RAP framework allows for the development of web applications by means of the java language and supplying a subset of the Eclipse RCP libraries and plugins.

Basing on this technology it is possible to run S.T.A.G.E. both locally or remote and execute modules from the JGrasstools library as well as OMS3 annotated java classes. The modules are executed on the serverside and provide progress feedback to the user as the processing proceeds.
The user interface for the modules is generated on the fly from the code annotations.

S.T.A.G.E. opens possibilities for the execution of remote processes. Servlets can be added to execute modules or syncronize data with a central database instance. Modules can be executed via simple http POST requests, data can be analized and filtered from any connected device or platform.
The modular nature of the application makes it possibile to simply enable functionalities by adding plugins to the installation. This allows for a great deal of customization of the application for the exact purpose of the project involved."

A more extensive description of what Stage does, can be found here.

The second is Lesto, part of the work of Silvia Franceschi for her Ph.D. at University of Bolzano. A set of tools for extracting features from LIDAR data. Information about Lesto can be found here. 

For who interested in GEOpaparazzi, the last tutorial is here. 

For getting more information, please contact info <at> hydrologis.com

The uDig Spatial Toolbox paper

This post contains the data and the synthetic instructions that can be used to draw all the Figures of the book chapter about the Udig Spatial Toolbox. The chapter is here.

The material includes:

 - the DEM of the above Posina basin
- a "How to" for using the Spatial Toolbox  (work in progress)
- some  R scripts for doing the additional Figures.

The Horton Machine

The Horton Machine is the place where, during the years, I conveyed my tools for the treatment of Digital Elevation Models, which where used in my past research in hydro-gemorphology, and hydrological modelling. Before using it, certainly, it is better that you read the previous post about uDig.

• An introduction to the analysis of DEM for their use in hydrology can be found here
• The Horton Machine manual is still splitted in two parts which will be merged as soon as we will be able to o it
• The tutorial  (a draft in Italian, but looking at the figures can be useful - 38Mb: we are working at its translation and merging with the reference manual in a future publication)
• The old reference manual which also have some bibliography.
• If looking to the youtube/uddigis channel and reading the help of the Spatial Toolbox you succeeded in running it below you will find a data set where to make some practice: the  rio Valpiana (100 Mb)

• Here you can find some R-scripts which can be useful to plot and analyse the results of some uDig elaborations (by Leonardo Perathoner): 
• how to plot the distribution of the values of a map
• how to extract the table of attributes from a shapefile

For your curiosity following the next link, you will find the cost of what you have learned so far, once taught in a commercial environment (that you have to pay separately).

To come: the documentation of the GIUH model Peakflow, of the semi-distributed model components of the Jgrass-NewAGE system, and of our implementation of SHALSTAB, that are, actually included in the Horton Machine.  Further information can be retrieved also at the Horton Machine site.

uDig/Jgrasstools resources (in English)

uDig is very much a product for developers, but it can be also a valuable tool for users.
To know what uDig is and does, you can look at this post.
To use uDig, the first thing is to install it, following the instructions at the GIS website. After this first installation,  install the Spatial Toolbox. Now you can think  how to use it !
uDig pages are actually full of information, but I took a little of time to summarise them here too, and also to add some resources that are not available in the official website.
If you do not know what a GIS is, look first at:

• Introduction to GIS (well, for a more structured introduction, a very good introduction is de Smith et al., Geospatial Analysis a comprehensive guide, 2013 - which is available on-line)


• A presentation (just a little out-of-date) to jgrasstools and uDig
• Walktrough 1 - Installation of uDig 1.4.0
• Walktrough 2 - Editing in uDig and WFS
• To know how to work with map look at YouTube/udiggis
• Using the Spatial Toolbox
• Still in Italian:  Working with GRASS (but is going to be translated: is it true Aroon ?)
• Using the Map Calculator  by exploiting Jiffle (here its manual).

• The material about the tools to work with the Horton Machine is now in a separate post (and is still partially in  Italian).
• The material to support the culverts, and sewer systems design as well as the documentation of the nettools for the design of water supply system is instead here, but in Italian.

For learning about the scripting capabilities of uDig, one can give a look at:

• to the post by Andrea Antonello on JgrassTechTips (which is a further source of useful information)

The new version of uDig support also geoscripting, and how, it is explained here.

In any case do not forget the screen-casts at:

YouTube/udiggis

For who could help, please give a look to the post by Andrea Antonello.

The Horton Machine: JGrasstools resources for DEM treatment and delineation (in Italian)

Ecco dunque la documentazione e vari esempi dell'utilizzo della Horton Machine, ovvero come si analizzano i dati digitali del terreno con i Jgrasstools/STAGE

• Il tutorial (ancora in bozza - 38Mb)
• Il vecchio manuale di riferimento della Horton Machine (in Inglese) per capire qualcosa di quello che si sta facendo ed avere un po' di bibliografia.

E le varie presentazioni:

• p-JGrassTools (jgt) (ovvero: scaricare e installare STAGE, iniziare ad usare QGIS, creare una location in QGIS, usare il plugin per legende con scale colori continue
•  p-SpatialToolbox (con: un'introduzione ai jgrasstools, una spiegazione di come utilizzare i comandi dei jgt attraverso lo spatial toolbox di STAGE e di come utilizzare Mosaic12 per unire le tavole del DTM)
• p-HortonMachine (ovvero come utilizzare i comandi HortonMachine dei jgt per fare un analisi idro-geomorfologica)

•  Qui trovate alcuni DEM per esercitarvi e per confrontare, nel caso, i vostri risultati:  il rio Valpiana (100 Mb). Contiene anche una relazione tipo fatta sullo stesso bacino.

Quanto sopra è il bagaglio che serve per il mio corso di idrologia. A questo proposito

• Un'altra relazione di esempio può essere trovata qui.
• Qui si trovano degli script di R che che possono essere utili nell'elaborare alcuni risultati dei jgrasstools: 
• come graficare la distribuzione dei valori di una mappa
• come estrarre la tabella attributi di uno shapefile

Per la vostra curiosità: qui potete avere qual è il costo delle nozioni apprese (costi del software a parte) in una iniziativa commerciale.

uDig Jgrasstools resources for urban hydrology, culverts and water supply systems design (in Italian)

Ho sempre pensato che affrontare i problemi del dimensionamento di un acquedotto e di una fognatura pluviale, potesse essere semplificato dall'uso di un GIS. L'idea, naturalmente, non l'ho avuta da solo, ma  ragionando assieme ad altri, in particolari, i miei ex-allievi di Hydrologis e di Hydromates e i colleghi Paolo Bertola e Maurizio Righetti. Hydrologis and Hydromates, già per conto loro, avevano provveduto ad implementare in uDig i nettools, una serie di strumenti che consentono l'accesso al software Epanet per la verifica delle reti in pressione. In parallelo, ho chiesto la loro collaborazione per portare il mio software di calcolo delle fognature pluviali Trento_p, nello stesso sistema.
Con l'ulteriore aiuto di Federico De Col, Leonardo Perathoner e di Bilal Adem Esmail (sempre supportati da Hydromates)   ho poi lavorato per documentare il tutto.

Ora uso il tutto nel mio corso per la laurea magistrale di Ingegneria Civile: quest'anno, per la prima volta.  Ecco dunque la documentazione che serve:

• Per le informazioni generali, naturalmente è meglio riferirsi al post principale su uDig.
• Una Introduzione ai sistemi informativi territoriali (GIS da Geographic Information System).
• Per una informazione alternativa sull'istallazione per MS-Windows, si puo' scaricare la prima parte della tesi di Federico De Col.
• Le slides sugli stessi temi di cui sopra della lezione di Bilal Adem Esmail.

Per quanto riguarda l'utilizzo dei Nettools (Epanet) si può fare riferimento:

• Al sito dei Nettools dove si trovano anche link a presentazioni e un paio di blogspots
•  Alla seconda parte della tesi di Federico De Col: Gli elementi di Epanet e la loro gestione
• Alla terza parte delle tesi di Federico: Modellazione di una rete di acquedotto con l'ausilio del GIS uDig
• Qui le slides su come usare Epanet con uDig e i Netools

Per quanto riguarda Trento_p abbiamo implementato il tutorial che si può trovare qui. Le slides delle lezioni, mirate a Trento_p, si possono trovare qui di seguito:

• Trento_p theory. Audio (16.6 Mb)
• Le lezioni  su Trento_p in uDig da parte di Adem Bilal Esmail. ^1

Naturalmente può essere utile dare un'occhiata alla documentazione del vecchio Trento_p

• Le vecchie slides su Trento_p (la teoria e la pratica) 
• Il manuale di Trento_p, il codice sorgente e gli eseguibili per windows e un caso standard di test e l'eseguibile per Mac (solo l'eseguibile). 
• La tesi di David Tamanini 

Caricheremo, con l'avanzare del corso nuovo materiale. Tenete d'occhio la pagina!

Bibliografia

Rigon, R., Bertola, P. - La progettazione con un metodo geomorfologico delle reti di drenaggio urbane, II Conferenza Nazionale sul Drenaggio Urbano, Palermo, 10-12 maggio 2000

D. Tamanini, A.B. Esmail, F. Zanotti, S. Simoni, P. Bertola, R. Rigon (2009). Trento_p : un modello
geomorfologico per lo studio del drenaggio urbano. L'ACQUA, vol. 2009, p. 73-74, ISSN: 1125-1255

_______________________________________________________________________________

^1 - La teoria soggiacente a Trento_p, oltre che negli articoli riportati appena sopra,  è spiegata nel materiale linkatonel post sulle costruzioni idrauliche ai punti 10 ed 11

uDig-JGrasstools Resources (in Italian)

Per usare uDig, la prima cosa è ovviamente installarlo seguendo le istruzioni. Fatto questo, il secondo passo è quello di istallare ed usare lo Spatial Toolbox.
Quindi non resta che usarlo!
Riepilogo qui alcune risorse alle quali gli utenti italiani di quel che fu JGrass possono fare ricorso

• Introduzione ai GIS (well, for a more structured introduction, a very good introduction is de Smith et al., Geospatial Analysis a comprehensive guide, 2013 - which is available on-line)
• Introduzione ad uDig con i JGrasstools (tutto il materiale è sperimentale se trovate omissioni, errori ed altro, per cortesia segnalatelo)


• Una presentazione di introduzione dei JGrasstools e uDig (slides di lezione)
• Walktrough 1 - Istallazione di uDig 1.3.1 (traduzione del documento ufficiale in Inglese)
• Walktrough 2 - Editing con uDig e WFS (traduzione del documento ufficiale in Inglese)
• Una presentazione di sintesi dei due primi Walktrough: come lavorare con le mappe
• Walktrough 4 - Installazione dello Spatial Toolbox (non è distribuito dagli sviluppatori di uDig)
• Walktrough 5 - Lavorare con i formati di GRASS (non è distribuito dagli sviluppatori di uDig)
• Usare il Map Calculator e Jiffle (messo "su carta" quello che già c'e', in inglese sul web)

• Il materiale sulla Horton Machine, ovvero per il trattamento dei dati digitali del terreno, è, ora, in un post separato
• Il materiale di supporto alla progettazione di acquedotti e fognature è invece qui.

In questo link potete trovare anche il manuale di JGrass 3.0 ... che è sorpassato: ma, ad esempio, come costruire le legende si trova solo qui.

Per quelli che sono interessati alla capacità di scripting di uDig, allora è il caso di dare una occhiata:

• al post di Andrea Antonello su JgrassTechTips (in Inglese)

Altre risorse sono certamente utili. Per esempio,  la serie di screen-cast che si puo' trovare su 

YouTube/udiggis

benche' siano in Inglese. Quanti volessero aiutare, li invito  a leggere il post di Andrea Antonello.

My Past Research on Hydroinformatics, GIS and Modelling by Components

Research in the aforementioned sectors was also carried out with the implementation of  open-source software, coded in C and Java and distributed with a GPL (v 3) license.  Involvement in this topic has been deemed necessary to easy cooperative research, and to improve reuse of codes among researchers and students,  and allow an incremental development of modelling solutions (avoiding to implement again and again the same algorithms at any new generation of students).
The software has been accurately documented [eb1 to eb13] so that it can be easily reused and modified for both research and didactic purposes.  The software originally included a series of C libraries for reading, writing and insertion of comments in the data files, dynamic allocation of memory, the statistical treatment of data aimed  especially at hydrology, hydraulics, and geomorphology, but not limited to these.  On the basis of these libraries, called "Fluid Turtles" and now obsolete, was implemented the initial version GEOtop model [j24, s3]  and an initial version of  the  Horton machine [e.g. eb-3, s3].

However, the traditional software architecture of the Fluid Turtles presented various limitations. Mainly: the lack of an interface for the processing of  input data and the treatment of output data and the difficulty of maintaining and testing the software and its parts each one independently from the others, with the growing number of processes being described [e.g. A44, A49]. In fact, with the increasing number of people working on the code, and with the success of the modelling ideas among users, it became necessary to be able to test and use groups of parts of the models separately (as in JGrass-NewAGE).  It was also envisioned necessary to predispose the models  to be linked (in the future) to external models, such as, for example, those simulating the evolution of the atmospheric boundary layer, or belonging to other domains than hydrology (for instance to build a Decision Support System).
These, and other reasons [J40], have brought through a decade of work, trials and errors, on the one hand, to the development of a new GIS,  JGrass, eventually embedded in uDig,  and, on the other, to the adoption of suitable informatics infrastructure in order to restructure the models in components according to the OMS standard.

In the latest version, JGrass has partially contributed to the uDig "core" [eb10, A49, J41], while the modeling part is migrating to the jgrasstools environment (based on OMS) called Spatial Toolbox.
The last version of the tools has been actually embedded in Hydrologis' S.T.A.G.E which is a stand-alone application connectable, in principle, to any Java GIS (thinking to future versions of uDig or GvSig). The tools for terrain analysis included in STAGE  (a.k.a "The Horton Machine") are well covered by [a57]

Along the years various prototypes where developed around the above infrastructures to connect models to SQL/Geographic databases (Postgresql/Postgis), to visualise results on the Nasa World Wind virtual globe, and to allows scripting to interact with models which were presented in various conferences, and on which we could discuss with those interested.

References

In English:

[ J24] - Rigon R., Bertoldi G e T. M. Over, GEOtop: A distributed hydrological model with coupled water and energy budgets, Vol. 7, No. 3, pages 371-388

[A49] Formetta G., Antonello A., Franceschi S., David O. and Rigon R., The informatics of the hydrological modelling system JGrass-NewAge, 2012 International Congress on Environmental Modelling and Software Managing Resources of a Limited Planet, Sixth Biennial Meeting, Leipzig, Germany R. Seppelt, A.A. Voinov, S. Lange, D. Bankamp (Eds.) http://www.iemss.org/society/index.php/iemss- 2012-proceedings, 2012

[J40] - Formetta G., Antonello A., Franceschi S., David O., and Rigon R., Hydrological modelling with components: A GIS-based open-source framework, Environmental Modelling & Software, 5 (2014), 190-200

[a57]- W. Abera, A. Antonello, S. Franceschi, G. Formetta, R Rigon , "The uDig Spatial Toolbox for hydro-geomorphic analysis" in Geomorphological Techniques, v. 4, n. 1 (2014), p. 1-19.

[eb2-b] Ghesla, E. and R. Rigon, A Tutorial for the Management of Digital Terrain Models, pg. 131, University of Trento, Department of Civil and Environmental Engineering, ISBN 10: 88-8443-155-7, 2006 (Now obsolete)

[eb3] - R.Rigon, E. Ghesla, C. Tiso and A. Cozzini, The Horton Machine, pg. viii, 136, ISBN 10:88-8443-147-6, University of Trento, 2006 (Now obsolete)

[eb4-a] Ghesla E and R. Rigon, A Tutorial for preparing GEOtop Input Files with JGrass, pg. vi, 62, ISBN 10:88-8443-153-0, University of Trento, 2006

* [eb05] Dall’Amico, A., Endrizzi, E., Gruber, S., Rigon R., The GEOtop Manual, Università di Trento, in press, 2013

In Italian:

[A44] Antonello A., Franceschi S., Formetta G., Rigon R., L’infrastruttura NewAGE per la previsione e la gestione dei bilanci idrici a scala di bacino: I - La struttura informatica in Atti XXXII Convegno di Idraulica e Costruzioni Idrauliche, Palermo, 14-17 Settembre 2010

[eb1-a] Antonello, A., S. Franceschi, A. Vitti e R. Rigon, Il Manuale JGRASS 2.0 (In Italiano), pg. 176, ISBN 10:88-8443-144-1, University of Trento, 2006 (Now obsolete)

[eb2-a] Ghesla, E. and R. Rigon, Un tutorial per il trattamento di modelli digitali del terreno con JGRASS - A Tutorial for the treatment of DEMs with JGRASS (in Italian), ISBN 10: 88-8443-146-8, 2006 (Now obsolete)

[eb4-b] Ghesla E and R. Rigon, Un tutorial per la generazione dei file di input per GEOtop utilizzando JGrass, pg. vi, 62, ISBN 10:88-8443-154-9, University of Trento, 2006 (Now obsolete)

* [eb6] Rigon R., Formetta G., Zini M., Franceschi S., Antonello A., La Horton Machine, Università di Trento, in press, 2013


* [eb7] Rigon R., Formetta G., Perathoner L., Iemma A., Franceschi S., Antonello A., Jiffle, una breve introduzione, Università di Trento, in press, 2013

* [eb8] Rigon R., Formetta G., Perathoner L., Franceschi S., Antonello A., Peakflow: teoria e pratica, Università di Trento, in press, 2013

* [eb9] Franceschi S., Rigon R., Formetta G., Perathoner L., Antonello A., Trentop, Manuale d’uso, Università di Trento, in press, 2013

* [eb10] - Antonello A., Franceschi S., Rigon R., Formetta G., Perathoner L., uDig: Installare lo Spatial Toolboox, Università di Trento, in press, 2013

[eb11] - Iemma, A., Antonello A., Franceschi S., Rigon R., Formetta G., Perathoner L., uDig walkthroughs, Lavorare con i formati di GRASS in uDig, Università di Trento, in press, 2013

udig got a spatial toolbox

I think to it as a milestone to which I contributed a little during the years, even if the full merit needs to be done to Andrea Antonello and Silvia Franceschi: "the Hydrologis".

The idea was to give a transparent (encapsulated) way to add spatial models to a GIS. As told in previous blogs, the way was found in following the OMS3 framework ideas, after having tried hard with OpenMI. Andrea did more by using OMS3 annotations to automatically create the input-output interface, and manual like help, to any OMS3 compliant module. Any information can be found at

udig spatial toolbox a.k.a. OMS3box. However, do not use the 0.7.1 code but use the more recent one that can be found at the jgrasstools download page.

I do not know if Andrea and Silvia fully realize the importance of what they created. It is a big jump to a new type of GIS where the usual paradigms for connecting models, data and visualization, are suddenly changed.

Researchers can now program their model following the OMS3 lines, and having them fully endowed with graphic I/O, help, without taking care of the details of making it.

Certainly programming a Jgrasstool is still a challenge for novices, and much work has to be done to smooth the learning curve of it. Especially writing manuals ;-)

Great work Andrea and Silvia: congratulations !