Incidencia en la estación meteorológica

He detectado por la página web que la estación se encuentra parada. Tras investigar y revisar los logs del programa weewx, he comprobado que ha dejado de recibir datos de la estación meteorológica. Esto es algo que suele ocurrir también de vez en cuando. No se porque deja de recibir datos por el enlace USB entre la estación y la Raspberry. Este fallo suele ser poco grave ya que la estación meteorológica sigue almacenando en Hardware los datos meteorológicos y en el momento que se restablece el enlace de datos el propio software WEEWX comienza a descargar los datos que tiene pendiente y actualiza la base de datos.
Hasta ahora la solución pasa por desconectar el cable USB entre la estación y la raspberry y volviéndolo a conectar. En la mayoría de las veces suele quedar bien a la primera, hoy por ejemplo no ha funcionado y he tenido que cambiarlo de USB en la raspberry. En esta segunda ocasión se ha quedado bien y ha comenzado a descargar ya todos los datos pendientes de la consola de la estación.
El único problema que tiene este tipo de incidencias es que la actuación debe de realizarse  in-situ, por lo que si no estoy cerca es imposible de subsanar. Por ello y como me ha pillado el puente que no he estado al lado de la estación, en esta ocasión se ha retrasado un poco la resolución de la incidencia.
Según la página web, se ha quedado parada el dia 2 a las 00:00 aproximadamente. Como toma datos cada 300 segundos o 5 minutos, esto es 288 registros cada dia por 5 dias, son unos 1440 registros los que tiene pendientes de actualizar. Además esta acción es por duplicado ya que tiene que actualizar la base de datos de DAILY y la de SUMMARY. Por tanto esta actualización se lleva un buen rato. Como ahora mismo está trabajando, cuando acabe de actualizarse tomo los datos de tiempo y los pongo aquí para tener una referencia de lo que tarda el proceso.

Resolviendo incidencias...continuación.

Tras resolver el tema de las inconsistencias de la lluvia y solicitar la reactivación o levantamiento de la restricción del sensor de lluvia, resulta que me comunican que el anemómetro está subiendo datos erróneos. En este caso debido a que la unidad configurada en weewx es m/s y la subida de datos a meteoclimatic requiere que los datos y la unidad sea en Km/h.
Tras investigar averiguo que hay que cambiar la unidad en el apartado units del StdReport del archivo WEEWX. Efectivamente estaba configurado en m/s, lo cambio a Km/h y tanto en la página web como en los datos de Meteoclimatic ya aparecen en Km/h y con valores coherente en comparación a las estaciones circundantes.
A pesar de todo me indican que cuando acabe con todas las pruebas y la estación se encuentre en su ubicación definitiva solicite la reactivación de la estación.
Así que hasta que no esté todo ok no vuelvo a pedirlo.
Creo que mañana podré ubicar el mástil en una estructura sólida.
De todas maneras todas las incidencias parece que se van resolviendo y la estación va funcionando de manera mas fina. Al menos los datos observados se corresponden con las estaciones cercanas que ya es mucho.


Es todo por el momento.

Vuelta a la vida de la estación meteorológica y todo lo que conlleva.

25-8-2016.

Retomando el tema de la estación, me la he traído al trabajo y la he puesto de momento sobre un trípode con un mástil. El hecho de hacer esto es porque así la puedo ir moviendo de ubicación para encontrarle el mejor sitio y que a la unidad interior le llegue bien los datos por RF.
Creo este último sitio es bueno ya que llegan bien los datos y en toda esta semana no he tenido pérdida de ellos, se encuentra en un lugar despejado y tengo soporte para poder cambiarla y quitarla del trípode.
Desde el 18 que la puse en marcha he tenido tres incidencias, una leve y otra jodida ya que es de dominio general y por lo visto algo innato en este modelo de estación meteorológica, la tercera todavía la estoy investigando ya que no entiendo porque ha ocurrido.

1. Una vez situada en el trípode y puesto este en un soporte móvil, debido al desplazamiento por terreno irregular el pluviómetro ha sido sometido a sacudidas e inevitablemente ha contado lluvia inexistente. Esto es fácilmente subsanable. Se accede a la BD y se borran los datos.
2. Este otro son los famosos spikes que cada cierto tiempo suele dar esta estación. Como no está claro por que ocurre, yo por si acaso he cambiado el USB donde lo tenía conectado y lo he puesto directamente a la Rpi. Estaba en uno de la placa de extensión que le tengo puesto a la Rpi. El resto volver a a acceder a la BD y quitar los datos incoherentes.
3. Este último no entiendo porque ha pasado, de buena a primera el barómetro tiene una caída de 3,3 mBar. No se porque ha pasado esto, no es un spike... ha mantenido ese desfase y continúa midiendo en ese rango. Creo que ha tenido que ver con el cambio de altura que le he corregido al haberla cambiado de ubicación. Tendré que volver a calibrar el barómetro, tampoco es algo complicado. Intentaré corregirlo cuanto antes.
   NOTA.- Justo, la corrección de altura aplicada esta mañana al pasar de 45m que estaba antes a los 7 que está ahora son los 3 mBares de diferencia.

 Para colmo esta misma mañana he creado un post en meteoclimatic para solicitar que me levanten el castigo y liberen la presentación de datos al haber corregido los defectos. Ahora me dirán que siguen los datos mal y con razón...

Corrección de incongruencias de datos en la BBDD, y II.

20-1-2016.
Continuando con la tarea de mantener una base de datos libre de datos incongruentes, esta vez me estoy dedicando a limpiar los datos del punto de rocío. Este dato lo calcula y lo entrega en un principio la propia estacion meteorológica. Como digo es un dato calculado y se apoya en la humedad relativa y la temperatura exterior para su cálculo. Bien pues como es de todos sabido, esta estación nos da esporádicamente unos valores que no se corresponden con la realidad. Concretamente y estos días atrás he estado corrigiendo valores extremos y absurdos de temperatura. Estos valores también le afectaban como he dicho al cálculo del punto de rocío. En esa misma ocasión podría haber corregido ambos, pero para no complicarme y liarme pues no lo hice. Ahora me encuentro en ese menester.
El procedimiento es muy similar al ya realizado anteriormente, con la salvedad que al pedir el volcado de la base datos tengo que sacar los datos de outTemp y outHumidty para llevarlo a una calculadora de punto de rocío y calcularlo. En internet hay muchas páginas que hacen esta tarea. Si es cierto que no me queda otra que hacerlo uno por uno, y si no lo hubiera dejado tanto pues no tendría tanto trabajo. En el siguiente enlace puedes ver un ejemplo de ello. Es el que estoy usando:
Calculadora de punto de rocío

Para facilitar un paso de conversión en la fecha, me estoy ayudando de la funcion datetime() de sqlite. Con esta función puedo mostrar la fecha que se guarda en la BBDD en el formato unixepoch en un formato mas amigable y entendible dd-mm-aa hh:mm:ss.
Su uso sería:

datetime(dateTime,'unixepoch')-->dateTime sería el nombre del campo en el registro de la BBDD. No confundir con el nombre de la función sqlite.

De esta manera es mas fácil de localizar la incongruencia.

Corrección de incongruencias en datos de la BBDD.

14-1-2016.
Estos días atrás me he estado dedicando a resolver los fastidiosos datos erróneos que de vez en cuando y no se porque aparecen registrados en la BBDD.
Que haya un registro erróneo de lluvia lo puedo aceptar, se puede mover el pluviómetro por sacudidas de viento o como ahora que tengo la estación en mantenimiento y la he bajado a la terraza por lo que la recogida de lluvia no es fiable. Pero que de vez en cuando me registre una temperatura de -29 grados es lo que no entiendo. El caso es que este dato como se utiliza para calcular otro como puede ser el punto de rocío pues ya son dos los datos que aparecen anómalos en las gráficas. Esos son los fastidiosos picos que aparecen en las gráficas.
Bien pues como ya he aprendido a modificar esos datos, bien fácil que es, solo los tengo que localizar en la BBDD y promediarlo con los datos aledaños, anterior y posterior. Aunque sea una modificación a mano creo que es la manera de no alterar mucho la realidad, le asignamos un valor que se acerca al real ya que se tiene en cuenta la tendencia en ese momento entre 5 minutos antes y 5 minutos después.
Una vez actualizada la BBDD, y siguiendo el procedimiento de Tom Keffer, borro las tablas de DAILY o datos diarios y las vuelvo a generar.
A partir de aquí no tengo muy claro como se resuelve el resto. Lo que si me he dado cuenta es que el resultado no aparece inmediatamente, al menos en los resultados anuales que es donde apreciaba los errores. Pero si al cabo de un tiempo. Los gráficos anuales no se generan cada vez que se lanza el proceso REPORTS, ni aunque se lance a mano. Esto lo descubrí al ver que no se modificaban las fechas de los archivos anuales tras una generación. Lo dejé y al poco tiempo ya estaban actualizados. Pero no he descubierto la regla que sigue dicha actualización.

Garita de platos. Segundo intento.

2016-1-9.
Espero que como dice el refrán, a la segunda sea la vencida. Tras limpiar los platos de la primera pintura, los he lijado todos para quitarle el brillo y que se quedaran ásperos y los he vuelto a dar tres manos de pintura. Esta vez extendiendo todo lo posible la aplicación y siendo lo mas fina posible. De esta manera parece que la pintura agarra mejor y tras las tres manos y su tiempo de secado de al menos 24 horas al doblar los platos y someterlos a mal trato no se decapan ni le salta la pintura.
Ya he montado nuevamente la garita y desde hoy vuelve a estar otra vez operativa. Lo único que me falta es mecanizar un soporte para albergar al cargador fotovoltaico de las baterías. Como la garita es un poco voluminosa y con las ráfagas de aire se cimbrea mucho he compartido el peso entre su brazo y el brazo del pluviometro, queda mucho mas robusta y se cimbrea menos. El cargador lo quiero poner delante del pluviometro pero por debajo de su nivel para que no le afecte.
Estas son unas fotos de como ha quedado. Básicamente está igual que la otra vez pero algo mejor pintada.
También he aprovechado para cambiarle el conector RJ11 al cargador, cuando lo quité me fijé que estaba sulfatado. Le he puesto uno nuevo, el conector hembra del módulo principal no lo he cambiado, lo he limpiado todo lo mejor que he podido.

Edito de nuevo la entrada para añadir una imagen que es muy significativa.
Es la evolución de la temperatura durante el transcurso del montaje de la garita.
Se puede observar la temperatura que estaba midiendo con la garita original de la PCE, cuando se la quité para comenzar el montaje de la de platos y la evolución a medida que la fuí montando. Además la diferencia entre la original y la de platos.
Creo que es muy interesante. La aportaré como dato interesante cuando vaya a solicitar la acreditación en meteoclimatic, a ver si me la aceptan por que mi estación me la van a mirar con lupa, creo que es la que mas cruces rojas lleva en toda la historia de meteoclimatic.

De la garita PCE a no tenerla de 22 a 28 grados, 6 grados de diferencia.

De no tener a la garita de platos de 28 a 18 grados, -10 grados de diferencia.

Y entre la garita PCE y la de platos de 18 a 14, -4 grados de diferencia.

Mantenimiento de la base de datos. Weewx.sdb

2016-1-6.
Como arreglar las incongruencias de la base de datos era algo que tenía pendiente y contra mas tiempo pase mas incongruencias se me iban acumulando, hoy he decidido ponerme manos a la obra.
Tras leer el post de Jantoni en el que explica este procedimiento y viendo que en la documentación de Weewx viene también documentado, no he visto mayor problema que seguir las indicaciones.

1. Parar el programa. sudo /etc/init.d/weewx stop
2. Ejecutar sqlite3 abriendo la base de datos. O nos ponemos en el directorio /var/lib/weewx o lo direccionamos con el comando:
   sqlite3 weewx.sdb. Ojo si no lo hacemos con Sudo asegurarse que con el usuario que estamos trabajando tiene permisos de escritura sobre el archivo.
3. Realizar las modificaciones que tengamos pendiente, todo sobre la tabla archives. Este es el procedimiento que aconsejan en la documentación de Weewx:

Spikes in the graphs

1. Occasionally you may see anomalous readings, typically manifested as spikes in the graphs. The source could be a flaky serial/USB connection, radio or other interference, a cheap USB-Serial adapter, low-quality sensors, or simply an anomalous reading.
   Sensor quality matters. It is not unusual for some low-end hardware to report odd sensor readings occasionally (once every few days). Some sensors, such as solar radiation/UV, have a limited lifespan of about 5 years. The (analog) humidity sensors on older Vantage stations are known to deteriorate after a few years in wet environments.
   If you frequently see anomalous data, first check the hardware.
   To keep bad data from the database, add a quality control (QC) rule such as Min/Max bounds. See the QC section for details.
   To remove bad data from the database, you will have to do some basic SQL commands. For example, let's say the station emitted some very high temperatures and wind speeds for one or two readings. This is how to remove them:
   1. stop weewx
   2. Make a copy of the archive database

      cp weewx.sdb weewx-YYMMDD.sdb

   3. Verify the bad data exist where you think they exist

      sqlite3 weewx.sdb
      sqlite> select dateTime,outTemp from archive where outTemp > 1000;

   4. See whether the bad temperature and wind data happened at the same time

      sqlite> select dateTime,outTemp,windSpeed from archive where outTemp > 1000;

   5. Remove the bad data by setting to NULL

      sqlite> update archive set windSpeed=NULL where outTemp > 1000;
      sqlite> update archive set outTemp=NULL where outTemp > 1000;

   6. Delete the statistics database so that weewx can regenerate it without the anomalies
   7. start weewx
2. Rehacer las tablas diarias:
   

pi@raspberrypi:/var/lib/weewx$ wee_database --drop-daily

Using configuration file /etc/weewx/weewx.conf

Using database binding 'wx_binding', which is bound to database 'archive_sqlite'

Proceeding will delete all your daily summaries from database 'weewx.sdb'

Are you sure you want to proceed (y/n)? y

Dropping daily summary tables from 'weewx.sdb' ... 

Dropped daily summary tables from database 'weewx.sdb'

pi@raspberrypi:/var/lib/weewx$ wee_database --backfill-daily

Using configuration file /etc/weewx/weewx.conf

Using database binding 'wx_binding', which is bound to database 'archive_sqlite'

Backfilling daily summaries in database 'weewx.sdb'

Backfilled 'weewx.sdb' with 151756 records over 554 days in 1814.17 seconds

pi@raspberrypi:/var/lib/weewx$ 

Trabajo de pintura en la garita de platos. Nuevo método.

2016-1-6.
Como el resultado de la pintura de la garita de platos no ha sido válido para dejarlo como está y subirla a la azotea, retomo el asunto. He estado probando otra manera de pintar los platos y esta vez el resultado parece mas prometedor.
Como se pudo ver en las fotos de la otra entrada la base o imprimación no se quedaba adherida al plato por lo que a la mínima agresión al plato esta se desprendía a lascas. Esto era porque el plato viene muy pulido en su superficie y las manos de pintura las daba muy gruesas. En esta ocasión tras decapar el plato lo he lijado con una lija fina quitándole todo el pulido y dejándole la superficie lo mas áspera posible y las manos de imprimación extendiéndolas para que quede una capa fina. Ya desde la primera mano se observa otro acabado, y tras secarse se aprecia que la imprimación queda mas adherida y al flexionar el plato se le ve mas elástica. Tampoco hay que obligar mucho el material, una vez que se monte eso no va a sufrir tanto estres mecánico como para que se doblen los platos.
Tras pintar el plato superior lo volví a montar en la garita y aprovechando el mal tiempo lo sometí a prueba. En esta ocasión no se aprecia que la pintura se escame ni vaya a saltar. Por tanto el resto de los platos va a seguir el mismo tratamiento.
Desmonto la garita y vuelvo a poner la original de la PCE.
Con solo esta semana que ha estado al garita de platos se puede apreciar a través de los resultados como modera las temperaturas e impide que suban tanto como con la garita original. Para muestra la gráfica:

Desde hoy la estación está funcionando con la garita original PCE.

Construcción de la garita de platos.

Al final me he decidido por construir la garita de platos, creo que es la opción mas manejable por su facilidad de construcción y espero que por el resultado final.
Los materiales:

• 13 platos de plástico lo mas opacos posibles. Comprados en cualquier tienda de chinos.
• Tres varillas de 6mm de unos 22cm. Contra mas fina sean las varillas menos peso aportará al conjunto. Tras acabar el proyecto he descubierto una opción que me gusta mas para sustituir a las varillas y separadores. Lo cuento mas adelante. 
• Un tubo de aluminio de 6mm de interior para crear los separadores. 
• Imprimación para plástico. La misma imprimación puede servir como acabado final, yo la compré blanca.

La realización.

• Lo primero es averiguar que distancia es la adecuada para que no le entre luz al sensor. Empecé con una prueba de 2,5 cm pero es insuficiente. La reduje a 1,5 cm. que resultó correcta.
• A continuación cortar del tubo de aluminio los separadores para los doce huecos entre platos. Con un cortatubos el corte sería mas fino, en ausencia de el una segueta. El acabado de los filos bastante basto, tuve que afinarlo a lima.
  Estando acabada la garita se me vino a la mente que podía haber utilizado como separadores unos de nylon. Tienen la medida y se pueden ir roscando unos sobre otros. Para que no se aflojen se le puede poner algún pegamento. Con ello reducimos bastante el peso del conjunto.
  
  Separadores de nylon de 15mm.

• 
• Los platos traen un reborde que en el foro comentan que no es adecuado ya que se puede acumular el agua. Pues si no es bueno lo quitamos. Con una tijera mediana de cortar chapa se puede recortar todo el filo de los platos. Una vez mas el acabado no es muy fino, cada uno que lo acabe como mas le guste, pero en lo alto de la azotea no va a importar mucho que esté perfecto.
• Taladramos tres agujeros equidistantes lo mas cercano al exterior de los platos pero en su parte plana claro.
• Mecanizamos los platos para insertar el sensor dentro de la garita, para ello dejamos tres platos enteros, uno para la base y dos para la cubierta. Uno le recortamos un cuadrado para que se apoye en el brazo del sensor y se quede fijo en el. Otro lo recortamos con la forma de la parte superior del sensor para que le sujete y no se mueva dentro del hueco de la garita. Con la misma tijera de chapa y un cutter se mecanizan sin problemas. Al resto le hacemos un agujero con una corona del tamaño del circulo interior que traen marcado, que viene al pelo. Se pueden ver los mecanizados en la galeria de fotos.

El montaje. 

Es proceso no tiene mucho que explicar, vamos montando los platos con sus separadores dejando el sensor por dentro y cuando vayamos llegando al final del sensor le ponemos el que está cortado para tal fin. Dos platos mas por encima enteros y ya debe de estar montada la garita.

El segundo y tercer plato empezando por abajo vemos que necesitan un corte recto en su lateral para que no estorben con el brazo que soporta el sensor.

Si vemos que queda todo bien, desmontamos y procederemos a la fase de pintura.

Pintura.

Al ir a comprar la pintura, depende del sitio me vendian imprimacion para plasticos y pintura y en otro sitio solo impirmación que valía como acabado final ya que era blanca y ponía que válida para exteriores. Bien pues me decidí por este ultimo.

El único inconveniente  en principio en la construcción de la garita ha sido el pobre resultado de la pintura sobre los platos. Tras tres manos de pintura, a pesar de haber cubierto la totalidad de la superficie, la pintura no se ha adherido a la superficie. Por lo que al menor trato duro de los platos esta salta en lascas. Por tanto no os creáis todo lo que os diga el vendedor que es una pintura magnífica y que agarra sobre todas las superficies. Si no lijáis los platos, la imprimación (pintura) se adhiere pero no se queda pegada y a la menor ocasión esta salta. Imagino que en la azotea y a la intemperie, esto no es bueno y la duración va a ser pésima. Eso ya lo veremos.

Tras dos días de pinta que te pinta me decido a realizar el montaje definitivo.

Finalización.

Bueno pues esto ya es solo repetir lo que hice para probar. Volver a montarlo todo y dejarlo lo mas potable posible para subirlo a la azotea.

El montaje en si es mas pesado y voluminoso que el original, y el brazo que es de plástico no es muy rígido por lo que a la menor racha de viento se cimbrea por lo que buscando una solución me decidí por poner el otro brazo (el del pluviómetro) por encima y que compartieran la carga. De esta manera quedó mas afianzado y seguro y se movía bastante menos. 

En general el resultado final es aceptable para la bondad del proyecto y pienso que dará mejor resultado que el ofrecido por la garita original que traía la PCE.
Eso el tiempo lo dirá.


Pulsa aquí para ver la galería de fotos.