-
Notifications
You must be signed in to change notification settings - Fork 2
/
Copy pathactualizar-datos.sh
executable file
·71 lines (56 loc) · 3.24 KB
/
actualizar-datos.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
#! /bin/bash -x
# Usar el tamaño en los HTTP headers no funciona consistentemente
# regresando a usar el sha1sum
#prev_pos=`cat positivos-size.txt`
#curr_pos=`curl --silent --insecure --head https://cloud.minsa.gob.pe/s/Y8w3wHsEdYQSZRp/download | grep -FI content-length | cut -d ' ' -f2`
#prev_fal=`cat fallecidos-size.txt`
#curr_fal=`curl --silent --insecure --head https://cloud.minsa.gob.pe/s/Md37cjXmjT9qYSa/download | grep -FI content-length | cut -d ' ' -f2`
# descargar archivos - antiguos URLs
#curl --silent --insecure --parallel https://cloud.minsa.gob.pe/s/Y8w3wHsEdYQSZRp/download --output datos/originales/positivos_covid.csv
#curl --silent --insecure --parallel https://cloud.minsa.gob.pe/s/xJ2LQ3QyRW38Pe5/download --output datos/originales/fallecidos_covid.csv
# old URLs
# /snap/bin/aria2c -q -c -x8 -d datos/originales --force-save -o positivos_covid.csv --file-allocation=falloc https://cloud.minsa.gob.pe/s/AC2adyLkHCKjmfm/download
#/snap/bin/aria2c -q -c -x8 -d datos/originales --force-save -o fallecidos_covid.csv --file-allocation=falloc https://cloud.minsa.gob.pe/s/xJ2LQ3QyRW38Pe5/download
# URLs actuales
# positivos
/snap/bin/aria2c -q -c -x8 -d datos/originales --force-save -o positivos_covid.csv --file-allocation=falloc https://files.minsa.gob.pe/s/eRqxR35ZCxrzNgr/download
# fallecidos
/snap/bin/aria2c -q -c -x8 -d datos/originales --force-save -o fallecidos_covid.csv --file-allocation=falloc https://files.minsa.gob.pe/s/t9AFqRbXw3F55Ho/download
# para ver si los archivos descargados han cambiado
sha1sum --status -c sha1sum-orig.txt
#if [ curr_pos == prev_pos ] && [ curr_fal == prev_fal ]
if [ $? -eq 0 ]
then
echo "Datos no han cambiado"
rm datos/originales/*.csv
else
#echo $curr_pos > positivos-size.txt
#echo $curr_fal > fallecidos-size.txt
sha1sum datos/originales/*.csv > sha1sum-orig.txt
# líneas usadas si el cambio de tamaño es confiable
#curl --silent --insecure --parallel https://cloud.minsa.gob.pe/s/Y8w3wHsEdYQSZRp/download --output datos/originales/positivos_covid.csv
#curl --silent --insecure --parallel https://cloud.minsa.gob.pe/s/Md37cjXmjT9qYSa/download --output datos/originales/fallecidos_covid.csv
# archivos ahora parece que a veces vienen en UTF-8 con BOM
# lo cual es innecesario, asi que se necesita remover el BOM
# sed -i 's/\xef\xbb\xbf//' datos/originales/positivos_covid.csv
# sed -i 's/\xef\xbb\xbf//' datos/originales/fallecidos_covid.csv
# Pre-proceso de los datos de casos (ahora vienen en UTF-8)
# iconv -f ISO_8859-1 -t UTF-8 datos/originales/positivos_covid.csv > datos/positivos_covid-utf8.csv
# Pre-proceso de los datos de fallecidos (ahora vienen en UTF-8)
# iconv -f ISO_8859-1 -t UTF-8 datos/originales/fallecidos_covid.csv > datos/fallecidos_covid-utf8.csv
# Limpieza inicial
Rscript 01-limpieza-inicial.R
# Casos - Fallecimientos
Rscript 02-reconstruir-casos-fallecidos.R
# Reconstruir timeseries
Rscript 03-reconstruir-timeseries.R
# Regenerar el README
Rscript build-readme.R
#xz -T 3 -9e -f datos/*.csv
xz -T 3 -9e -f datos/originales/*.csv
# cacular y guardar los sha256 de los archivos de datos
sha256sum -b datos/*.csv.xz datos/originales/*.csv.xz > sha256sum-archivos-datos.txt
now=`date -I`
git commit -a -m "Actualizado el $now"
HOME=/home/jesus git push origin main
fi