Esta mañana, tenía que actualizar e instalar unos servicios en un servidor un poco antiguo. Se instaló hace unos 6 o 7 años la versión 12.04 de ubuntu server y solo lo he reiniciado muy pocas veces para chequear los discos.
Cuando me he puesto a instalar con apt me salta el siguiente error:
Could not open file /var/cache/apt/pkgcache.bin – open (28: No space left on device)
Y pienso: Que ha pasado? a parte de los logs solo se utiliza una bbdd para consultas y hay bastante espacio, voy a ver el espacio libre con df -h
Filesystem Size Used Avail Use% Mounted on
/dev/md1 4.0G 1010M 3.0G 25% /
udev 1.9G 4.0K 1.9G 1% /dev
tmpfs 393M 584K 392M 1% /run
none 5.0M 4.0K 5.0M 1% /run/lock
none 2.0G 0 2.0G 0% /run/shm
/dev/mapper/vg00-usr 4.0G 1.6G 2.2G 43% /usr
/dev/mapper/vg00-home 4.0G 140M 3.7G 4% /home
/dev/mapper/vg00-Datos 690G 2.1G 652G 1% /Datos
/dev/mapper/vg00-Backup 197G 47G 141G 25% /Backup
/dev/mapper/vg00-var 9.9G 4.4G 5.1G 47% /var
Como se puede observar, hay muchísimo espacio libre aun… que raro.
Pruebo con lo típico: apt-get clean y reinicio por si acaso /tmp esta lleno hasta los topes pensando que un buen reinicio no le viene mal, pero al reiniciar, vuelve a darme el mismo error. Cualquier comando introducido que suponga instalar, actualizar o incluso borrar paquetes, me da el mismo error.
Pero… y si no tengo suficientes «inodes» libres? Un inodo es una estructura de datos utilizada en los sistemas de ficheros, por lo tanto, aunque tenga espacio libre si no tengo nodos indice libres… poco puedo hacer. Vamos a comprobarlo con df -i /var que es el sistema de ficheros que me está dando problemas:
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/mapper/vg00-var 655360 655360 0 100% /var
Bueno, ya tengo un punto donde seguir investigando, ahora tengo que averiguar cuantos nodos estoy utilizando realmente y proceder a borrar, reparar o lo que se tercie. Reinicio el servidor sin montar /var chequeo el disco y todo correcto… por lo tanto el problema está que el servidor se ha llenado de pequeños ficheros que me están causando este problema.
Revisando por encima la estructura del directorio, me fijo que /var/log tiene muchos ficheros, lo cual me llama la atención así que me dirijo al directorio y empiezo a ver el tamaño y número de los archivos de log y hay uno que me llama la atención: /var/log/samba hago un ls y la lista parece interminable, procedo a contar los ficheros con ls | wc -l y me devuelve mas de 500 mil ficheros…
Al ser tantos ficheros, rm no me va a funcionar bien porque indica que la lista es muy grande, así que armado de paciencia y como no tengo otra cosa que hacer voy borrando usando comodines que es mas divertido… que si, que se puede hacer de otra manera, pero al mismo tiempo voy viendo los inodos usados, como va bajando y como no tengo otra cosa que hacer…
rm log.190.* y me libera aproximadamente 30 mil inodos y a continuación intento de nuevo apt-get… perfecto. Pues nada… ya tengo trabajo, borrar todos ficheros y a seguir…
No responses yet