1. Introducción

¿Y quién es el tal Gunnar?

• Administrador de sistemas en la ENEP Iztacala
  • Si bien sé algo de programación, disto mucho de ser programador
• Miembro externo del DSC
• Administrador de sistemas desde 1993
• Paranóico - La paranoia es úncamente la realidad vista a mayor resolución<

¿Y qué es Perl?

Un maravilloso y últimamente muy popular lenguaje de programación de todo propósito, fácilmente extensible.
El lenguaje está diseñado particularmente para buena parte de las necesidades que como administradores de sistemas podemos requerir: Procesar grandes cantidades de datos, buscar patrones en grandes cantidades de datos, manejar conexiones de red, etc.

Acerca de la licencia del código

Todo el código que encuentres aquí está disponible bajo la Licencia Pública de GNU (GPL) versión 2 o posterior, a elección del usuario.
La licencia GPL estipula que el código puede ser libremente distribuído, leído, modificado y redistribuído, incluído en otros proyectos, tomar fragmentos, o utilizado en cualquier manera, siempre y cuando éste y todo código derivado de él sean siempre distribuídos bajo la licencia GPL.
Para mayor información acerca de las licencias libres (copyleft y no copyleft) y no libres, aquí hay una interesante exposición.

¿Y por qué en inglés?

No, no es porque me guste el inglés. No hago esto por facilitarme el copiar ejemplos de un libro ni por pocho.
Creo que alguno de estos scripts será útil cuando menos a una persona que no sea hispanoparlante. Espero que así sea. Entre los hispanoparlantes con nivel técnico medio o elevado es mucho más
frecuente el dominio del inglés que en el caso contrario.
Espero que esta decisión mía no ofenda a ninguno de ustedes.

Formato del tutorial

En este tutorial analizaremos varios scripts de Perl de diferentes grados de complejidad. Dada la naturaleza de éste medio, no reproduciré los scripts en la presentación, sino que daré un esbozo estructural y daré ligas a páginas donde éstos estén disponibles.
Los scripts no están preparados, procesados y listos, sino que son muestras de diferentes técnicas que ustedes podrán utilizar en sus programas, o primeros esbozos de programas que requieren ser
perfeccionados para utilizarse en ambientes de producción.

2. Analizando datos

Expiración

En un servidor con más de cien cuentas se puede volver imposible llevar a mano el registro de qué cuentas están activas, qué cuentas ya expiraron y hace cuánto tiempo. Este sencillo script de menos de 70 líneas puede generar un reporte periódico al administrador del estado de las cuentas en su sistema.
Por simplicidad, el script está construído alrededor de la estructura fija del archivo /etc/shadow. Transportarlo a otros sistemas, sin embargo, debe ser trivial.

Consideraciones de seguridad

Estamos ante uno de los mayores riesgos de seguridad: un programa que debe correr con privilegio de root, el único usuario con derecho de leer el archivo /etc/shadow. Es muy importante tomar todas las precauciones; el script corre con use strict y en modo -Tw (tainted y warnings). Fuera de la lectura inicial no tiene ninguna interacción con el mundo; la salida la envía a STDOUT. Esto es para evitar que alguien se aproveche de sus elevados atributos para atacar al sistema.
Este script está pensado para correr desde el crontab de root.

Funcionamiento general

El funcionamiento de este script es muy sencillo. Tras cargar el módulo Date::Calc y activar el pragma strict, iteramos sobre cada línea del archivo /etc/shadow, revisando su octavo campo (recuerden que el número base de un arreglo es 0), acomodándolo acorde a su estado respecto a la fecha actual en uno de cinco arreglos.Posteriormente, por medio de otra muy simple rutina, imprime cada uno de estos arreglos en órden. El programa nos reportará en este órden las cuentas próximas a expirar o recién expiradas, las que expiraron en el último mes, las que llevan ya más de un mes expiradas, las que no han expirado y las que no tienen fecha de expiración.

Funcionamiento: Obtención y comparación de la fecha

En la línea 12 vemos que:

$dias=Delta_Days(1970,1,1,@fecha);

Funcionamiento: Generación del reporte

Al poblar los cinco arreglos pueden haber notado que lo hacemos con una referencia a un arreglo [$login,$dias]. Esto es para pasar dos datos en una sola variable escalar.
Al recibir estos datos en &reporta los separamos expresamente en $login y $dias para evitar que los datos nos lleguen en un formato no
previsto y afecten de alguna manera la ejecución y seguridad de nuestro programa.

#!/usr/bin/perl -Tw
# expira.pl
#
# Reporta las fechas de expiracion de las cuentas de los usuarios
#
use strict;
use Date::Calc qw(Today Delta_Days);
my ($dias,@fecha,$file,@linea,@nuncaExpira,@expiraPronto,@expiraMes,@expiraAntes,@noExpirada);
@fecha=Today;
$dias=Delta_Days(1970,1,1,@fecha);
$file='/etc/shadow';
# Solo root puede abrir el archivo /etc/shadow
open(FILE,$file) or die 'Es necesario ejecutar este script como root';
while (@linea=split(/:/,<FILE>)) {
if ($linea[7] eq '' || $linea[7] < 0) {
# La cuenta no expira
push (@nuncaExpira,[$linea[0],$linea[7]]);
} elsif (($linea[7]-5)<$dias && ($linea[7]+5)>$dias) {
# La cuenta expira o expiro en estos dias
push (@expiraPronto,[$linea[0],$linea[7]]);
} elsif ($linea[7]+30>=$dias && $linea[7]<$dias) {
# La cuenta expiro hace menos de 30 dias
push (@expiraMes,[$linea[0],$linea[7]]);
} elsif ($linea[7]<$dias) {
# La cuenta expiro hace mas de un mes
push (@expiraAntes,[$linea[0],$linea[7]]);
} else {
# La cuenta no ha expirado
push (@noExpirada,[$linea[0],$linea[7]]);
}
}
close(FILE);
print "\n";
print '='x37,"\n  Cuentas que expiran en estos dias  \n",'='x37,"\n";
&reporta(\@expiraPronto);
print '='x37,"\n Cuentas que expiraron el ultimo mes \n",'='x37,"\n";
&reporta(\@expiraMes);
print '='x37,"\n  Cuentas que expiraron hace tiempo  \n",'='x37,"\n";
&reporta(\@expiraAntes);
print '='x37,"\n     Cuentas que no han expirado     \n",'='x37,"\n";
&reporta(\@noExpirada);
print '='x37,"\n        Cuentas que no expiran       \n",'='x37,"\n";
&reporta(\@nuncaExpira);
sub reporta {
my ($login,$dias);
foreach (@{$_[0]}) {
($login,$dias)=@{$_};
printf("   %-15s %6s\n",$login,$dias);
}
}

Atributos

Es muy importante mantener verificada la integridad de nuestro sistema. Si no llevamos registro de los cambios efectuados a nuestros equipos, un atacante podrá entrar y modificar nuestro sistema sin ninguna dificultad, y será imposible determinar el alcance de los daños provocados por él.
Hay varios paquetes que hacen algo parecido a este script, el más conocido de ellos Tripwire. Todos ellos, sin embargo, pueden ser perfeccionados de más de una manera. Ilustramos aquí el funcionamiento del módulo central.

Dos versiones - El dilema de la firma

Presentamos dos versiones del programa - una que revisa únicamente los atributos de los archivos y una que calcula las firmas MD5 de cada
uno de ellos. ¿Por qué?

• Seguridad- Si firmamos cada archivo, nos es necesario poder leer cada uno de ellos. Muchos archivos claves del sistema requieren tener root para leerlos. Si buscamos que un usuario cualquiera ejecute el programa, sólo podremos revisar los atributos.
• Velocidad- Calcular la firma MD5 de un par de archivos es muy rápido. Sin embargo, calcular la de cientos o miles de archivos puede tomar mucho más tiempo del que estamos dispuestos a invertir. Cada usuario deberá poder elegir lo que juzgue mejor.

Consideraciones de seguridad

Aparte del punto de seguridad antes mencionado, nuestro programa debe poder listar todos los directorios a los que entre, ya que de ellos sacará la información necesaria. Si tenemos directorios protegidos con permisos 700, por ejemplo, nuestro programa no podrá entrar a este a menos que corra como el dueño del directorio.
Si decidimos no correr la versión MD5 del programa, un atacante con cierto conocimiento del sistema puede sin ningún problema alterar los
datos para cubrir sus huellas. Esta es una protección contra cambios no deseados y contra script kiddies.

Funcionamiento general

El programa revisa primero que nada si fue llamado en modo de creación de la base de datos o de revisión del sistema. En el primer caso, es llamado para únicamente procesar un archivo. La operación es muy sencilla - Imprime una línea con las características que stat arroja sobre el archivo. Esta línea la podemos guardar en nuestra base de datos.
Al verificar archivos, el programa itera sobre el archivo con los datos y, si hay alguna discrepancia con el estado actual, lo reporta de
una manera fácil de leer y comprender.

Funcionamiento general: Ejemplo de salida

[gwolf@server gwolf]$ ./atributos.pl -p /home/gwolf/archivo_prueba.txt
/home/gwolf/archivo_prueba.txt|1811|246064|33188|2|1160|0|1035916|2543|973982482|973982482|8192|6
[gwolf@server gwolf]$ ./atributos.pl -p /home/gwolf/archivo_prueba.txt > database.ck
[gwolf@server gwolf]$ ./atributos.pl -c database.ck 
[gwolf@server gwolf]$ echo 'modificando' >> archivo_prueba.txt
[gwolf@server gwolf]$ ./atributos.pl -c database.ck 
/home/gwolf/archivo_prueba.txt:
size is now 2918 (should be 2907)
mtime is now 973982824 (should be 973982482)
ctime is now 973982824 (should be 973982482)

Funcionamiento: Procesando opciones

En el script utilizamos el módulo Getopt::Std. Con él, las opciones de línea de comando que son especificadas con el comando

getopt('p:c:');</code
son recibidas en las variables <code>$opt_p

Funcionamiento: stat

Para conseguir los atributos de un archivo, no hay nada más útil que stat. Esta función nos regresa el siguiente arreglo:

• dev Dispositivo físico
• ino Número de i-nodo
• mode Tipo y permisos del archivo
• nlink Número de ligas duras
• uid UID
• gid GID
• rdev Identificador de dispositivo (archivos especiales)
• size Longitud total
• atime Último acceso (formato epoch)
• mtime Última modificación (formato epoch)
• ctime Tiempo de modificación del inodo (formato epoch)
• blksize Tamaño de bloques preferido para el sistema de archivos
• blocks Número de bloques utilizados

#!/usr/bin/perl -Tw
use Getopt::Std;
# We use this for prettier output later in &printchanged()
@statnames = qw(dev ino mode nlink uid gid rdev size mtime ctime blksize blocks);
getopt('p:c:');
die "Usage: $0 [-p <filename>|-c <filename>]\n" unless ($opt_p or $opt_c);
if ($opt_p) {
die "Unable to stat file $opt_p: $!\n" unless (-e $opt_p);
print $opt_p,"|",join('|',(lstat($opt_p))[0..7,9..12]),"\n";
exit;
}
if ($opt_c) {
open(CFILE,$opt_c) or die "Unable to open check file $opt_c: $!\n";
while (<CFILE>){
chomp;
@savedstats = split('\|');
die "Wrong number of fields in line beginning with $savedstats[0]" unless ($#savedstats == 12);
@currentstats = (lstat($savedstats[0]))[0..7,9..12];
# print the changed fields only if something has changed
&printchanged(\@savedstats,\@currentstats) if ("@savedstats[1..12]" ne "@currentstats");
}
close(CFILE);
}
# iterates through attributes lists and prints any changes between
# the two
sub printchanged{
my ($saved,$current) = @_;
# print the name of the file after popping it off of the array read
# from the check file
print shift @{$saved},":\n";
for (my $i = 0 ; $i < $#{$saved} ; $i++) {
if ($saved->[$i] ne $current->[$i]) {
print "\t".$statnames[$i]." is now ".$current->[$i];
print " (should be ".$saved->[$i].")\n";
}
}
}

Atributos y MD5

Es muy importante mantener verificada la integridad de nuestro sistema. Si no llevamos registro de los cambios efectuados a nuestros equipos, un atacante podrá entrar y modificar nuestro sistema sin ninguna dificultad, y será imposible determinar el alcance de los daños provocados por él.
Hay varios paquetes que hacen algo parecido a este script, el más conocido de ellos Tripwire. Todos ellos, sin embargo, pueden ser perfeccionados de más de una manera. Ilustramos aquí el funcionamiento del módulo central.

Dos versiones - El dilema de la firma

Presentamos dos versiones del programa - una que revisa únicamente los atributos de los archivos y una que calcula las firmas MD5 de cada
uno de ellos. ¿Por qué?

• Seguridad- Si firmamos cada archivo, nos es necesario poder leer cada uno de ellos. Muchos archivos claves del sistema requieren tener root para leerlos. Si buscamos que un usuario cualquiera ejecute el programa, sólo podremos revisar los atributos.
• Velocidad- Calcular la firma MD5 de un par de archivos es muy rápido. Sin embargo, calcular la de cientos o miles de archivos puede tomar mucho más tiempo del que estamos dispuestos a invertir. Cada usuario deberá poder elegir lo que juzgue mejor.

Consideraciones de seguridad

Aparte del punto de seguridad antes mencionado, nuestro programa debe poder listar todos los directorios a los que entre, ya que de ellos sacará la información necesaria. Si tenemos directorios protegidos con permisos 700, por ejemplo, nuestro programa no podrá entrar a este a menos que corra como el dueño del directorio.
Si decidimos no correr la versión MD5 del programa, un atacante con cierto conocimiento del sistema puede sin ningún problema alterar los
datos para cubrir sus huellas. Esta es una protección contra cambios no deseados y contra script kiddies.

Funcionamiento general

El programa revisa primero que nada si fue llamado en modo de creación de la base de datos o de revisión del sistema. En el primer caso, es llamado para únicamente procesar un archivo. La operación es muy sencilla - Imprime una línea con las características que stat arroja sobre el archivo. Esta línea la podemos guardar en nuestra base de datos.
Al verificar archivos, el programa itera sobre el archivo con los datos y, si hay alguna discrepancia con el estado actual, lo reporta de
una manera fácil de leer y comprender.

Funcionamiento general: Ejemplo de salida

[gwolf@server gwolf]$ ./atributos.pl -p /home/gwolf/archivo_prueba.txt
/home/gwolf/archivo_prueba.txt|1811|246064|33188|2|1160|0|1035916|2543|973982482|973982482|8192|6
[gwolf@server gwolf]$ ./atributos.pl -p /home/gwolf/archivo_prueba.txt > database.ck
[gwolf@server gwolf]$ ./atributos.pl -c database.ck 
[gwolf@server gwolf]$ echo 'modificando' >> archivo_prueba.txt
[gwolf@server gwolf]$ ./atributos.pl -c database.ck 
/home/gwolf/archivo_prueba.txt:
size is now 2918 (should be 2907)
mtime is now 973982824 (should be 973982482)
ctime is now 973982824 (should be 973982482)

Funcionamiento: Procesando opciones

En el script utilizamos el módulo Getopt::Std. Con él, las opciones de línea de comando que son especificadas con el comando
getopt('p:c:');
son recibidas en las variables $opt_p y $opt_c.

Funcionamiento: stat

Para conseguir los atributos de un archivo, no hay nada más útil que stat. Esta función nos regresa el siguiente arreglo:

• dev Dispositivo físico
• ino Número de i-nodo
• mode Tipo y permisos del archivo
• nlink Número de ligas duras
• uid UID
• gid GID
• rdev Identificador de dispositivo (archivos especiales)
• size Longitud total
• atime Último acceso (formato epoch)
• mtime Última modificación (formato epoch)
• ctime Tiempo de modificación del inodo (formato epoch)
• blksize Tamaño de bloques preferido para el sistema de archivos
• blocks Número de bloques utilizados

#!/usr/bin/perl -Tw
use Getopt::Std;
use Digest::MD5 qw(md5);
# We use this for prettier output later in &printchanged()
@statnames = qw(dev ino mode nlink uid gid rdev size mtime ctime blksize blocks md5);
getopt('p:c:');
die "Usage: $0 [-p <filename>|-c <filename>]\n" unless ($opt_p or $opt_c);
if ($opt_p) {
die "Unable to stat file $opt_p: $!\n" unless (-e $opt_p);
open(F,$opt_p) or die "Unable to open $opt_p: $!\n";
$digest = Digest::MD5->new->addfile(F)->hexdigest;
close(F);
print $opt_p,"|",join('|',(lstat($opt_p))[0..7,9..12]),"|$digest\n";
exit;
}
if ($opt_c) {
open(CFILE,$opt_c) or die "Unable to open check file $opt_c: $!\n";
while (<CFILE>){
chomp;
@savedstats = split('\|');
die "Wrong number of fields in line beginning with $savedstats[0]" unless ($#savedstats == 13);
@currentstats = (lstat($savedstats[0]))[0..7,9..12];
open(F,$savedstats[0]) or die "Unable to open $opt_c: $!\n";
push(@currentstats,Digest::MD5->new->addfile(F)->hexdigest);
close(F);
# print the changed fields only if something has changed
&printchanged(\@savedstats,\@currentstats) if ("@savedstats[1..13]" ne "@currentstats");
}
close(CFILE);
}
# iterates through attributes lists and prints any changes between
# the two
sub printchanged{
my ($saved,$current) = @_;
# print the name of the file after popping it off of the array read
# from the check file
print shift @{$saved},":\n";
for (my $i = 0 ; $i < $#{$saved} ; $i++) {
if ($saved->[$i] ne $current->[$i]) {
print "\t".$statnames[$i]." is now ".$current->[$i];
print " (should be ".$saved->[$i].")\n";
}
}
}

3. Búsqueda de patrones

Bitácoras - Uso del sistema

Es muy importante para un administrador de sistemas analizar los datos generados por las bitácoras de su sistema. De ellas podemos, entre otras cosas, sacar posibles errores que estemos cometiendo con nuestra configuración del sistema o encontrar posibles intentos de intrusión. Desafortunadamente, leer bitácoras puede ser tedioso.
Presento aquí un script que analiza la salida de last buscando cuántas veces se ha conectado un usuario y por cuánto tiempo en el último mes.

Consideraciones de seguridad

Las bitácoras del sistema típicamente seran legibles únicamente para root. En este caso decidí utilizar un programa que funciona en el espacio de usuario y nos presenta la bitácora binaria wtmp para evitar hacer otra demostración que requiera correr como superusuario.

Funcionamiento general

El programa itera sobre cada línea resultante de correr el programa indicado en $lastProg, ignorando las líneas que no van asociadas a un login verdadero. Utilizando el hash %usedTime registra en una sencilla estructura cuántas veces entró un usuario, y por cuánto tiempo lo hizo. Por último, nos lo reporta utilizando un formato de printf.

Funcionamiento: Sumando minutos y horas

En la función toMinutes primero que nada verificamos que el formato de la hora sea el correcto: Dos dígitos representando la hora y otros dos representando los minutos, separados por dos puntos. Nos es más fácil guardar un valor fácil de sumar, como lo son los minutos, por lo que multiplicamos las horas por 60 y sumamos el resultado a los minutos. Sumamos esto al valor ya existente en $usedTime{$user}[0].

Funcionamiento: Separando horas de minutos por el camino fácil

Al principio del programa tenemos la directiva use integer;. Esta indica al compilador que use aritmética entera, en vez de trabajar con puntos flotantes, el comportamiento normal de Perl. Esto, además de darnos un poco de velocidad al hacer operaciones, nos permite dar menos rodeos en la función printResults. Para separar horas y minutos basta con que dividamos los minutos entre 60 - El entero resultante son las horas, el residuo los minutos, y no tendremos que pelearnos con fracciones decimales.

#!/usr/bin/perl -w
use integer;
use strict;
my (%usedTime, $lastProg);
$lastProg = '/usr/bin/last';
foreach my $line (`$lastProg`) {
next if ($line =~ /^(reboot|ftp|wtmp begins)/ || $line =~ /^\s*$/);
$line =~ s/\s+$//g;
my $user = substr($line,0,10);
$user =~ s/\s.+//g;
my $time = &toMinutes(substr($line,length($line)-6,5));
$usedTime{$user} = [0,0] unless defined($usedTime{$user});
$usedTime{$user}[0] += $time;
$usedTime{$user}[1] += 1;
}
&printResults(\%usedTime);
exit 0;
sub toMinutes {
my ($in,$hr,$min);
$in = shift;
return 0 unless ($in =~ /^\d\d\:\d\d$/);
$hr = substr($in,0,2);
$min = substr($in,3,2);
return ($hr*60+$min);
}
sub printResults {
my ($totMin,$hr,$min,$numLogins);
print "Login      Time used  Logins\n";
print "============================\n";
foreach my $user (sort(keys(%usedTime))) {
$totMin=$usedTime{$user}[0];
$numLogins=$usedTime{$user}[1];
$hr=$totMin / 60;
$min=$totMin % 60;
printf("%-10s %02s:%02s      %-2s\n",$user,$hr,$min,$numLogins);
}
}

Bitácoras - Errores del servidor HTTP

Muchos programas analizan, de alguna u otra manera, el contenido de las bitácoras del sistema (como ejemplos, Logcheck (tutorial en español disponible aquí) y Swatch). Hay programas también dedicados a monitorear y reaccionar en tiempo real a los errores producidos por Apache, como el Apache Guardian.
Sin embargo, un programa que recorra un archivo de bitácora de Apache y reporte, de una manera limpia y fácil de entender los errores ocurridos tenía que ser ideado a mano por los administradores. Es eso lo que intento aquí cubrir.

Consideraciones de seguridad

Este script debe correr con un usuario que tenga derecho de ver el archivo de bitácoras de Apache, típicamente localizado en /var/www/logs/error_log/var/log/httpd/error_log. Para evitar que este script requiera privilegios de root para correr, sugiero que dicho archivo pertenezca a un grupo de administración (daemon o wheel, por ejemplo), permitiendo a dicho grupo acceso únicamente de lectura, de la siguiente manera:
-rw-r-----  1 root  daemon  2188152 Dec  7 10:03 /var/www/logs/error_log

Funcionamiento general

El script procesa una tras otra todas las líneas del archivo indicado en la variable $file. Reporta un resúmen de lo que encuentre en dicho archivo con el siguiente formato:

Directory index forbidden by rule
1                          
1 /var/www/htdocs/comun/
7 /var/www/htdocs/data/Icons/
2 /var/www/htdocs/images/
File does not exist
1                          
5 /var/www/htdocs/biblio/
2 /var/www/htdocs/CURSO
1 /var/www/htdocs/adm_list/approve.cgi
(...)

Funcionamiento: Organizando los datos

El formato de las bitácoras de error de Apache es el siguiente:
[<i>fecha</i>] [<i>categoría</i>] [client <i>w.x.y.z</i>] <i>tipo de error</i>: <i>archivo que lo ocasionó</i>
por ejemplo,
[Thu Dec  7 10:03:27 2000] [error] [client 192.168.2.45] File does not exist: /var/www/htdocs/esta/pagina/no/existe
Lo dividimos, entonces, utilizando el caracter ] como separador de campo. Descartamos todas las líneas que no lleven error como categoría, y de las líneas que nos interesen, el último campo lo dividimos en tipo de error y archivo que lo ocasiona utilizando el
caracter :.
En el hash %errores guardamos los datos resultantes, utilizando como llave el tipo de error, y agregando el archivo que lo ocasionó a la lista guardada por referencia relacionada a esa llave.

Funcionamiento: Reportando

Al reportar, recorremos los tipos de error y, para cada uno de ellos, recorremos el arreglo, guardando ahora en el hash %sumado como llave el nombre de cada uno de los causantes de error, y sumándole uno al valor de esta llave cada que lo encontremos. Una vez procesado el arreglo completo, reportamos primero el tipo de error, y después (indentando por claridad) cada uno de los archivos que lo ocasionaron, con el número de veces que fue llamado.