3. Búsqueda de patrones

Bitácoras - Uso del sistema

Es muy importante para un administrador de sistemas analizar los datos generados por las bitácoras de su sistema. De ellas podemos, entre otras cosas, sacar posibles errores que estemos cometiendo con nuestra configuración del sistema o encontrar posibles intentos de intrusión. Desafortunadamente, leer bitácoras puede ser tedioso. Presento aquí un script que analiza la salida de last buscando cuántas veces se ha conectado un usuario y por cuánto tiempo en el último mes.

Consideraciones de seguridad

Las bitácoras del sistema típicamente seran legibles únicamente para root. En este caso decidí utilizar un programa que funciona en el espacio de usuario y nos presenta la bitácora binaria wtmp para evitar hacer otra demostración que requiera correr como superusuario.

Funcionamiento general

El programa itera sobre cada línea resultante de correr el programa indicado en $lastProg, ignorando las líneas que no van asociadas a un login verdadero. Utilizando el hash %usedTime registra en una sencilla estructura cuántas veces entró un usuario, y por cuánto tiempo lo hizo. Por último, nos lo reporta utilizando un formato de printf.

Funcionamiento: Sumando minutos y horas

En la función toMinutes primero que nada verificamos que el formato de la hora sea el correcto: Dos dígitos representando la hora y otros dos representando los minutos, separados por dos puntos. Nos es más fácil guardar un valor fácil de sumar, como lo son los minutos, por lo que multiplicamos las horas por 60 y sumamos el resultado a los minutos. Sumamos esto al valor ya existente en $usedTime{$user}[0].

Funcionamiento: Separando horas de minutos por el camino fácil

Al principio del programa tenemos la directiva use integer;. Esta indica al compilador que use aritmética entera, en vez de trabajar con puntos flotantes, el comportamiento normal de Perl. Esto, además de darnos un poco de velocidad al hacer operaciones, nos permite dar menos rodeos en la función printResults. Para separar horas y minutos basta con que dividamos los minutos entre 60 - El entero resultante son las horas, el residuo los minutos, y no tendremos que pelearnos con fracciones decimales. #!/usr/bin/perl -w use integer; use strict; my (%usedTime, $lastProg); $lastProg = '/usr/bin/last'; foreach my $line (`$lastProg`) { next if ($line =~ /^(reboot|ftp|wtmp begins)/ || $line =~ /^\s*$/); $line =~ s/\s+$//g; my $user = substr($line,0,10); $user =~ s/\s.+//g; my $time = &toMinutes(substr($line,length($line)-6,5)); $usedTime{$user} = [0,0] unless defined($usedTime{$user}); $usedTime{$user}[0] += $time; $usedTime{$user}[1] += 1; } &printResults(\%usedTime); exit 0; sub toMinutes { my ($in,$hr,$min); $in = shift; return 0 unless ($in =~ /^\d\d\:\d\d$/); $hr = substr($in,0,2); $min = substr($in,3,2); return ($hr*60+$min); } sub printResults { my ($totMin,$hr,$min,$numLogins); print "Login Time used Logins\n"; print "============================\n"; foreach my $user (sort(keys(%usedTime))) { $totMin=$usedTime{$user}[0]; $numLogins=$usedTime{$user}[1]; $hr=$totMin / 60; $min=$totMin % 60; printf("%-10s %02s:%02s %-2s\n",$user,$hr,$min,$numLogins); } }

Bitácoras - Errores del servidor HTTP

Muchos programas analizan, de alguna u otra manera, el contenido de las bitácoras del sistema (como ejemplos, Logcheck (tutorial en español disponible aquí) y Swatch). Hay programas también dedicados a monitorear y reaccionar en tiempo real a los errores producidos por Apache, como el Apache Guardian. Sin embargo, un programa que recorra un archivo de bitácora de Apache y reporte, de una manera limpia y fácil de entender los errores ocurridos tenía que ser ideado a mano por los administradores. Es eso lo que intento aquí cubrir.

Consideraciones de seguridad

Este script debe correr con un usuario que tenga derecho de ver el archivo de bitácoras de Apache, típicamente localizado en /var/www/logs/error_log/var/log/httpd/error_log. Para evitar que este script requiera privilegios de root para correr, sugiero que dicho archivo pertenezca a un grupo de administración (daemon o wheel, por ejemplo), permitiendo a dicho grupo acceso únicamente de lectura, de la siguiente manera: -rw-r----- 1 root daemon 2188152 Dec 7 10:03 /var/www/logs/error_log

Funcionamiento general

El script procesa una tras otra todas las líneas del archivo indicado en la variable $file. Reporta un resúmen de lo que encuentre en dicho archivo con el siguiente formato: Directory index forbidden by rule 1 1 /var/www/htdocs/comun/ 7 /var/www/htdocs/data/Icons/ 2 /var/www/htdocs/images/ File does not exist 1 5 /var/www/htdocs/biblio/ 2 /var/www/htdocs/CURSO 1 /var/www/htdocs/adm_list/approve.cgi (...)

Funcionamiento: Organizando los datos

El formato de las bitácoras de error de Apache es el siguiente: [fecha] [categoría] [client w.x.y.z] tipo de error: archivo que lo ocasionó por ejemplo, [Thu Dec 7 10:03:27 2000] [error] [client 192.168.2.45] File does not exist: /var/www/htdocs/esta/pagina/no/existe Lo dividimos, entonces, utilizando el caracter ] como separador de campo. Descartamos todas las líneas que no lleven error como categoría, y de las líneas que nos interesen, el último campo lo dividimos en tipo de error y archivo que lo ocasiona utilizando el caracter :. En el hash %errores guardamos los datos resultantes, utilizando como llave el tipo de error, y agregando el archivo que lo ocasionó a la lista guardada por referencia relacionada a esa llave.

Funcionamiento: Reportando

Al reportar, recorremos los tipos de error y, para cada uno de ellos, recorremos el arreglo, guardando ahora en el hash %sumado como llave el nombre de cada uno de los causantes de error, y sumándole uno al valor de esta llave cada que lo encontremos. Una vez procesado el arreglo completo, reportamos primero el tipo de error, y después (indentando por claridad) cada uno de los archivos que lo ocasionaron, con el número de veces que fue llamado. #!/usr/bin/perl -Tw use integer; use strict; my (%errores, $file); $file = '/var/www/logs/error_log'; open(IN,"<$file") or die "Could not open $file - $@ $!"; foreach my $line (<IN>) { chomp($line); my (@datos,@detalles); @datos = split(/\]/,$line); next if ($datos[1] ne ' [error'); @detalles = split(/: /,$datos[3]); $errores{$detalles[0]} = [] if (not defined $errores{$detalles[0]}); my ($tipoErr,$archErr) = @detalles; push(@{$errores{$tipoErr}},$archErr); } &printResults(\%errores); sub printResults { my ($llave,%hash,%sumado); %hash = %{$_[0]}; foreach $llave (sort(keys(%hash))) { print "$llave\n"; while (@{$hash{$llave}}) { my ($tmp); $tmp=shift(@{$hash{$llave}}); $sumado{$tmp}++; } foreach my $file (sort(keys(%sumado))) { printf (" %3d %25s\n",$sumado{$file},$file); } } }

Formato

Hay varios archivos fundamentales para la operación de nuestro sistema que requieren seguir un formato específico - probablemente, el mejor ejemplo de esto sea el archivo de información de los usuarios, /etc/passwd, y los archivos íntimamente relacionados con él, /etc/groups y /etc/shells. Además de esto, no es difícil para un atacante esconder su presencia utilizando trucos muy sencillos, algunos de los cuales encontraremos con este programa.

Consideraciones de seguridad

No me cansaré de repetirlo: Si no hay una razón que nos obligue a correr como root determinado programa, no tenemos por qué hacerlo Este script todavía puede ser muy mejorado - No porque este programa no nos reporte una situación riesgosa en estos archivos significa que están seguros. Podríamos agregar verificaciones para cuentas 0 que no pertenecieran única y exclusivamente a root, cuentas con login root que no tuvieran UID 0, cuentas de usuario con UID 65536 (equivalente a root), nombres de usuario pertenecientes a cuentas del sistema (kmem, mail, adm, wheel, etc.) y otras muchas posibles situaciones.

Funcionamiento general

Primero que nada, creamos dos arreglos, uno con el contenido relevante de /etc/group y otro con el de /etc/shells. Al hacer esto, aprovechamos para verificar su correcto formato - En /etc/group revisamos que tenga el número correcto de campos y que no haya ni nombres de grupo ni GIDs repetidos. Después de esto, revisamos que cada uno de los shells listados en /etc/shells exista y sea ejecutable. Utilizando las mismas estrategias, finalmente abrimos y analizamos línea por línea /etc/passwd. Revisamos número de campos, usernames/UIDs duplicados, directorio home existente y shell listado en /etc/shells. #!/usr/bin/perl -Tw

use strict;

my ($grpFileName,$shellFileName,$pwdFileName,%groups,%shells,@pwdData);

$grpFileName = ‘/etc/group’; $shellFileName = ‘/etc/shells’; $pwdFileName = ‘/etc/passwd’;

First, load all the needed groups into memory. Check, by the way, for

repeated groups and incorrect line length.

%groups = &getGroups($grpFileName); %shells = &getShells($shellFileName); &checkPasswd($pwdFileName,\%groups,\%shells);

sub getGroups { my ($filename,@groups,%groupids,%groupnames); $filename = shift; open(IN,”<$filename”) or die “Could not open $filename”; while (my $line = <IN>) { # We do not chomp($line), because even an empty members field # is valid, and if we chopped it, we would get false positives. next if $line =~ /^\s*#/; my @data = split(/:/,$line); print “WARNING: Line in $filename with incorrect number of fields (should have four):\n $line\n” if ($#data != 3); print “WARNING: Duplicate GID: $data[2] refers to $data[0] and $groupids{$data[2]}\n” if (defined $groupids{$data[2]}); $groupids{$data[2]} = $data[0]; print “WARNING: Duplicate group name: $data[0] refers to $data[2] and $groupnames{$data[0]}\n” if (defined $groupnames{$data[0]}); $groupnames{$data[0]} = $data[2]; } return(%groupids); }

sub getShells { my ($filename,%shells); $filename = shift; open(IN,”<$filename”) or die “Could not open $filename”; while (my $line = <IN>) { next if ($line =~ /^\s*#/); chomp($line); print “WARNING: Shell $line does not exist\n” unless (-e $line); print “WARNING: Shell $line appears twice\n” if (defined $shells{$line} ); $shells{$line} = 1; } return(%shells); }

sub checkPasswd { my (%userid,%username,$filename,%groups,%shells); $filename = $[0]; %groups = %{$[1]}; %shells = %{$_[2]}; open(IN,”<$filename”); while (my $line = <IN>) { chomp($line); next if ($line =~/^\s*#/); my @data = split(/:/,$line); print “WARNING: Line in $filename with incorrect number of fields (should have 7):\n $line\n” if ($#data != 6); print “WARNING: Duplicate UID: $data[2] refers to $data[0] and $userid{$data[2]}\n” if (defined $userid{$data[2]}); $userid{$data[2]} = $data[0]; print “WARNING: Dulpicate username: $data[0] refers to $data[2] and $username{$data[0]}\n”if (defined $username{$data[0]}); $username{$data[0]} = $data[2];

    print "WARNING: Home directory non-existant for user $data[0] ($data[5])\n" unless (-e $data[5]);
    print "WARNING: Shell non-existant for user $data[0] ($data[6])\n" unless (-e $data[6]);
} } </code>