Comandos para el procesamiento de textos

Además de los ya vistos (vi, grep, sed) existen una serie de comandos para manejar ficheros de texto, como tac, rev, nl, head, tail, sort, uniq, expand, fmt, cut, paste, tr, join, split, wc, od o awk

• también se conocen como filtros: obtienen su entrada de la entrada estándar (o un fichero) y envían la salida a la salida estándar:

  sort < archivo.txt | head -3 > otro_archivo.txt

• casi todos estos comandos tienen, entre otras opciones, las siguientes dos:
  • --help muestra una pequeña ayuda y sal
  • --version muestra la versión del comando y sal
• también podemos saber más del comando a través de la página de manual o de info

Comandos simples

Existe una serie de comandos simples para realizar operaciones concretas sobre ficheros de texto

• Ordena las líneas alfabéticamente: sort
• Escribe partes seleccionadas de un fichero a la salida estándar: cut
• Une texto de varios ficheros: paste
• Formatea párrafos: fmt
• Borra y/o reemplaza caracteres: tr
• Elimina líneas repetidas: uniq
• Combina varios ficheros: join
• Divide un fichero en ficheros más pequeños: split
• Muestra el principio/final de un fichero: head/tail
• Muestra el fichero al revés: tac, rev
• Muestra el número de líneas, palabras y bytes de un fichero: wc
• Añade números de línea: nl
• Convierte TABs en espacios: expand
• Muestra un fichero en diferentes formatos: od

Comentaremos brevemente cada uno de ellos

sort

ordena alfabéticamente líneas de texto y las muestra en la salida estándar

Formato:

sort [opciones] fichero

Algunas opciones:

• -b ignora blancos al principio de línea
• -f no distingue mayúsculas/minúsculas
• -r orden inverso
• -m mezcla ficheros previamente ordenados
• -n ordena numéricamente
• -k POS1[, POS2] ordena según los campos desde POS1 a POS2, o el final si no está POS2 (el primer campo es 1)

Ejemplos:

$ cat nombres.txt
María Pérez
luis Andión
Adriana Gómez
jorge pena
$ sort nombres.txt
Adriana Gómez
María Pérez
jorge pena
luis Andión

$ sort -f nombres.txt
Adriana Gómez
jorge pena
luis Andión
María Pérez
$ sort -f +1 +0 nombres.txt #Obsoleto (no usar)
luis Andión
Adriana Gómez
jorge pena
María Pérez
$ sort -f -k 2,2 nombres.txt
luis Andión
Adriana Gómez
jorge pena
María Pérez

cut

Escribe partes seleccionadas de un fichero a la salida estándar; puede usarse para seleccionar columnas o campos de un fichero específico

Formato:

cut [opciones] fichero

Algunas opciones:

• -b, -c, -f corta por bytes, caracteres o campos, respectivamente
• -d fija el carácter delimitador entre campos (por defecto, TAB)

Ejemplos:

$ cat nombres-ord.txt
Luis Andión
Adriana Gómez
Jorge Pena
María Pérez

$ cut -c 1-7 nombres-ord.txt
Luis An
Adriana
Jorge P
María P
$ cut -c 1-5,9-10 nombres-ord.txt
Luis ió
AdriaGó
Jorgena
Maríare
$ cut -d ' ' -f 1 nombres-ord.txt
Luis
Adriana
Jorge
María

paste

Permite unir texto de varios ficheros, uniendo las líneas de cada uno de los ficheros

Formato:

paste [opciones] fichero1 [fichero2] ...

Algunas opciones:

• -s pega los ficheros secuencialmente, en vez de intercalarlos
• -d especifica los carácteres delimitadores en la salida (por defecto, TAB)

Ejemplos:

$ cat nombres.txt
Luis
Adriana
Jorge
María
$ cat apellidos.txt
Andión
Gómez
Pena
Pérez
$ paste nombres.txt apellidos.txt

Luis Andión

Adriana Gómez

Jorge Pena

María Pérez

$ paste -d ' ' nombres.txt apellidos.txt
Luis Andión
Adriana Gómez
Jorge Pena
María Pérez
$ paste -s -d '\t\n' nombres.txt

Luis Adriana

Jorge María

fmt

Formatea cada párrafo, uniendo o separando líneas para que todas tengan el mismo tamaño

Algunas opciones:

• -n o -w n pone la anchura de las líneas a n (por defecto, 75)
• -c conserva la indentación a principio de línea y alinea a la izquierda la segunda línea
• -s las líneas pueden dividirse, no unirse
• -u uniformiza el espaciado entre palabras

Ejemplo:

$ cat quijote.txt
En un lugar de la Mancha, de cuyo nombre no
quiero acordarme, no ha mucho tiempo
que vivía un
hidalgo de los de lanza en astillero, adarga
antigua, rocín flaco y galgo corredor.

$ fmt -w 45 -u quijote.txt
En un lugar de la Mancha, de cuyo nombre
no quiero acordarme, no ha mucho tiempo
que vivía un hidalgo de los de lanza en
astillero, adarga antigua, rocín flaco y
galgo corredor.

tr

Borra caracteres o reemplaza unos por otros

Formato:

tr [opciones] set1 set2

Algunas opciones:

• -d borra los caracteres especificados en set1
• -s reemplaza caracteres repetidos por un único carácter

Ejemplos:

$ tr 'a-z' 'A-Z' < quijote.txt
EN UN LUGAR DE LA MANCHA, DE CUYO NOMBRE...
$ tr -d ' ' < quijote.txt
EnunlugardelaMancha,decuyonombre...
$ tr au pk < quijote.txt
En kn lkgpr de lp Mpnchp, de ckyo nombre...
$ tr lcu o < quijote.txt | tr -s o
En on ogar de oa Manoha, de oyo nombre

uniq

Descarta todas (menos una) las líneas idénticas sucesivas en el fichero

Formato:

uniq [opciones] fichero

Algunas opciones:

• -d muestra las líneas duplicadas (sin borrar)
• -u muestra sólo las líneas sin duplicación
• -i ignora mayúsculas/minúsculas al comparar
• -c muestra el número de ocurrencias de cada línea
• -s n no compara los n primeros caracteres
• -f n no compara los n primeros campos
• -t c usa el carácter c como separador de campos (por defecto, espacio o tabulado)

Ejemplo:

$ cat nombres.txt
Julio Lorenzo
Pedro Andión
Celia Fernández
Celia Fernández
Juan Fernández
Enrique Pena
$ uniq nombres.txt
Julio Lorenzo
Pedro Andión
Celia Fernández
Juan Fernández
Enrique Pena
$ uniq -f 1 -c nombres.txt
    1 Julio Lorenzo
    1 Pedro Andión
    3 Celia Fernández
    1 Enrique Pena

join

Permite combinar dos ficheros usando campos: busca en los ficheros por entradas comunes en el campo y une las líneas; los ficheros deben estar ordenados por el campo de unión

Formato:

join [opciones] fichero1 fichero2

Algunas opciones:

• -i ignora mayúsculas/minúsculas
• -1 FIELD une en el campo FIELD (entero positivo) de fichero1
• -2 FIELD une en el campo FIELD de fichero2
• -j FIELD equivalente a -1 FIELD -2 FIELD
• -t CHAR usa el carácter CHAR como separador de campos
• -o FMT formatea la salida (M.N fichero M campo N, 0 campo de unión)
• -v N en vez de la salida normal, muestra las líneas que no se unen del fichero N
• -a N además la salida normal, muestra las líneas que no se unen del fichero N

Ejemplo:

$ cat nombres1.txt
Luis Andión
Adriana Gómez
Jorge Pena
María Pérez
$ cat nombres2.txt
Pedro Andión
Celia Fernández
Julio Lorenzo
Enrique Pena
$ join -j 2 nombres1.txt nombres2.txt
Andión Luis Pedro
Pena Jorge Enrique
$ join -j 2 -o 1.1 2.1 0 nombres1.txt nombres2.txt
Luis Pedro Andión
Jorge Enrique Pena

split

Divide un fichero en ficheros más pequeños; los ficheros más pequeños se nombran a partir del prefijo especificado (prefijoaa, prefijoab,...)

Formato:

split [opciones] fichero prefijo

Si no se pone fichero, o se pone - se lee la entrada estándar

Algunas opciones:

• -l n pone n lineas en cada fichero de salida (por defecto 1000)
• -b n pone n bytes en cada fichero de salida
• -C n pone en cada fichero de salida tantas líneas completas como sea posible sin sobrepasar n bytes
• -d usa números en vez de letras para el nombre de los ficheros de salida

Ejemplo:

$ split -l 2 quijote.txt quij
$ ls quij*
quijaa quijab quijac quijote.txt
$ cat quijaa
En un lugar de la Mancha, de cuyo nombre
no quiero acordarme, no ha mucho tiempo
$ cat quijac
galgo corredor.
$ split -l 2 -d quijote.txt quij
$ ls quij*
quij00 quij01 quij02 ...

head

Muestra el principio de un fichero

Formato:

head [opciones] fichero

Algunas opciones:

• -n N ó -N muestra las primeras N líneas
• -c N muestra los primeros n bytes
• -v le añade una línea de cabecera, con el nombre del fichero

Ejemplo:

$ head -n 2 -v quijote.txt
==>quijote.txt <==
En un lugar de la Mancha, de cuyo nombre
no quiero acordarme, no ha mucho tiempo

tail

Muestra el final de un fichero

Algunas opciones:

• -n N ó -N muestra las últimas N líneas (por defecto, 10)
• +N muestra de la línea N al final
• -c N muestra los últimos N bytes
• -f hace que tail corra en un lazo, añadiendo líneas a medida que el fichero crece (útil para cuando queremos ver como se modifica un fichero)
• --retry útil con -f; aunque el fichero no exista o sea inaccesible continua intentando hasta que puede abrirlo
• -v le añade una línea de cabecera, con el nombre del fichero

Ejemplo:

$ tail -n 2 -v quijote.txt
==>quijote.txt <==
astillero, adarga antigua, rocín flaco y
galgo corredor.

tac, rev

tac imprime el fichero de la última a la primera línea (opuesto a cat); rev invierte las lineas del fichero

Ejemplos:

$ tac quijote.txt
galgo corredor.
astillero, adarga antigua, rocín flaco y
que vivía un hidalgo de los de lanza en
no quiero acordarme, no ha mucho tiempo
En un lugar de la Mancha, de cuyo nombre

$ rev quijote.txt
erbmon oyuc ed ,ahcnaM al ed ragul nu nE
opmeit ohcum ah on ,emradroca oreiuq on
ne aznal ed sol ed ogladih nu aíviv euq
y ocalf nícor ,augitna agrada ,orellitsa
.roderroc oglag

wc

Muestra el número de líneas, palabras y bytes de un fichero

Formato:

wc [opciones] fichero

Algunas opciones:

• -l muestra sólo el número de lineas
• -w muestra sólo el número de palabras
• -c muestra sólo el número de bytes
• -L muestra la longitud de la línea más larga

Ejemplo:

$ wc quijote.txt
5 33 178 quijote.txt
$ wc -l quijote.txt
5 quijote.txt
$ wc -w quijote.txt
33 quijote.txt
$ wc -c quijote.txt
178 quijote.txt

nl

Añade números de línea; nl considera los ficheros separados en páginas lógicas, cada una de ellas con una cabecera, cuerpo y pie, cada una de estas secciones se numera de forma independiente, y la numeración se reinicia para cada página; los comienzos de cabecera, cuerpo y pie de cada página se marcan, respectivamente, con \:\:\:, \:\: y \:

Formato:

nl [opciones] fichero

Algunas opciones:

• -b, -h o -f ESTILO indica el estilo de numeración para cuerpo, cabecera o pie, que puede ser:
  • a: numera todas las líneas
  • t: numerar sólo las líneas no vacías (por defecto para el cuerpo)
  • p REGEXP: numera sólo las líneas que concuerdan con REGEXP
  • n: no numera ninguna línea (por defecto para cabecera y pie)
• -v n inicia la numeración en n (por defecto, 1)
• -i n incrementa los números por n (por defecto, 1)
• -p no reinicia la numeración al principio de cada página
• -s STRING una STRING para separar los números de línea del texto (por defecto ' ')

Ejemplo:

$ nl -s 'q ' quijote.txt
    1q En un lugar de la Mancha, de cuyo nombre
    2q no quiero acordarme, no ha mucho tiempo
    3q que vivía un hidalgo de los de lanza en
    4q astillero, adarga antigua, rocín flaco y
    5q galgo corredor.

expand

Convierte TABs en espacios; útil debido a que la representación del TAB puede ser diferente en distintos sistemas

Formato:

expand [opciones] fichero ...

Algunas opciones:

• -t n reemplaza cada TAB por n espacios (por defecto, 8)
• -i solo reemplaza los TABs de principio de línea

Ejemplos:

$ cat hola.c
main() {
                for(i=0; i<10;i++)
                                printf("Hola mundo!\n");
}
$ expand -t 2 hola.c
main() {
for(i=0; i<10;i++)
printf("Hola mundo!\n");
}

El comando unexpand hace la operación contraria

od

Muestra un fichero en octal, hexadecimal o otros formatos; en cada línea muestra (en la primera columna) el offset

Formato:

od [opciones] fichero

Algunas opciones:

• -t TIPO especifica el formato de la salida (por defecto octal): o para octal, x para hexadecimal, d para decimal, c para caracteres ASCII, a para caracteres con nombre...
• -A TIPO especifica el formato del offset (por defecto octal): o, x, d como antes, n para que no aparezca
• -w BYTES número de bytes por linea (por defecto 16)

Ejemplo:

$ od -t x -A x quijote.txt
000000 75206e45 756c206e 20726167 6c206564
000010 614d2061 6168636e 6564202c 79756320
000020 6f6e206f 6572626d 206f6e0a 65697571
...

awk

Lenguaje diseñado para procesar datos basados en texto; el nombre AWK deriva de los apellidos de los autores: Alfred V. Aho, Peter J. Weinberger, y Brian W. Kernighan

• los administradores de sistemas utilizan awk para procesar los ficheros de configuración y logs de los sistemas
• estos ficheros, normalmente, se organizan en forma de tabla (líneas compuestas por campos)
  • awk es ideal para tratar esos ficheros
• sólo veremos algunos de los aspectos más importantes del uso de awk para el manejo de ficheros de texto

Funcionamiento básico

awk lee el fichero que se le pase como entrada (o la entrada estándar) línea a línea, y sobre cada línea ejecuta una serie de operaciones

Ejemplo:

# echo -e interpreta "\n" como un retorno de carro,
# lo que envía 2 líneas al comando awk
$ echo -e "\n" | awk '{ print "Hola mundo!" }'
Hola mundo!
Hola mundo!

Formas de ejecutar awk

Podemos usar awk de varias formas:

• En la línea de comandos:

  awk PROGRAMA fichero_entrada

• Escribiendo el programa en un fichero:

  awk -f FICHERO_PROGRAMA fichero_entrada

• Ejecutando el FICHERO_PROGRAMA como un script:

  poner

  #!/usr/bin/awk -f

  al principio de FICHERO_PROGRAMA

Ejemplos:

$ echo '{ print "Hola mundo!" }' > hola.awk
$ echo -e "\n" | awk -f hola.awk
Hola mundo!
Hola mundo!
$ echo '#!/usr/bin/awk -f' > hola.awk
$ echo '{ print "Hola mundo!" }' » hola.awk
$ chmod +x hola.awk
$ echo -e "\n" | ./hola.awk
Hola mundo!
Hola mundo!

Estructura de un programa awk

Un programa awk tiene tres secciones:

1. Parte inicial, que se ejecuta sólo una vez, antes de empezar a procesar la entrada:

   BEGIN { operaciones }

2. Parte central, con instrucciones que se ejecutan para cada una de las líneas de la entrada; tienen en siguiente formato:

   /PATRÓN/ { operaciones }

   las operaciones se realizan sólo sobre las líneas que verifiquen la REGEXP indicada en PATRÓN
   • si ponemos !/PATRÓN/ las operaciones se ejecutan en las líneas que no concuerden con el patrón
3. Parte final, se efectúa sólo una vez, después de procesar la entrada:

   END { operaciones }

Manejo de ficheros de texto

awk divide las líneas de la entrada en campos:

• la separación entre campos la determina la variable FS (por defecto, uno a más blancos o TABs
• las variables $1, $2, ..., $N contienen los valores de los distintos campos
  • $0 contiene la línea completa

Ejemplos:

$ ls -ldh * |\
> awk '{print "Fichero ", $8, "ocupa ", $5, "bytes"}'
Fichero proba ocupa 36 bytes
Fichero uy_hist1_nodos.txt ocupa 9,1K bytes
Fichero vimbook-OPL.pdf ocupa 3,7M bytes

$ df -h | sort -rnk 5,5 |\
> awk 'BEGIN { print "Nivel de ocupación" }\
> /^\/dev\/hd/ {print "Partición ",$6,": ",$5}\
> END { print "Terminado" }'
Nivel de ocupación
Partición /home : 87% ocupación
Partición /mnt/hda2 : 51% ocupación
Partición / : 38% ocupación
Terminado

$ # Usando un fichero
$ cat ocupacion.awk
BEGIN {
         print "Nivel de ocupación"
}
/^\/dev\/hd/ {
         print "Partición ",$6,": ", $5
}
END { print "Terminado" }
$ df -h | sort -rnk 5,5 | awk -f ocupacion.awk

Variables predefinidas: awk tiene un conjunto de variables predefinidas, como FS que nos permite especificar el separador de campos

Esas variables son:

Nombre Significado

FS Carácter separador entre campos de entrada (por defecto, blanco o tabulado)

NR Número de registros de entrada

NF Número de campos en el registro de entrada

RS Carácter separador entre registros de entrada (por defecto, nueva línea)

OFS Carácter separador entre campos en la salida (por defecto, un espacio en blanco)

ORS Carácter separador entre registros de salida (por defecto, nueva línea)

FILENAME Nombre del fichero abierto

Ejemplo:

$ cat usuarios.awk
BEGIN {
     FS = ":"; OFS = " -->"; ORS = "\n============\n";
}
{
     print NR, $1, $5
}
$ awk -f usuarios.awk /etc/passwd
...
37 -->tomas -->Tomás Fernández Pena„,
============
38 -->caba -->José Carlos Cabaleiro Domínguez„,
============
...

Otras características

awk es un lenguaje completo:

• permite definir variables de usuario
• permite realizar operaciones aritméticas sobre las variables
• permite utilizar condiciones, lazos, etc.
• permite definir funciones

La sintaxis de awk es prácticamente idéntica a la del lenguaje C

• podemos usar printf en lugar de print (con la sintaxis de C)
• también podemos usar arrays

Ejemplos:

1. Lista el tamaño de los ficheros y el tamaño total

   $ cat lista-ficheros.awk
   BEGIN { total = 0; }
   {
        total += $5;
        printf("Fichero %s ocupa %d bytes\n", $8,$5);
   }
   END {
        printf("Ocupación total = %d bytes\n", total);
   }
   $ ls -ld * | awk -f lista-ficheros.awk
   Fichero ancestros.awk ocupa 370 bytes
   Fichero hola.c ocupa 66 bytes
   Fichero lista-ficheros.awk ocupa 143 bytes
   Ocupación total = 579 bytes

2. Muestra una advertencia si el nivel de ocupación de una partición supera un límite

   $ cat ocupacion2.awk
   BEGIN { limite = 85; }
   /^\/dev\/hd/ {
        if($5 > limite)
            printf("PELIGRO: el nivel de ocupación de %s es %s\n%", $6, $5);
   }
   $ df -ah | tr -d '%' | awk -f ocupacion2.awk
   PELIGRO: el nivel de ocupación de /home es 87%

Paso de parámetros: es posible pasar parámetros en la llamada a awk
Ejemplo: Indicando el PID de un proceso obtiene el PID de todos sus ancestros (padres, abuelos, ...)

$ cat ancestros.awk
BEGIN { ind=0; }
function padre(p) {
     for(i=0; i <ind; i++)
         if(pid[i] == p) return(ppid[i]);
}
!/PID/ { pid[ind]=$3; ppid[ind]=$4; ind++; }
END {
     do {
         printf("%d --> ", proc); proc = padre(proc);
     } while(proc >= 1);
     printf("\n\n");
}
$ ps axl | awk -f ancestros.awk proc=4258
4258 --> 3326 --> 1 -->

Arrays asociativos: awk permite el uso de arrays asociativos, es decir, que pueden tener como índice una cadena de caracteres

Ejemplo

$ cat usuarios2.awk
BEGIN { FS = ":" }
{ nombre[$1] = $5; }
END {
    for(;;){
        printf("Nombre de usuario: ");
        getline user < "-";
        if( user == "" )
            break;
        printf("<%s>: %s\n", user, nombre[user]);
    }
}
$ awk -f usuarios2.awk /etc/passwd
Nombre de usuario: tomas
<tomas>: Tomás Fernández Pena„,
Nombre de usuario:

Funciones predefinidas

En awk existen una serie de funciones predefinidas

• getline: lee la siguiente línea de la entrada, pudiendo asignarla a una variable
  • getline variable < fichero
    lee una línea de fichero y la mete en variable
  • getline variable < "-"
    lee una línea de la entrada estándar y la mete en variable
  • "comando" | getline
    coge la salida de comando y la pone en la variable $0, descomponiéndola en campos ($1, $2, ...)
  Ejemplo:

  $ awk 'BEGIN{ "date" | getline; print $4 }'
  15:16:59

• system: ejecuta un comando del sistema operativo; en caso de éxito retorna 0, y en caso de error retornará un valor distinto de cero
  Ejemplo:

  $ awk 'BEGIN {\
  > if (system("ls")!=0)\
  > printf ("Error de ejecución"); }'