Eliminar elementos repetidos con AWK

AWK es uno de esos lenguajes super poderosos, en que sientes que puedes hacer cualquier cosa. Disponible originalmente en Unix y por extensión a Linux, ahora se puede instalar hasta en Windows.

Dejando la chachara de lado, les dejo una funcionalidad para eliminar elementos repetidos de una lista.

Ponganle por nombre a este archivo distinct.awk
#!/bin/awk -f #================================================== # Elimina elementos repetidos de una columna #================================================== { arr[$1]++;} END{ for(var in arr){ print var; } }

Modo de uso:
awk -f distinct.awk lista_repetidos.txt > resultado.txt

lista_repetidos.txt es un archivo con una columna, con una lista de elementos que pueden o no estar repetidos. Este script dejará registros únicos.

Mas sobre AWK
http://j.gs/1KmI