UNIQ
Installé avec le paquet coreutils
Voir aussi : cut et sort
Afficher la version de la commande uniq
uniq --version
ou
apt-cache policy coreutils
Soit le fichier test.txt suivant :
1Nouvelle ligne 2Nouvelle ligne 3Encore une nouvelle ligne 4Encore une nouvelle ligne 5Nouvelle ligne 6Encore une nouvelle ligne 7Ligne exclusive
Afficher un fichier sans ses lignes dupliquées
Sans options, seules les lignes consécutives identiques sont considérées comme dupliquées.
uniq filename [outputfilename]
ex :
# uniq test.txt
Nouvelle ligne
Encore une nouvelle ligne
Nouvelle ligne
Encore une nouvelle ligne
Ligne exclusive
Suppression des lignes 2 et 4.
Supprimer tous les doublons d’un fichier
Avec l’option -u, même les doublons non consécutifs sont supprimés.
uniq -u filename [outputfilename]
ex :
# uniq -u test.txt
Nouvelle ligne
Encore une nouvelle ligne
Ligne exclusive
Suppression des lignes 2, 4, 5 et 6.
Afficher uniquement les lignes dupliquées (sans leurs doublons)
uniq -d filename [outputfilename]
ex :
# uniq -d test.txt
Nouvelle ligne
Encore une nouvelle ligne
Affichage des lignes 1 et 3.
Afficher uniquement les lignes dupliquées et leurs doublons
uniq -D filename [outputfilename]
ex :
# uniq -D test.txt
Nouvelle ligne
Nouvelle ligne
Encore une nouvelle ligne
Encore une nouvelle ligne
Affichage des lignes 1, 2, 3 et 4.
Afficher le nombre d’occurrences consécutives de chaque ligne
uniq -c filename [outputfilename]
ex :
# uniq -c test.txt
2 Nouvelle ligne
2 Encore une nouvelle ligne
1 Nouvelle ligne
1 Encore une nouvelle ligne
1 Ligne exclusive
Ignorer la casse
uniq -i filename [outputfilename]