Выборка относительно уникальных строк из файла (Unix,Linux)

-

Уникальные строки из файла


Допустим, у Вас есть лог-файл, куда записываются различного рода операции,В данном случае ошибка #18956. В этом файле присутствует всего два различных значения: это дата ошибки и логин пользователя. Пример файла:


[17-Oct-2012 01:32:29] ERROR! ERR-CODE=18956, login=Gonshik1
[17-Oct-2012 02:32:56] ERROR! ERR-CODE=18956, login=Gonshik1
[17-Oct-2012 13:15:50] ERROR! ERR-CODE=18956, login=Gonshik1
[17-Oct-2012 13:41:19] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 09:57:22] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 10:04:10] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 10:08:46] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 10:18:20] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 10:45:47] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 14:28:36] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 15:22:11] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 16:07:16] ERROR! ERR-CODE=18956, login=Gonshik1
[18-Oct-2012 19:30:55] ERROR! ERR-CODE=18956, login=Gonshik1
[19-Oct-2012 04:18:05] ERROR! ERR-CODE=18956, login=Gonshik1
[19-Oct-2012 05:40:03] ERROR! ERR-CODE=18956, login=Speedy
[19-Oct-2012 11:14:20] ERROR! ERR-CODE=18956, login=Slava
[19-Oct-2012 11:14:30] ERROR! ERR-CODE=18956, login=Kareta777
[19-Oct-2012 11:14:48] ERROR! ERR-CODE=18956, login=Kareta777
[19-Oct-2012 11:15:11] ERROR! ERR-CODE=18956, login=Kareta777
[19-Oct-2012 11:15:13] ERROR! ERR-CODE=18956, login=Slava
[19-Oct-2012 11:15:26] ERROR! ERR-CODE=18956, login=Kareta777
[19-Oct-2012 11:15:46] ERROR! ERR-CODE=18956, login=Kareta777
[19-Oct-2012 11:16:13] ERROR! ERR-CODE=18956, login=Slava
[19-Oct-2012 12:00:54] ERROR! ERR-CODE=18956, login=Gonshik1
[19-Oct-2012 14:13:44] ERROR! ERR-CODE=18956, login=Dmitry

Вам нужно выбрать всех пользователей, или узнать сколько пользователей инициировали данную ошибку. Вам нужно выбрать уникальные строки из файла не смотря на дату ошибки.

Простейший код:

cat logfile.txt | grep -oEi '(login=)(\w+)' | sort | uniq | sed 's/login=//g'

 На выходе мы получим только не повторяющиеся логины пользователей, у которых возникла определенная ошибка. Вот и все.

linux, unix, cat, grep, sed

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Как преобразовать строку в массив в ClickHouse / How to transform string to array in ClickHouse

-
Сегодня я столкнулся с проблемой, что в документации ClickHouse нет функции преобразования строки в массив. Поискав в StackOverflow , я тоже ничего внятно не нашел. Попробую объяснить на примере: У вас есть некая колонка data типа String, которая хранит JSON: {"user_id":123456,"item_ids": [1203,1204,1205] ,"count":5} Вы хотите преобразовать поле item_ids в массив, чтобы в дальнейшем с ним производить любые функции по работе с массивами ( ссылка на документацию в конце поста ). Как преобразовать строку в массив из JSON Строка может содержать не в отдельной колонке, а, например, в поле json. Пример ниже продемонстрирует как этого добиться: С помощью функции visitParamExtractRaw достать значение поля item_ids в сыром виде: visitParamExtractRaw( data ,  'item_ids' ) С помощью функции  trim  убрать лишние квадратные скобки по краям: trim ( BOTH   '[]'   FROM   visitParamExtractRaw( data ,   'reward_ids' )) p.s. Можно также убрать и фигур
Читать дальше »

Как разложить массив на несколько строк в ClickHouse

-
Изображение
Иногда возникает ситуация, когда нужно разложить поле, содержащее столбец-массив на несколько строк, то есть вынести в столбец каждый отдельный элемент массива. Другими словами: как разгруппировать колонку в несколько строк. Например, разложить колонку room_number на несколько строк.  В примере ниже мы разложили колонку room_number на несколько строк для  consumer_id = 1694953573. Получаем следующий результат: Как видим из примера выше, каждый элемент массива room_numbers теперь на отдельной строке. Делается это при помощи конструкции ARRAY JOIN. Синтаксис следующий: [ LEFT ] ARRAY JOIN < array > Вместо <array> вы должны указать колонку или выражение, которое возвращает массив. Для нашего примера запрос будет таким: SELECT consumer_id, room_number, order_date FROM orders ARRAY JOIN room_numbers as room_number WHERE consumer_id = 1694953573; Profit! Приветствуются конструктивные комментарии. Спасибо. P.S. А если поле у вас не массив, а строка, т
Читать дальше »

Экспорт одной таблицы базы данных или mysqldump одной таблицы (MySQL)

-
Как экспортировать одну таблицу из базы данных MySQL, используя mysqldump Например, Вам нужно произвести экспорт всего одной таблицы из всей базы данных MySQL, существует довольно простая утилита mysqldump . Синтаксис довольно прост: mysqldump --user= [имя пользователя]  --host= [имя хоста или ip-адрес]  --password= [пароль] [имя базы данных] [имя таблицы] > имя-файла.sql Например: mysqldump --user-root --host=127.0.0.1 --pasword=mypassword mydbname table1 > report1.sql Вот и все, все оказалось просто. Весь дамп текущей таблицы, будет находиться в файле: report1.sql Экспорт структуры таблицы MySQL Если Вам нужно экспортировать только структуру таблицы базы данных, а сами данные не нужны, то нужно просто добавить флаг --no-data . Вот пример: mysqldump --user-root --host=127.0.0.1 --pasword=mypassword --no-data mydbname table1 > report2.sql Теперь в файле report2.sql будет только структура таблицы table1. Экспорт нескольких таблиц базы дан
Читать дальше »