How to group from file by some condition or get count of unique data

-
For example you have file which contains log of some events.

Before reading, I recommend subscribing to my Telegram channel, where you can find the latest news, examples, and hacks in the world of development: @asanov_tech.


Input data:

Dec  9 00:33:42 some log
Dec  9 00:56:49 some log
Dec  9 01:13:12 some log
Dec  9 01:22:02 some log
Dec  9 01:35:52 some log
Dec  9 03:15:52 some log
Dec  9 12:17:52 some log

And you want group this file by hours. The code below will help group and display data:


grep -oP "Dec\s+9\s(\d{2})" | sort | uniq -c


 Output data:

 2 Dec 9 00
3 Dec 9 01
1 Dec 9 03
1 Dec 9 12

First column - it's count of unique lines with the date.

Flag -o is required to output only the requested substring (Dec\s+9\s(\d{2}))
Flag -P is required for enable perl-style regexes

 Command sort sorts the data.
And uniq -c find count of unique lines.

 Thank you for reading. Best regards, Ildar.
Место: Москва, Россия

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Как преобразовать строку в массив в ClickHouse / How to transform string to array in ClickHouse

-
Сегодня я столкнулся с проблемой, что в документации ClickHouse нет функции преобразования строки в массив. Поискав в StackOverflow , я тоже ничего внятно не нашел. Перед прочтением рекомендую подписаться на мой телеграмм канал, где вы сможете найти актуальные новости, примеры и хаки в мире разработки: @asanov_tech Попробую объяснить на примере: У вас есть некая колонка data типа String, которая хранит JSON: {"user_id":123456,"item_ids": [1203,1204,1205] ,"count":5} Вы хотите преобразовать поле item_ids в массив, чтобы в дальнейшем с ним производить любые функции по работе с массивами ( ссылка на документацию в конце поста ). Как преобразовать строку в массив из JSON Строка может содержать не в отдельной колонке, а, например, в поле json. Пример ниже продемонстрирует как этого добиться: С помощью функции visitParamExtractRaw достать значение поля item_ids в сыром виде: visitParamExtractRaw( data ,  'item_ids' ) С помощью функции  trim  убрать лишни...
Читать дальше

Как разложить массив на несколько строк в ClickHouse

-
Изображение
Иногда возникает ситуация, когда нужно разложить поле, содержащее столбец-массив на несколько строк, то есть вынести в столбец каждый отдельный элемент массива. Другими словами: как разгруппировать колонку в несколько строк. Перед прочтением рекомендую подписаться на мой телеграмм канал, где вы сможете найти актуальные новости, примеры и хаки в мире разработки:  @asanov_tech Например, разложить колонку room_number на несколько строк.  В примере ниже мы разложили колонку room_number на несколько строк для  consumer_id = 1694953573. Получаем следующий результат: Как видим из примера выше, каждый элемент массива room_numbers теперь на отдельной строке. Делается это при помощи конструкции ARRAY JOIN. Синтаксис следующий: [ LEFT ] ARRAY JOIN < array > Вместо <array> вы должны указать колонку или выражение, которое возвращает массив. Для нашего примера запрос будет таким: SELECT consumer_id, room_number, order_date FROM orders ARRAY...
Читать дальше

Экспорт одной таблицы базы данных или mysqldump одной таблицы (MySQL)

-
Как экспортировать одну таблицу из базы данных MySQL, используя mysqldump Например, Вам нужно произвести экспорт всего одной таблицы из всей базы данных MySQL, существует довольно простая утилита mysqldump . Синтаксис довольно прост: mysqldump --user= [имя пользователя]  --host= [имя хоста или ip-адрес]  --password= [пароль] [имя базы данных] [имя таблицы] > имя-файла.sql Например: mysqldump --user-root --host=127.0.0.1 --pasword=mypassword mydbname table1 > report1.sql Вот и все, все оказалось просто. Весь дамп текущей таблицы, будет находиться в файле: report1.sql Экспорт структуры таблицы MySQL Если Вам нужно экспортировать только структуру таблицы базы данных, а сами данные не нужны, то нужно просто добавить флаг --no-data . Вот пример: mysqldump --user-root --host=127.0.0.1 --pasword=mypassword --no-data mydbname table1 > report2.sql Теперь в файле report2.sql будет только структура таблицы table1. Экспорт несколь...
Читать дальше