Сбор и аналитика системных сообщений converted a basic group to this supergroup «ru_logs»
Sergey Pechenkó changed group photo
Aleksey Shirokikh invited Aleksey Shirokikh
13:22
Aleksey Shirokikh
Здравствуйте, меня зовут Леша. я не собираю логи. я не знаю зачем это.
Andrew Radygin invited Andrew Radygin
16:22
Andrew Radygin
Здравствуйте Леша!
Посочувствовуем Лёше!
16:23
*все сделали грустные лица и издали вздох
16:23
Igor
а если прометеус собирает, а не я?
16:23
Andrew Radygin
Ты еретик
16:23
Sergey Pechenkó
Ты же чем-то их обрабатываешь?
16:24
Andrew Radygin
И экспоузишь чем для Прома?
16:24
Igor
кадвизор, пром, графана, вот это всё
16:24
Andrew Radygin
А графана что, в таблицах выводит? Или есть какие-то плагины для отображения логов?
16:24
Sergey Pechenkó
а, у тебя инфраструктура полностью в синих коробочках?
16:25
Есть же ElasticSearch plugin
16:25
Andrew Radygin
А, я не в курсе просто.
16:25
Aleksey Shirokikh
леша хочет факты из логов. леша не хочет 1000500 говн
16:25
Andrew Radygin
Скажешь тоже.
16:26
Ещё скажи что хочешь чтобы сервисы не ломались
16:26
Aleksey Shirokikh
у леши нету 90терабайтной хранилки
16:26
леша сразу из мегабайта лога пыщ гистограмму значений
16:26
Sergey Pechenkó
По поводу фактов - звучит разумно, другое дело, что кто-то же должен перемалывать вот это вот всё в адекватные факты?
16:26
Aleksey Shirokikh
и килобайт данных хоп в пром
16:27
ща саша из гарфаны для прома допилит плагин гистограммы и леша будет доволен как слон. а логи он собирать не будет нет.
Dmitry Nagovitsin invited Dmitry Nagovitsin
16:28
Dmitry Nagovitsin
Ещё один чат
16:28
Sergey Pechenkó
ну нееееее, я у себя от прома отмазался.
кстати, а как выглядит у Лёши долговременная хранилка для прома? 😉
16:28
Andrew Radygin
Боооольше чатов!
16:28
Sergey Pechenkó
и те же лица 😊
16:28
Dmitry Nagovitsin
И зря отмазался
16:29
Он может писать параллельно куда неть
16:29
Andrew Radygin
Плюс к вопросу
16:29
Dmitry Nagovitsin
В графит например
16:29
Andrew Radygin
Или инфлакс 😂
16:29
Aleksey Shirokikh
леше не нужна долговременная. леша дальше месяцйа не помнит чо было
16:29
Andrew Radygin
Ахуенно тебе
16:29
Dmitry Nagovitsin
Тогда Прометей твой мониторинг
16:30
Sergey Pechenkó
дык у меня гошный графит полностью с HA есть, плюс нужны исторические данные, то есть для прома просто юзкейса нету.
16:30
Aleksey Shirokikh
это в проме месяц помнит. а в жизни вообще после ревью всё забывает напрочь. леша как студент да
16:30
Dmitry Nagovitsin
Пром может писать в графит
16:31
Sergey Pechenkó
(капризным голосом) - Пааааап, а можно я в графит без прома писАть буду?
16:32
Алерты ты тоже будешь графитом?
16:33
Sergey Pechenkó
Алерты - исингой. Вернее, тем же, кто метрики собирает - коллектд.
16:33
Andrew Radygin
Исинга? :(
Хоть вторая?
16:34
Sergey Pechenkó
да, вторая - офигенная.
Bogdan (SirEdvin) Gladyshev invited Bogdan (SirEdvin) Gladyshev
16:34
Andrew Radygin
Умеет агрегацию, сайлент и маэйнтенанс?
16:34
Sergey Pechenkó
но я не утверждаю, что это - идеал и все так должны делать 😊))))) я только говорю, что у нас - зашло (никаких контейнеров, суровые железки).
16:35
Andrew Radygin
Да ну, почему бы и не послушать об успешном опыте
16:35
Sergey Pechenkó
майнтенанс - точно умеет, аггрегация - это проверять результаты чеков нескольких сервисов ?
16:35
Bogdan (SirEdvin) Gladyshev
Больше чатов богу чатов)
16:36
Andrew Radygin
Ну типа объединять алерты и нотисы по разным признакам
16:36
Sergey Pechenkó
чатов - больше, а людей больше не становится 😊
16:39
у нас такой необходимости не возникало пока, но, если я правильно понял её скриптовый язык, то да, может
16:40
Andrew Radygin
Мне её конфиги показались какими-то недружелюбными
16:41
Особенно после первой
16:41
Sergey Pechenkó
напротив - она настолько гибкая и объектно-ориентированная, что прям глаза разбегаются (....и можно легко заполучить паралич перфекциониста!)
16:41
Andrew Radygin
Ну расхвалиил
16:42
Надо будет ещё раз глянуть
16:43
Sergey Pechenkó
да, если что - создавай ru_alerts 😃
16:45
ну и вот интерфейс альтернативный для неё и не только -
https://www.thruk.org/он крут, а как прочитал я, на чём написано - закручинился (на Перле)
16:45
Dmitry Nagovitsin
остановись, подумой!
16:46
Aleksey Shirokikh
зато общение получается более фрагментированным. и чаты с колвом юзеров до 50 более полезны чем чаты от 300
16:47
Sergey Pechenkó
ты имеешь в виду "более тематическим"?
16:47
Aleksey Shirokikh
нет. я иногда не помню в каких чатах этих же самых людей я игнорю в а каких им помогаю.
16:48
Sergey Pechenkó
а, вон ты про что. ну это личный выбор, ничего нового.
17:23
Andrew Radygin
Вот по количеству очень правильно - в пределах сотни вообще отличные чаты
17:23
Хз, кажется церковь инклюдит в себя алерты :)
17:24
Sergey Pechenkó
на мой взгляд, алерты и метрики - разное.
17:25
Andrew Radygin
Безусловно, я просто не уверен что надо их разделять в контексте общения. Уж слишком узконаправленно получится
17:28
Bogdan (SirEdvin) Gladyshev
Даёшь микрочаты
17:30
Igor
и потом отдельный чат - чат-discovery, для всех, кто не знает куда ему с вопросом
17:33
Andrew Radygin
Бггг
17:33
Aleksey Shirokikh
фиг знает....
17:33
Andrew Radygin
ru_devops_discovery? ))
17:33
Aleksey Shirokikh
есть такой. измайлов хотел тчо бы это был devops_ru
17:34
но в итоге там просто помойка :)
17:34
Andrew Radygin
Чаще всего да...
17:34
Aleksey Shirokikh
что еще можно хотеть от чата с более чем 2к народу я хз
17:34
я близок к тому что бы в церкви устраивать рендом дроп.
17:35
Andrew Radygin
Это как?
17:35
Aleksey Shirokikh
только то что я не придумал как меня и останавливает :)
17:36
Bogdan (SirEdvin) Gladyshev
Кармабот и дропать каждого 5, у кого нет кармы.
17:36
Sergey Pechenkó
хм, тоже мне загадка.
1. запрашиваем бота комстат
2. отбираем народ который тупо ничего никогда не писал
3. через тележное апи дропаем непишущий народ, послав сообщение соответствующее
17:37
Aleksey Shirokikh
но кармабот это накруткобот
17:37
и вообще это элитаризм и дно
17:38
но факт с размером есть факт
17:38
Igor
ну это вообще пушка, я там в RO, чтобы не писать глупые вопросы. Зачем отвлекать умных мужей.
17:38
а меня за это дропнуть!
17:38
Bogdan (SirEdvin) Gladyshev
А разве размер это сам по себе проблема? Проблема в отсутствии политики модерации и личностях, которые разводят флуд. Ну и в глобальной направленности чата
17:39
Aleksey Shirokikh
всякие хабры и лепры вместе взятые доказали что элитаризм не ведет к шлаку.
17:39
с другой стороы кликхаус не тормозит 1400 юзеров. флуда почти нет. есть длиннопосты
rus dacent invited rus dacent
Max Grom invited Max Grom
Yury Zavarin invited Yury Zavarin
Egor Maksimenko invited Egor Maksimenko
Andrew Radygin removed Andrew Radygin
Sergey Pechenkó removed Deleted Account
14:39
Sergey Pechenkó
Прошу извинить - отвлёкся малость.
Alex Kharkevich invited Alex Kharkevich
21:48
Alex Kharkevich
привет. кто-нить разбирал апачевые (хотя это не важно) логи только файлбитом для отправки в эластик безо всяких логстешей напрямую?
18:00
Sergey Pechenkó
для этого тебе даже файлбит не нужен
18:09
Alex Kharkevich
за что вы его так все любите?
18:20
Sergey Pechenkó
за скорость и низкую требовательность к ресурсам (он на C написан и позволяет делать с логами [почти] всё, что вообще можно придумать)
18:21
кстати, а ещё он из коробки в одном популярном в продакшне Linux-дистрибутиве и его платном брате-близнеце
Yakov Beschasnov invited Yakov Beschasnov
Aleksey Shirokikh changed group title to «Сбор и аналитика системных сообщений»
22:29
Deleted Account
Привет
22:29
Sergey Pechenkó
Привет, раз ты всё ещё тут 😊)))
22:41
Deleted Account
Да стало интересно чем занимаетесь
22:41
Мб это что-то реально крутое и приносящие не мало денег
22:42
Aleksey Shirokikh
elasticsearch, mtail, graylog
22:42
девопс реально крутое и приносит деньги тем кто умеет себя продавать.
22:43
Deleted Account
Я ничего не понимаю ))0)0
22:43
Я ж из другого мира :)
22:55
Sergey Pechenkó
у тебя как с английским?
22:55
почему спрашиваю - есть весьма годная книга, там про девопс расписано
22:57
Ты-то читал наверняка, чего уж там.
22:57
Она сколько раз мелькала в профильном чате - как в годном, так и в не совсем.
23:20
думаю сяду прочитаю
18:25
Alex Kharkevich
привет. при сборе файлбитом логов кто что предпочитает для разделения сущностей:
- кастомные индексы (filebeat- по умолчанию)
- тэги-метки
18:34
Dmitry Nagovitsin
читать только первую половину
18:35
дальше одно и то же
18:42
Sergey Pechenkó
это ж по вкусу.
18:42
Dmitry Nagovitsin
да там и без вкуса - реально одно и тоже
14:26
как думаете есть смысл морочится ? может можно проще ?
16:21
Sergey Pechenkó
зависит от твоих запросов
16:22
Aleksey Shirokikh
я хочу аналитику по таймингам.
16:22
Sergey Pechenkó
то есть это небольшие объёмы?
16:22
Aleksey Shirokikh
исходные данные такие вот
2018-06-14 14:39:05,692 [script] [Huawei.VRP.get_interface_status_ex|
172.16.17.80] Complete (1074.27ms)
2018-06-14 14:39:05,702 [script] [Huawei.VRP.get_interface_status_ex|
172.16.12.63] Complete (2346.66ms)
2018-06-14 14:39:05,729 [script] [DLink.DxS.get_interface_status_ex|
172.16.62.106] Complete (296.42ms)
2018-06-14 14:39:05,746 [script] [Huawei.VRP.get_interface_status_ex|
172.16.5.31] Complete (2336.86ms)
2018-06-14 14:39:05,753 [script] [DLink.DxS.get_uptime|
172.16.39.43] Complete (36.62ms)
16:23
Aleksey Shirokikh
3,5к записей в секунду. это небольшие ?
16:23
Sergey Pechenkó
скорее всего, большие
16:25
я наткнулся на разное на тему "а существует ли omhttprequest". модуля на данынй момент действительно не существует, Rainer написал функцию эту в качестве примера/образца, в ней не решены проблемы типа "будем устанавливать каждый раз соединение вместо персистентных"
Yury Zavarin removed Yury Zavarin
Deleted invited Deleted Account
12:50
Sergey Pechenkó
Занятно. Кажется, складывается маленькая компания людей, реально работающих на реальных проектах 😊
Kirill Galinurov invited Kirill Galinurov
Kirill Galinurov removed Kirill Galinurov
Ildar Valiullin invited Ildar Valiullin
Kirill Kamyshnikov invited Kirill Kamyshnikov
Alexey Genus invited Alexey Genus
Vitalii Zakharov invited Vitalii Zakharov
Vyacheslav invited Vyacheslav
Denis Ustinov invited Denis Ustinov
Kirill Kamyshnikov removed Kirill Kamyshnikov
Andrey Klimenko invited Andrey Klimenko
Aleksey Ezhov invited Aleksey Ezhov
02:17
Лёш, поможешь, если что, с админством?
02:21
rus dacent
Я думаю, что это подходит к тематике чата =)
Facebook перевёл в разряд отрытых продуктов LogDevice, распределённую систему хранения последовательно поступающих наборов данных, таких как логи, данные мониторинга, сведения об изменении конфигурации и потоки информации о событиях. Система ориентирована на надёжное и отказоустойчивое хранение логов, обеспечивает сохранение порядка поступления записей и может масштабироваться для обработки миллионов разных логов в одном кластере хранения с интенсивностью поступления данных в несколько гигабайт в секунду. Код написан на языке С++ и опубликован под лицензией BSD.
http://www.opennet.ru/opennews/art.shtml?num=49264
02:25
Sergey Pechenkó
Ещё один бинарный формат хранения. Молодцы 😊
07:30
Nklya
Это типа их аналог Кафки
Aleksey Shirokikh invited Deleted Account
08:57
Aleksey Shirokikh
@tnt4brain бахни ему рестрикт и делете плиз
09:13
Sergey Pechenkó
Ща
Kirill Galinurov invited Kirill Galinurov
12:53
Deleted Account
@k_i_r_y будет жить. Поприветствуем!
Anton Illarionov invited Anton Illarionov
15:27
Deleted Account
@agatsu будет жить. Поприветствуем!
13:29
Deleted Account
@abeltsov будет жить. Поприветствуем!
Shamil Sattarov invited Shamil Sattarov
Alex Fedorov invited Alex Fedorov
20:08
Deleted Account
@AlexFedorov будет жить. Поприветствуем!
20:09
Shamil Sattarov
Друзья! Есть задача по собиранию логов из stdout контейнеров, которые крутятся в Docker Swarm (про k8s я в курсе, но пока ребята с контейнерами на "вы", не хочу свистопляску разводить). Сейчас собираю через контейнер fluentd запущенный в режиме global на каждой ноде Swarm и отправляю в ElasticSearch, каждый сервис в отдельный индекс, все как полагается. Пока приложений мало и хватает одного общего fluent.conf, для всех служб. Однако есть мысль выкатывать Stack'и, каждый с отдельным контейнером fluentd, чтобы хранить его настройки в одной репе с приложением, которое будет писать журнал. В кубике это реализовано через pod'ы и все более-менее компактно, вот думаю вообще в Docker Swarm так делают, или есть какие-то подводные камни?
Vyacheslav invited Vyacheslav
20:10
Deleted Account
@Fiery_Fenix будет жить. Поприветствуем!
20:18
Deleted Account
@not_logan будет жить. Поприветствуем!
20:20
Deleted Account
@s_ignatov будет жить. Поприветствуем!
Ivan EKbfh invited Ivan EKbfh
20:20
Deleted Account
@EKbfh будет жить. Поприветствуем!
20:20
Serega
зачем плодить кучу флюентдов? На примере кубернетес кластера, на каждой ноде стоит один агент. Больше не нужно.
Также вместо флюентд стоит посмотреть на fluent-bit или filebeat от еластик.
20:23
Deleted Account
@inish777 будет жить. Поприветствуем!
20:25
Shamil Sattarov
Затем, что если запускать на каждой ноде по одному флюенту, То конфигурация обрастает очень неприятной бородой. А если запускать для каждого приложения отдельный, тогда настройки форматирования можно будет хранить в одном репозитории с кодом приложения, таким образом разрабы, при смене формата журналов, сами смогут править конфиг флюента.
20:25
Nklya
А логи в жсоне сразу не вариант?
20:27
Shamil Sattarov
Логи и так в JSON'е, но слать не сжатый JSON по сети — чистейшая питушня.
20:27
Там же не только формат есть, есть же еще всякая интересная логика, которую может решать логгер.
20:28
Aleksey Shirokikh
Stunnel +compress
20:29
Serega
да ну? а запихивать это в еластик не чипухня?
20:30
компрессия при передаче это копейки, по сравнению с нагрузкой на еластик. Особенно если вы пишите что микросервисов этих мало.
20:31
плюс флюентд к каждому микросервису это тоже такое себе. Память жрет. Хотябы флюентбит при тех же вводных.
20:31
Shamil Sattarov
В любом случае, глупо считать, что отовсюду можно получить JSON, fluentd позволяет использовать одну тулзу повсюду.
20:31
Да я вот и склоняюсь к нему
20:32
Он вроде быстрый, на сях написанный. Только плагинов маловатно.
20:32
Serega
В кубере флюентбит может вообще все сразу переводить в джсон (если оно нейтивно не умеет). Но стоит ли это хранить еще надо подумать.
20:33
Shamil Sattarov
Думаю сделать, чтобы fluentbit паковал и отсылал на "прокси", а тот, в свою очередь, уже будет распаковывать и раскладывать куда надо.
20:34
Типа, как Адель Сачков сделал "app — heka — heka — ElasticSearch"
20:37
Nklya
Хека, которая несколько лет задепрекейчена уже
20:37
Shamil Sattarov
Именно она.
20:38
Но Яндекс.Деньги собирают логи ей.
20:39
Nklya
Там и заббикс есть))
20:39
Shamil Sattarov
Не поминай всуе.
20:39
Logan
у них там даже оракл был
20:45
Sergey Pechenkó
fluentd - шняга на Ruby. нафиг она? есть rsyslog искаропки в нормальных дистрах.
20:46
Shamil Sattarov
Не пойму, как он это может просто брать и переводить в JSON. Откуда он знает где, какие поля?
20:47
Блин, может и шняга, но работает же! А fluentbit на C. Поэтому и хочу сделать что-то вроде "app — fluentbit — fluent proxy — elastic"
20:48
И, если уж на то пошло, то почему не journald?
20:48
Sergey Pechenkó
Вот когда будет несколько сот гигов в сутки с одного инстанса - тогда и узнаешь, как работает.
20:49
Shamil Sattarov
У меня пока сотня, но это я еще не все собрал.
20:49
Кстати, логи с сетевых железок, имеет смысл вообще собирать?
20:53
Sergey Pechenkó
Это по вкусу. Модель угроз смотри, вот это вот всё.
20:54
Serega
имеет смысл все, что позволяет улучшить стабильность, масштабируемость, безопасность и легкость поддержки. Но пикантность ситуации в том, что собирать вообще все не получится. Во первых мусор никому не нужен, во вторых даже аксес логи собирать это весьма дорогое удовольствие. Особенно если их хранить в еластиксече. Поэтому прежде чем принимать такие решения, проведите нормальные лоадтесты и убедитесь что ваша инфраструктура не встала раком. Оценить сложность вопроса можно по отдельным докладам известных компаний, где народ до сих пор складывает логи рсислогом.
20:54
Aleksey Shirokikh
нет. если читать их некому.
20:55
Serega
как дополнительный вариант - можно логи сгружать в КХ. И делать желаемую аналитику.
Универсальных систем на все случаи жизни построить не получится.
20:55
Shamil Sattarov
А в чем преимучество CH перед ES?
20:56
Serega
скорость, компрессия.
20:56
Sergey Pechenkó
rsyslog написан на C, если что, и автор докторскую защитил на нём - ну так, к слову.
20:56
так что на rsyslog не гони.
20:57
Serega
кто сказал что я гоню? вопрос не в передаче, а в хранении. Я говорю что хранить в еластике дорого.
20:57
рсислог не обеспечивает никак пост обработку и постройку аналитики.
20:58
Shamil Sattarov
Это-то понятно, что на C. А на чем еще коммитить к Самому?
20:58
Serega
это означает что нужно потом делать свой велосипед(от парсера до выгрузки в системы по типу еластика или КХ)
20:58
Shamil Sattarov
А вот это вот точно?
20:58
Sergey Pechenkó
Постобработка - это до выгруза в эластик?
20:58
Serega
это два разных мира
20:59
Shamil Sattarov
Вот я и спрашиваю: может можно вообще journald для этого использовать?
21:01
Serega
если из рсислога выгребать метрики мтейлом и склалывать в пром, то это будет постобработка.
Под постобработкой подразумевается применение каких-то действий к логам, постройка метрик, аналитики, алертов и т.д.
Хотя некоторым хватает и просто парсера при поиске проблем )
21:05
Главная проблема, как быть с контейнерами.
21:06
Протсо fluentd, он как бы CNCF и все такое...
21:07
Serega
ну и что не так? я говорю за метод хранения а не передачи. Рсислог в типичном кейсе - это складывать файло на диск, что дешево. Отправлять в еластик дорого. не?
21:08
Sergey Pechenkó
Отчего вдруг дорого стало?
21:09
Я уж не говорю, что rsyslog умеет в очереди внутренние с приоритетами и буферизацией (на предмет выпадения принимающего endpoint).
21:09
Shamil Sattarov
Отправлять в эластик, дорого, в прямом виде, если все нормально по пути жать, то проблем быть не должно. У меня индексы по 40ГБ на дебаге, бывают. И ничего, кибана не особо тормозит.
21:12
Самая главная претензия к эластику, это отсутствие контроля доступа из коробки. А 12 килобаксов, за каждую ноду выкладывать, это как-то и правда "дорого"
21:25
Sergey Pechenkó
Это опенсорс.
21:48
Serega
скажем так, это на порядок дороже(по ресурсам) чем просто хранить сжатые файлы на диске (на центральном рсислог сервере). Вопросы масштабирования вообще можно даже не вспоминать.
21:49
Shamil Sattarov
Ага, и парсить grep'ом, как старовер.
21:49
Давай еще на перфокарты скинем.
21:49
Sergey Pechenkó
хмык. вообще-то elasticsearch предполагает full text search. если ты делаешь "предпродажную подготовку" сообщений перед закидыванием в elastic, то лишней инфы там уже не будет.
21:50
Serega
и как это относится к аксес логам?
21:51
ребята из меил.ру так и делают. "просто поток логов большой (с)"
21:51
Sergey Pechenkó
хорошо относится. по-дружески, можно сказать.
21:52
Shamil Sattarov
Я тут пытаюсь разрабов научить культуре логов, сам пытаюсь как-то кибану подраскурить, а тут: ну нахер, давай все в архивчиках хранить, на выделенном "отказоустойчевом" сервере.
21:53
Sergey Pechenkó
ELK-стек предполагает, что тебе нужен full text search, иначе ты ССЗБ - для задачи достаточно SQL.
21:53
Shamil Sattarov
Смотрел я этот доклад, на хайлоаде 16 года, если не ошибаюсь. Молодцы, что тут сказать.
21:53
Serega
все зависит от потока логов. Если он большой, то еластик дохнет. Рсислог нет. Либо стоимость инфраструктуры на базе еластик растет до астронамически масштабов.
Серебрянной пули не бывает, увы.
21:54
мне не нравится попытки сделать из какой-нибудь идеи панацею.
21:54
Shamil Sattarov
Панацеи нет, поэтому я и хочу все децентрализировать. И собирать воедино, только то что нужно.
21:55
Sergey Pechenkó
подходы и производительность rsyslog'а позволяют распарсивать "на лету" и обогащать логи. кстати - можно даже прицепить python и переводить из питонячьих принтов в JSON. тоже лихо получается.
21:56
Shamil Sattarov
Суть моей идеи так же и в том, что можно будет с разных приложений, писать не только в разные индексы, но и в разные эластики, а может и вообще не в эластки.
21:57
Serega
да вообще не вопрос, я только за 😉 дело не в рсислоге. Я нжинксом сразу джсон писал, ничего парсить не надо.
Вопрос в том где и как применять инструмент. А то получается что если у вас в руках молоток, то все вокруг начинает выглядеть как гвозди.
21:57
Sergey Pechenkó
Elastic- просто большая хранилка. И ClickHouse - тоже.
21:58
Метрики и алерты по логам тоже легко делаются на rsyslog.
21:58
Shamil Sattarov
Там, где я родился, если ты не умеешь писать журналы nginx в json, тебе ни одна баба не даст.
21:58
Serega
я рад за это чудное место, но лично я от этой идеи отказался.
21:59
Sergey Pechenkó
сразу предупреждаю - по горячим следам, так сказать - странные шутки про женщин здесь лишние.
21:59
Serega
если применять не по назначению - любая система боль )
22:00
Sergey Pechenkó
присоединяюсь.
22:00
просто много кто пытается лепить сложные системы, не прочитав доки и не изучив уже имеющихся возможностей.
22:00
Shamil Sattarov
Это слегка измененная цитата из фильма Crossroads
22:01
А женщин я люблю и уважаю.
22:02
Sergey Pechenkó
тогда - уважения к фильму ради - стоит её оформлять как цитату
22:02
Shamil Sattarov
Просто чувак пишет так, будто это нечто ультракрутое.
22:04
речь шла о том, что если писать в джсон то не нужно будет парсить
22:05
а внедрять это или нет - решать надо исходя из задач, потребностей и нагрузки.
22:06
Deleted Account
@Eduard_toll будет жить. Поприветствуем!
22:06
Shamil Sattarov
Это тоже понятно. Но вот есть, например, postgres, а из него-то не шибко json писать получается, вот и нужны всякие grok-shmok
22:08
Serega
все так ) и постргес не пишет "аксес логов", слава богу! )
22:09
это образно, если что.
22:10
Shamil Sattarov
Ну тут еще много есть примеров, типа того же log4j и всяких кастомных штук.
22:10
Serega
хотя если быть точным, то пишет всякие там WAL. Имеется в виду что это не нужно парсить в систему хранения логов )
22:11
Shamil Sattarov
Почему? Я и стектрейсы в эластик складываю. И, кстати, очень помогает!
22:14
Так, а кто, все-таки, мне расскажет про journald? Понятно, что его все используют, а вот может там есть фичи, про которые не все знают?
22:15
Sergey Pechenkó
он тебе не нужен 😊
бинарный формат файлов.
22:15
Shamil Sattarov
Зато когда делаешь journald -fu docker все четко видно.
22:16
Может его можно сделать не бинарным?
22:16
Sergey Pechenkó
нельзя. от слова "вообще"
22:17
Serega
стектрейсы != PG WAL.
22:18
Shamil Sattarov
А то у меня access log с nginx'а а день набирает (в JSON'е конечно) 5-7ГБ, из-за чего пришлось настраивать logrotate почасовой. Который, к тому же и настроился не сразу )-:
22:21
Serega
еластик кластер, или одна нода? какой ретеншин стоит?
22:27
Shamil Sattarov
Кластер, пока три дата-ноды + два мастера
22:28
injest пока еще не понял, зачем нужны (-:
22:29
Наверное >50GB/h будут нужны...
22:32
С кластером, конечно, тоже пришлось помудохаться, но это сугубо из-за собственной глупости — оставил количество шардов по умолчанию (5) и были постоянно пляски шардов между нодами.
22:32
Кстати, это надо бы на каждом заборе писать, что так делать не надо.
Alexander Molchanov invited Alexander Molchanov
22:37
Deleted Account
Alexander Molchanov будет жить. Поприветствуем!
23:06
Serega
ясно, спасибо -)
23:13
я просто забил на еластик, когда увидел что тестовый стенд плохо переваривет поток логов всеголишь около 1.5мбайт\сек. Правда это был сингл инстанс, и не особо мощный. Поэтому интересно как народ живет.
Alexey Remizov invited Alexey Remizov
00:03
Deleted Account
@alxrem будет жить. Поприветствуем!
Artem Pastukhov invited Artem Pastukhov
Alexander Konyukov invited Alexander Konyukov
07:53
Deleted Account
@scor2k будет жить. Поприветствуем!
08:37
Deleted Account
@ezbiranik будет жить. Поприветствуем!
08:40
Andor
Ещё б там с тестированием получше было, было бы хорошо
А так заметно, что студенческая поделка
08:41
А в чём проблема с грепаньем логов? Уж точно интуитивнее кибаны
08:44
Ты так говоришь как будто жсон не надо будет парсить туда-обратно, как будто это какой-то бесплатный формат
08:46
Serega
ну фильтров никаких не нужно писать. Формат того же нжинкс лога в джсон можно менять как вздумается. Все с минимум телодвижений уходит в еластик.
08:47
Andor
Лично с моей точки зрения, фултекст сёрч для логов это такое, не самое полезное что можно придумать
08:48
Serega
я тогоже мнения.
мне еще не понравилось делать поиск по таким логам...тяжело понять что происходит. Разве что метрики строить...но ради этого сгружать логи в еластик - так себе идея.
08:48
Andor
Поиск по подстроке - несомненно нужен, но фултекст...
08:48
Oklog кто-нибудь юзал в проде?
08:48
Да или даже не в проде
08:50
Sergey Pechenkó
тестированием чего?
08:50
Andor
Они же каждый релиз что-нибудь ломают, нельзя просто взять и обновиться на пследнюю версию :(
08:51
Sergey Pechenkó
пруф?
08:51
Andor
И пакеты регулярно поломаные :(
08:52
Пруфы у коллеги лучше, но его в этом чяте нет
08:52
Sergey Pechenkó
CentOS, Debian - нормальные.
08:52
Andor
Ты про те что в репозитории центоси или про те что в репозитории рсислога?
08:53
Serega
оклог в архивном статусе...врядли кто решится в прод тянуть.
08:53
Andor
Коллега делал доклад про логи на прошлогоднем хайлоаде
08:53
Sergey Pechenkó
CentOS, конечно
08:53
Andor
Ого! Давно ли?
08:53
Там же древняя версия
08:53
Которая не обновлялась лет пять уже наверное
08:53
Serega
17 дней назад..
08:54
Serega
да...интересная система
08:55
Sergey Pechenkó
хипстор детектед?
08:56
Sergey Pechenkó
А что, крутая тема. Берёшь такой пакет не от вендора, ставишь в вендорскую систему и плакаешь - ой, всё сломалось.
08:57
Andor
Что ты несёшь?
08:57
Можно начать с "надо фичу отсутствующую в древней версии"
08:57
Или "надо починеный баг"
08:58
Ты постгрес тоже из центосевых репозиториев ставишь?
08:58
Или например эластик (если он там вообще есть)
08:58
Sergey Pechenkó
Ага. 8.24 в репе CentOS7 лежит. Что там у нас, 8.38? Что за офигительная фича появилась, чтобы из-за неё _так_ упарываться?
08:59
Sergey Pechenkó
Ну тащить пакет не вендорский, всё ломать, плакать.
08:59
Andor
Поставить пакет из репозитория - это нынче "упарываться"?
08:59
Sergey Pechenkó
нееее. упарываться - это то, что я написал.
08:59
Andor
Ммм, ты как-то нездорово проецируешь, я не плакался
09:00
Люблю российское коммьюнити :)
09:00
Sergey Pechenkó
я про это вот
09:00
Ну если это не "сломать всё и плакать" - ок, я ошибся, приношу свои извинения.
09:01
Andor
Что вообще за наезды какие-то тухлые, надо было какую-то фичу, отсутствующую в говномамонтной версии поставляющейся с центосью
09:02
Что ты предлагаешь? Задачи решать или забить?
09:02
В докладе по ссылке выше вроде бы были причины почему нужен был апгрейд
Alexey Ignatenko invited Alexey Ignatenko
09:03
Deleted Account
@shefeg будет жить. Поприветствуем!
09:04
Sergey Pechenkó
Вот хороший вопрос. Я обычно решаю задачи, да. А что ты предлагаешь? Обнаружить, что что-то сломано, НЕ заводить issue и просто гнать на open source-софт?
09:05
Andor
Это вот опять типичное русскоязычное коммьюнити в тебе говорит
09:06
Andor
Кстати а где щас у рсислога issue-трекер?
09:06
Sergey Pechenkó
О, ярлычки пошли в ход, отлично.
Ты прогнал на rsyslog, не скинул ни пруфов, ни ссылку на issue, но во мне - типичное коммьюнити. Оооок.
09:07
Andor
Ты так воспринимаешь как будто я тебя лично оскорбил
09:07
Sergey Pechenkó
Там же, где и исходники, надо полагать.
09:07
Andor
То есть ты не знаешь?
09:07
Sergey Pechenkó
Тебе ссылка нужна типа?
09:08
Sergey Pechenkó
Там вообще-то вопрос, если что.
09:08
Не вижу смысла продолжать флейм
09:09
Sergey Pechenkó
issue приноси, почитаю с интересом
09:11
Andor
я приложил ссылку на доклад человека, который непосредственно занимался рсислогами на моей прошлой работе
09:12
сейчас прямо у него и спрошу, с чем он лично сталкивался
09:12
Sergey Pechenkó
Ссылка на доклад и ссылка на issue - разные вещи. К.О.
09:13
Sergey Pechenkó
всегда пожалуйста! 😊
09:14
Deleted Account
@nbykov будет жить. Поприветствуем!
09:17
блин, реально выглядит как будто ты упоминание о проблемах rsyslog воспринимаешь как будто тебя ругают не по делу
09:17
Sergey Pechenkó
Ну вот по ссылке прочитай 😉 it is safe to use and provides full functionality.
09:17
Andor
"гнать на опенсорс" ага
09:18
вот что-то такое было причиной почему рсислог в центоси не подходил, но я не уверен
09:19
у рсислога дофига проблем с пакетированием, отрицать это глупо
09:19
Sergey Pechenkó
А, ну вот это уже предметный разговор пошёл.
09:19
Andor
было бы у меня больше свободного времени - может и помог бы
09:20
добрался до ноута и нашёл пару проблем
не с телефона же по гитхабу шариться
09:20
с моей стороны разговор (почти) всю дорогу предметный был
Ivan Kalinin invited Ivan Kalinin
09:20
Deleted Account
@nyoroon будет жить. Поприветствуем!
09:21
Deleted Account
@hostberg будет жить. Поприветствуем!
09:21
слушай, не я лично занимался рсислогом
09:22
не я лично прибивал точные версии пакетов, потому что обновление до latest было не очень предсказуемо
09:22
Deleted Account
@terrifilch будет жить. Поприветствуем!
09:22
Andor
ссылку на доклад с описанием проблем в том числе с рсислогом я уже кидал выше
09:22
Sergey Pechenkó
Никогда не надо latest ставить, если это у тебя не тестовая среда. Это ж элементарно, не?
09:23
Andor
очень многие вещи отлично живут с latest, рсислог - не из таких
09:24
Deleted Account
⠀ будет жить. Поприветствуем!
09:24
Sergey Pechenkó
Ок, согласен.
Но это не отменяет правило "ставишь latest - Сам Себе Злобный Буратино".
09:24
Andor
о, я вспомнил кажется
09:24
там по-моему в пакетах были зависимости просто от соседних пакетов, без указания версии
09:25
то есть если ты ставишь например rsyslog-8.27 то он принесёт тебе latest плагинов
09:25
Sergey Pechenkó
Это залёт.
09:25
Andor
но это не точно
09:26
да, коллега потом стал собирать метапакет с точными версиями нужных зависимостей и ставить его
09:26
так оказалось проще
09:26
Deleted Account
@ichac будет жить. Поприветствуем!
Deleted invited Deleted Account
09:27
Deleted Account
@gimpelgram будет жить. Поприветствуем!
Mikhail Leonov invited Mikhail Leonov
09:29
Deleted Account
@bobrebyc будет жить. Поприветствуем!
PsyDebug invited PsyDebug
09:30
Deleted Account
@PsyDebug будет жить. Поприветствуем!
09:32
Deleted Account
@stas_python будет жить. Поприветствуем!
09:33
Andor
@tnt4brain кстати если ты активно юзаешь рсислог, то возможно тебе пригодится рсислог экспортер для прометея
09:34
Sergey Pechenkó
какой-то он скучный
09:34
даже не плагин, а так..... внешний бинарник.
09:34
Andor
ну вот коллега на питоне так же делал
09:35
Deleted Account
Грейлог? Это тоже еластик но проще
09:35
Andor
он же из сислога нативно читает метрики
09:35
грейлог тоже поверх эластика, так что разницы мало
09:36
Deleted Account
Разница в простоте настройки и установке, готовых импутов rsyslog
09:37
Andor
ну хз, грейлогу нужна монга, а это сразу плюс к сложности
Yury Bushmelev invited Yury Bushmelev
09:57
Deleted Account
@jay7t будет жить. Поприветствуем!
09:59
Ivan Kalinin
loghouse мб
10:00
Serega
юзать говномамонтовые пакеты из дистра - это часто недоступная роскошь. Часто нужен не латест, а просто пакеты посвежее. Например, монга свежее чем 2.6 и постгрес свежее чем 8. А в базе их нет. (это давние примеры, если что). И софтваре колекшинс от центоси далеко не всегда спасает. Это проза.
10:01
Yury Bushmelev
про rsyslog могу сказать, что начиная с 2 версий назад Rainer прямо сильно взялся за CI и тесты
10:02
соответственно, в том, что старше - ужас и ад, и это видно по Changelog
10:02
но он мне все равно нравится, даже такой долбанутый
10:03
про грейлог - если логи до него доезжают в JSON, то он ненужин, потому что будет жрать кучу проца и памяти, чтобы парсить JSON в JSON
10:03
лучше сразу писать в эластик и потом смотреть кибаной
10:03
если надо разграничение доступа - ReadonlyREST
10:03
Deleted Account
@MaxCrimea будет жить. Поприветствуем!
10:04
Yury Bushmelev
в остальном - сочувствую всем тут собравшимся, мы занимаемся(-лись) фигней, собирая то, что при нормальной работе системы нафиг не нужно
10:37
Deleted Account
@Voffko будет жить. Поприветствуем!
Vladimir Potареv invited Vladimir Potареv
11:05
Deleted Account
@VladPotap будет жить. Поприветствуем!
11:06
Vladimir Potареv
Нужный чатик. Хотя, в итоге, все логи трансформируются в метрики. =)
11:08
Yury Bushmelev
Именно
Denys 💛📈 Zhdanov invited Denys 💛📈 Zhdanov
15:53
Deleted Account
@deniszh будет жить. Поприветствуем!
15:54
Artem Pastukhov
Ребята, кто-нибудь запускает prometheus-node-exporter в докере?
15:54
У меня проблема, не видит nfs маунтов
15:55
Andor
Иди в церковь метрик лучше
15:55
Artem Pastukhov
а, да. Попутал
yuyu L16+12E invited yuyu L16+12E
15:57
Deleted Account
@yuyugame будет жить. Поприветствуем!
16:49
Yury Bushmelev
Мы запускаем вроде.. хотя надо уточнить. Но nfs у нас точно нет там.
Andrey Klimentyev invited Andrey Klimentyev
20:26
Deleted Account
@zuzzas будет жить. Поприветствуем!
21:01
Deleted Account
@goffert будет жить. Поприветствуем!
Co(n)stantine👨🔬 🕊☮️道 invited Co(n)stantine👨🔬 🕊☮️道
Deleted invited Deleted Account
00:36
Deleted Account
@BaZZiliO будет жить. Поприветствуем!
02:14
Deleted Account
@hd_deman будет жить. Поприветствуем!
19:42
Bogdan (SirEdvin) Gladyshev
Который ломается на раз-два, в каждым дистре обложен костылями и не умеет особо ничего, разве что geoip. И сам в себе логи пишет.
Не используйте rsyslog, правда.
19:45
а зачем системе парсинга/доставки логов уметь geoip?
19:47
Bogdan (SirEdvin) Gladyshev
Потому что тот, кому я ответил пропогандирует, что rsyslog может все и с него можно сразу в еластик?)
19:47
Andor
он может не всё, но писать в эластик он умеет
19:48
Bogdan (SirEdvin) Gladyshev
А еще умеет тихо падать от 1000 и 1 причины
19:48
Один раз заполнился диск? Больше на диск не пишет. Классная штука
19:49
Andor
для отлавливания причин есть мониторинг обычно
19:49
Bogdan (SirEdvin) Gladyshev
Уж лучше filebeat в режиме сислога и pipeline в еластике
19:49
Andor
у меня например постгрес тоже может сломаться, если на диске место кончится
19:50
у тебя аргумент в стиле "плохо обрабатывает аварии", я верно понял?
19:50
Bogdan (SirEdvin) Gladyshev
После того, как диск почищен и ты его пнул, он же работает?
19:51
обычно надо чинить поломаные файлы данных после такой аварии
19:51
в общем, ничего особо удивительного
19:53
Bogdan (SirEdvin) Gladyshev
Мне сложно представить, что в рсислоге нужно было такого чинить, что бы он начал снова в файлы писать. А в другие источники пишет, да
19:53
Andor
я про постгрес, у меня аварий такого вида с рсислогом не было
19:53
Bogdan (SirEdvin) Gladyshev
Ну и постгрес пишет в лог, что с ним не так, а по скольку рсислог пишет сам в себя, то .. )
19:55
Andor
рсислогу не помогало если почистить место и рестартануть?
19:56
Bogdan (SirEdvin) Gladyshev
Нет, иначе меня бы не бомбило от него)
19:57
Andor
покаж issue на эту тему
19:57
звучит как будто он где-то стейт хранит и поднимает его после рестарта
19:58
Bogdan (SirEdvin) Gladyshev
У меня это в виде "на одной машине случилось", issue не видел
19:59
Andor
я ваще как раз говорил что у рсислога куча багов
20:45
Serega
вообще это же продукты со своей спецификой. Как-то я не слышал, чтобы кто-то в кластере контейнеров рсислог юзал... А вот тот же fluentd,filebeat,fluentbit - на ура. Причем у гугла флюентд по дефолту в GCE.
00:41
Sergey Pechenkó
/dev/hands? У меня заводился.....
02:23
Yury Bushmelev
Ровно так же работает. Не используйте версии каменного века и будет вам счастье.
02:25
У меня ровно настолько же хреновый опыт с fluentd и tdagent. Они просто молча в какой-то момент уходят в себя и жрут проц
02:26
Ну и про логи в себя у рсислог, это несколько изменилось в последних версиях. Навскидку не помню, но вокруг этого что-то меняли, чтобы было стабильнее.
02:27
В остальном, я согласен, что если надо как-то хитро обогащать логи, то рсислог не поможет. Но если не надо, то он мне больше нравится, чем все остальные.
02:31
Sergey Pechenkó
Почему не поможет, кстати?
02:32
Yury Bushmelev
Потому что не умеет почти ничего, кроме геоайпи из коробки, как справедливо было замечено выше
02:33
Можно написать свой mm-модуль, конечно. Но надо уметь это делать, и делать это хотя бы неплохо :)
02:34
Yury Bushmelev
Два модуля про обогащение данных
02:35
Правда, я пока не видел сценариев, где надо было бы больше, но мало ли
02:35
Sergey Pechenkó
Какие задачи ещё стоят? Предлагаю разговаривать предметно. Если предметного разговора не получается - то упс....
02:36
Yury Bushmelev
Это к спикеру выше вопрос
02:36
Я всего лишь подтвердил, что встроенных модулей мало
02:36
Sergey Pechenkó
Мало для того, чтобы..... чтобы что?
02:36
Yury Bushmelev
Ну я не знаю, какие у него задачи
02:37
Вот сюда можно ответить, если хочется :)
02:38
Sergey Pechenkó
Тогда предлагаю не повторять за ним, тем более, что там в чистом виде наброс - "я, мол, радуюсь системным демонам на смузиязыках"
02:38
Yury Bushmelev
Просто у него хреновый экспириенс с версией рсислог из дистрибутива, всего-то
02:39
Не надо мне рекламировать рсислог, я и так на его стороне :)
02:39
Правда, говна я с ним наелся достаточно
02:40
Sergey Pechenkó
Хреново у него было с кафкой, вернее - с сишной либой для неё, но тут уж так, да.
02:40
Yury Bushmelev
Вот pmnormalize в то время еще не было, приходилось парсить кривой сислог от разработчиков костылями :)
02:44
Хотя дока у rsyslog, я это откровенно и открыто признаю, не user-friendly.
03:01
Yury Bushmelev
pmnormalize
03:01
mmnormalize давно и успешно, да
07:36
Bogdan (SirEdvin) Gladyshev
Тот же парсинг user agent, например. Или работа со врёменем.
07:36
Andor
Зачем системе доставки догов парсить юзерагент?
07:37
Bogdan (SirEdvin) Gladyshev
Хотя rsyslog может в ingest, так что пофигу
07:38
Yury Bushmelev
у меня есть имхо, что mmnormalize сможет и юзерагент распарсить
07:38
там дохера можно наворотить, если понять, как это работает
07:39
но я не могу сказать, что я понял 🙁
07:45
Bogdan (SirEdvin) Gladyshev
А касательно "обновляйте", я стремаюсть что-то менять что-то, что из под коробки в убунте, ибо там даже конфиг из коробки для rsyslog не валидный
07:46
Yury Bushmelev
да, пакеты для убунты - это боль и уныние
07:47
но старый rsyslog - это в ногу себе стрелять 🙁
07:47
Bogdan (SirEdvin) Gladyshev
Разве в 16.04 что-то пишет напрямую в syslog? Мне казалось, что все уже через journald должно быть
07:48
Yury Bushmelev
пакеты для CentOS там тоже кривенькие.. они переименовали там путь к pid-файлу и сломали все штатные скрипты logrotate
07:48
не уверен, что починили, хотя репортили им это хз когда
07:48
Andor
@jay7t а не помнишь, у тебя было в докладе про журналды?
07:49
Yury Bushmelev
на /dev/log слушает journald
07:49
Bogdan (SirEdvin) Gladyshev
На ubuntu 16.04 тоже?
07:50
А то у меня почему-то rsyslog ломатся, когда я блокировал /dev/log, хотя тут точно могло иметь место /dev/hands
07:50
Yury Bushmelev
да, только что там посмотрел
07:50
у меня 16.04 сейчас в проде 🙁
07:51
Bogdan (SirEdvin) Gladyshev
И у меня :)
07:51
Yury Bushmelev
и не могу найти, как в коробочный rsyslog мессаги попадают из журналды
07:51
ни imjournal, ли слушания на сокете не вижу в конфиге
07:51
Bogdan (SirEdvin) Gladyshev
На черной магии, в конфиге инструкции на прослушку нет, а она работает
07:52
Yury Bushmelev
если только они пропатчили путь к системному сокету на /run/systemd/journal/syslog
07:52
# lsof /run/systemd/journal/syslog
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
systemd 1 root 49u unix 0xffff953afc70e800 0t0 24495 /run/systemd/journal/syslog type=DGRAM
rsyslogd 2876 syslog 3u unix 0xffff953afc70e800 0t0 24495 /run/systemd/journal/syslog type=DGRAM
07:52
imuxsock по дефолту видимо туда смотрит
09:04
Sergey Pechenkó
Всё верно
09:57
yuyu L16+12E
А в каком месте rsyslog мёдом намазан, чтобы выбирать его, а не syslogng?
09:59
Andor
если читать статьи авторов syslog-ng, то конечно нет смысла
09:59
The configuration file of syslog-ng is clean, well-structured.Rsyslog's configuration format is an extension to the original syslog configuration, which is difficult to read, comprehend, or maintain.
10:04
yuyu L16+12E
Причем тут статьи от баламутов? NG много лет в проде крутится - никаких нареканий, и конфигурации реально читабельный
10:05
Andor
rsyslog много лет в проде крутится - никаких нареканий и конфигурация реально читабельная
10:06
Bogdan (SirEdvin) Gladyshev
В ubuntu и centos он по умолчанию, все просто
10:06
Andor
не видел кстати дистров где syslog-ng по-умолчанию
10:08
у них вроде с лицензиями была какая-то лажа, но это не точно
10:50
Yury Bushmelev
если вам хватает syslog-ng, то пользуйтесь ради бога 🙂
10:51
а для rsyslog люди продолжают использовать хавтушки с конфигами на упячке
10:51
и потом ноют, что оно нипонятне
10:52
Andor
потому что у рсислога документации считай что и нету
10:52
Yury Bushmelev
ну как сказать.. в целом, она говно, да
10:53
но если привыкнуть и понять, где искать, то становится норм 🙂
10:53
поэтому сначала хочется доку структурировать, а потом понимаешь, что и так ничо, можно жить, нафиг что-то менять
10:53
но там какая-то движня пошла в районе доки, может и допилят
10:53
Andor
ага, и даже примеры использования есть, которые каждый непонятный момент объясняют
10:54
Yury Bushmelev
непонятный момент? 😄
10:54
там все непонятные моменты - это когда ты хочешь странного
10:55
Sergey Pechenkó
+100500
10:56
Yury Bushmelev
интересно, если бы я два года назад выбрал syslog-ng, я бы так же за него топил сейчас? 🙂
10:57
Bogdan (SirEdvin) Gladyshev
Мне кажется, скорее всего, да
10:57
Yury Bushmelev
мне тоже 🙂 но я уверен, я бы нашел в нем не меньшую кучу багов
10:58
Bogdan (SirEdvin) Gladyshev
А бывает софт без багов?)
10:58
Yury Bushmelev
/bin/true 😄
10:59
Andor
я в драйвере /dev/null в ядре не видел багов
10:59
Yury Bushmelev
там переполнение есть
10:59
Yury Bushmelev
ты просто недостаточно много туда наливал 😄
Edouard Ispravnikov invited Edouard Ispravnikov
00:12
Deleted Account
@openbsod будет жить. Поприветствуем!
Dmitry Z invited Dmitry Z
09:10
Deleted Account
@StalkerNOVA будет жить. Поприветствуем!
13:05
Logan
коллеги, порекомендуйте пжлст стек для сбора логов, что сейчас популярно?
прямо сейчас использую rsyslog -> rsyslog -> ELK.
можно ли сделать лучше?
13:05
Yury Bushmelev
выкинуть L
13:05
а что в этой схеме не устраивает?
13:10
Bogdan (SirEdvin) Gladyshev
file -> filebeat -> elasticsearch + ingest у меня как-то так
13:11
Yury Bushmelev
место на дисках не кончается? 😉
13:12
Bogdan (SirEdvin) Gladyshev
Боюсь, у меня пока небольшие проблемы с тем, что вся эта штука не очень стабильно работает и если хранить логи только в пайпе до еластика, промежуточные узлы их теряют
13:13
Logan
Очень медленный логстеш, и очень неудобные правила мутатора
13:14
Yury Bushmelev
если можно это имплементировать в rsyslog, то можно выкинуть logstash
13:15
если нельзя - то сходу и не знаю, что предложить.. в новом грейлоге можно функции писать на встроенном языке
13:15
но это примерно как шило на мыло
13:17
Vladimir Potареv
можно вместо logstash взять
riemann.io =)
13:18
Yury Bushmelev
ого, я его с 2012 года не видел
13:18
Vladimir Potареv
нереально мощный. там конфиг с мутаторами фактически компилится в байткод JVM, а потому нереально быстрый и гибкий
13:18
Yury Bushmelev
но тогда мы его пытались под агрегацию статистики приспособить
13:18
Vladimir Potареv
я им метрики собирал
13:18
Andrey Klimentyev
А как там community? Давно видел, а он ещё 0.3.1.
13:19
Vladimir Potареv
не в курсе) просто пользовался, когда понадобилось. думаю снова втащить куда-нить.
13:19
а то, что не развивается, так всё в наших руках. главное, что работает.
13:20
конфиги любой сложности. что ещё от него нужно
13:37
Deleted Account
@mldbk будет жить. Поприветствуем!
Vladimir M invited Vladimir M
13:42
Deleted Account
@mvairss будет жить. Поприветствуем!
13:43
Deleted Account
@saladar будет жить. Поприветствуем!
15:09
Deleted Account
@fishhead108 будет жить. Поприветствуем!
Bogdan Shaparenko invited Bogdan Shaparenko
15:24
Deleted Account
@shbodya будет жить. Поприветствуем!
07:27
Deleted Account
@Sed_Sedov будет жить. Поприветствуем!
anton timofeev invited anton timofeev
22:33
Deleted Account
anton timofeev будет жить. Поприветствуем!
22:39
Никита
Коллеги, подскажите способ сэмулировать rest api эластика? Нужно принять входящие данные, заботливо сложить их в /dev/null и отдать валидный ответ, что всё окей, чтоб клиент был доволен. Нужно это для перформанс-тестов засылалки логов.
22:41
Denis Ustinov
он вроде описан, накорябать такое же несложно вроде
22:44
Спасибо, я в какие-то дебри мимо очевидных решений полез.
Nikita Beleckij invited Nikita Beleckij
03:23
Deleted Account
@nbeletsky будет жить. Поприветствуем!
13:39
Deleted Account
@rikspace будет жить. Поприветствуем!
13:54
alexander baygeldin
всем привет! а не знает ли кто-нибудь, как можно чанки fluentd из бинарного формата перевести в utf 8?
13:55
(они копятся в буффере, т.к. по какой-то причине их отвергает принимающий сервер, хочется понять почему)
13:57
Denis Ustinov
а на принимающем сервере есть что-то в логах про это?
14:01
Никита
Я бы ещё loglevel=debug на самом fluentd включил.
14:02
alexander baygeldin
к сожалению нет доступа не принимающий сервер на данный момент. хочется пока воспроизвести ошибку вручную, достав какой-нибудь event из чанка и послав его руками.
14:04
лишь бы понять формат чанков. бинарный файл, но частично ascii. эти коды со слешами похоже октеты.
14:30
Ivan Kalinin
Можно расковырять код флюента
14:30
alexander baygeldin
если что: fluent-binlog-reader
14:31
оказался чанк corrupted. буду смотреть почему.
Anna Stepanyan invited Anna Stepanyan
14:35
Deleted Account
@stepashka будет жить. Поприветствуем!
Pavel Gulyaev invited Pavel Gulyaev
Alexander Vtorov invited Alexander Vtorov
17:40
Deleted Account
@crapulent будет жить. Поприветствуем!
02:37
Deleted Account
@DriverIT будет жить. Поприветствуем!
04:22
Yury Bushmelev
Чот вспомнилось, как я пытался на rsyslog со включенным relp увеличить размер сообщения до 256k :-D
04:24
(Уже должно быть починено)
11:06
Deleted Account
Nikolay Ustinov будет жить. Поприветствуем!
Uroboros invited Uroboros
12:09
Deleted Account
@delmarRU будет жить. Поприветствуем!
12:13
Yury Bushmelev
во, чатик! может кто-то уже разбирался, через какую дырку на убунте dockerd шлет логи всех контейнеров в журналды (а оттуда в сислогды).. а то даже не смешно, когда логи в трех местах появляются
12:14
Подозреваю, что оно тупо перекладывает все логи контейнеров в stdout, а оттуда в journald. Но сходу ни подтверждения, ни крутилок не нашел.
12:14
А, или это я сам дурак..
12:16
Ivan Kalinin
Всё должно быть в конфиге
12:17
Который можно посмотреть через docker info
13:03
Yury Bushmelev
ну я уже разобрался, это мы тут сами дураки
13:03
до меня начали, я продолжил 🙁
13:03
эффект резиновой уточки - рассказал и понял
Сергей Нелюбин invited Сергей Нелюбин
21:18
Deleted Account
@snelyubin будет жить. Поприветствуем!
00:41
Deleted Account
@evgnolvr будет жить. Поприветствуем!
14:53
Deleted Account
@nikolyabb будет жить. Поприветствуем!
Vyacheslav Terdunov invited Vyacheslav Terdunov
17:35
Deleted Account
@vterdunov будет жить. Поприветствуем!
Alexander invited Alexander
11:19
Deleted Account
@xAnder1402 будет жить. Поприветствуем!
11:19
Alexander
Такой вопрос, надо собирать логи. Чем и куда его собираете? Я пока смотрю в сторону ES. Используется стек Influx, можно ли ES с оповещениями Kapacitor настроить?
Uncel Duk invited Uncel Duk
11:20
Deleted Account
@Unkledolan будет жить. Поприветствуем!
11:30
Deleted Account
@oZZyTOP будет жить. Поприветствуем!
Denis Banschikov invited Denis Banschikov
11:51
Denis Banschikov
Всем привет!
11:52
Есть кто использует fluentd для сбора логов? Как их можно правильно приводить к формату plain из json?
11:57
Вот подобную абракадабру приводить в читаемый вид
{"event":"u0422u0435u043Bu043E u0437u0430u043Fu0440u043Eu0441u0430 u043A u044Du043Bu0430u0441u0442u0438u043Au0443: {'query': {'bool': {'must': {'match_all': {'boost': 1}}, 'filter': {'bool': {'must': [{'term': {'cid': '3e79a235-166b-4727-b031-b4e76765cc8e'}}
12:04
ichac
обычно наоборот же все
12:04
Nklya
наверное чтобы грепать))
12:05
ichac
о. это как на предыдущей работе. Греп из 6гб файла на тачке с 1гб рамы
12:05
"чото сеть тормозит парни"
12:05
Denis Banschikov
Чтобы читать было удобно и анализировать в процессе разработки.
logstash это умеет "изкаробки" практически. Там на изи все пошло
Kirill Demianov invited Kirill Demianov
12:09
Deleted Account
@Demianov будет жить. Поприветствуем!
13:04
Deleted Account
@ShafeevT будет жить. Поприветствуем!
16:04
Sergey Pechenkó
Логстэш и флюэнтд нинада. Рсислог искаропки умеет всё.
16:04
Andrey Klimentyev
>Рсислог
Это уже статус локального мема приобретает.
16:05
Sergey Pechenkó
Полагаю, что только у тех, кто в него не умеет ;-)
18:57
Deleted Account
@hakariaruki будет жить. Поприветствуем!
05:21
Yury Bushmelev
Плюсую к rsyslog :) весь json там будет локальными переменными, надо просто шаблон написать нужный
06:12
Denis Banschikov
rsyslog может логи Docker-контейнеров забирать?
06:18
хотя может, надо попробовать
07:24
Bogdan (SirEdvin) Gladyshev
Не верьте им!) Лучше filebeat + ingest в еластике
07:26
Он и в докер умеет)
07:28
Denis Banschikov
У нас на старом кластере был в настройках докер демона прописн log driver GELF и output в виде logstash. Там все отлично было. Сейчас немного другая архитектура, поэтому пошел другим путем.
08:49
Sergey Pechenkó
rsyslog ничего не забирает, он сидит на попе ровно и ждёт, чтобы ему логи прислали (TCP, 514;UDP, 514;journald, /dev/log; файлы из ФС).
13:43
Deleted Account
@greynix будет жить. Поприветствуем!
15:06
Alexander Konyukov
Учтите, что если он лёг, то новый контейнер не стартует...
15:08
Denis Banschikov
Ну, да он шлет их, а пересылвет ему докер демон если не ошибаюсь.
15:09
Кароче filebeat+logstash с фильтром помог:
filter {
json {
source => "message"
target => "doc"
skip_on_invalid_json => true
}
}
15:10
Логи если что идут из kubernetes, так что тут поделки c rsyslog не канают
15:11
Logan
рсислог тоже можно, там есть шаблонизатор. Но вы не захотите его настраивать. Поверьте
16:51
Bogdan (SirEdvin) Gladyshev
Эм ... что вы имеете ввиду?
16:54
Alexander Konyukov
Если rsyslog, на который настроено логирование, лежит, то новый контейнер не стартует
16:54
Старым все равно. Просто потеря логов
16:55
Bogdan (SirEdvin) Gladyshev
Я говорил про filebeat, за rsyslog тут топит tnt4brain )
16:55
filebeat умеет в pull режим логов для докер контейнера, но в бета режиме
16:55
Alexander Konyukov
Сорри. Промахнулся с телефона ))
17:25
Serega
из кубера хорошо еще fluentbit ом собирать. Как по мне то интереснее чем даже filebeat.
17:57
Denis Banschikov
Я выше про него писал и вопрос задавал. Так и не нашел способ json парсить на отдельные поля
18:00
Serega
JSON Parser ?
18:03
Denis Banschikov
Он не парсит так как мне нужно
18:04
точнее как умеет logstash json filter
18:05
могу ошибаться, но у меня ничего не вышло.Задавал вопрос в разных комьюнити, но так не кто ничего и не ответил. Сделал вывод что нельзя
18:09
Serega
а что была за специфика? вернее как умеет логстешесвсикй фильтр, но не умеет флюентбит
18:31
Yury Bushmelev
Докер и сислог через tcp - плохая комбинация. У докера официальная позиция, что они не хотят думать про это всё, у них лапки, а это сложнаа
18:31
Поэтому по udp на локалхост
18:32
Alexander Konyukov
Не хочу врать, не помню точно, но и при udp вроде тоже падает )) коллега находил открытый issue
18:32
Yury Bushmelev
Или в журналды, а рсислогом из него забирать, но это медленно и жрет проц
18:33
Вот это было бы совсем смешно.. надо будет потестить на досуге
18:34
Еще из смешного - видел, как dockerd жрал 100% ядра при стресстесте контейнера
18:34
Там logspout логи выгребал
18:35
Alexander Konyukov
https://github.com/moby/moby/issues/21966пишут что вроде с UDP все будет хорошо. Просто нам это не подходит, т.к. большой коэффициент потери UDP трафика. ПРичину понять не можем, поэтому перестраивать архитектуру сбора логов планируем.
18:38
Andor
о, и надо доставлять 100% логов?
18:42
Alexander Konyukov
ну не 100, но хотя бы к этому стремиться
18:43
Andor
а при udp на localhost тоже много потерь?
18:44
Bogdan (SirEdvin) Gladyshev
Если вы хотите сохранять все логи, что мешает использовать схему "логи в файл + читать с них через filebeat"?)
18:44
Alexander Konyukov
не проверял. у нас сейчас нет на каждом хосте сборщиков.
18:44
ну мы к этом примерно и идем.
18:45
Bogdan (SirEdvin) Gladyshev
У меня пока так и уже где-то месяц нет никакой проблем с пропажей логов)
18:45
Nik B
вообще в теории localhost всегда доступен, когда машина жива.
18:46
Alexander Konyukov
localhost != service on localhost :)
18:47
Andor
нет логов - нет проблем
18:47
Nik B
это тоже верно, но когда речь идет о недоступности, то все равно есть буфер у локалхоста, либо речь идет о близком kernel panic
18:52
Alexander Konyukov
почему-то не всем это нравится )
18:52
ну какой может быть буфер если у вас rsyslogd упал, запущенный на localhost ?
18:57
Nik B
а такое вообще бывает?
18:57
никогда им не пользовался, но говорят он очень стабильный
Dmitry Mischenko invited Dmitry Mischenko
22:40
Deleted Account
@chromko будет жить. Поприветствуем!
23:28
Sergey Pechenkó
Очень интересно послушать о том, как rsyslog падает. Ну правда. В идеале - со ссылкой на issue.
23:29
А то проект пилится, так там сложную херню городят из сервиса, который пишет в файл, всё подбирается FileBeat'ом, потом шлётся в LogStash, чтобы быть перекинутым в Kafka. Я как услышал - сказал "wut????"
23:31
Но уметь в конфиги rsyslogd - это обычно выше сил среднестатистического "из-девов-опса".
23:33
Logan
конфиги rsyslogd – это насктолько выше "средних сил", что Балабит (автор рсислога) берет деньги за просто настройку своего поделия
23:33
простите, перепутал rsyslog и syslog-ng
23:37
Sergey Pechenkó
Я вот тоже прочитал - удивился, потому что точно помню: автор rsyslog - Rainier Gerhards.
00:03
Andrey Klimentyev
Rainer*
03:06
Yury Bushmelev
Падающий рсислог - наследие старых версий. Его сильно причесали за последний год. Но в стабильных дистрибутивах, конечно, говно мамонта до сих пор
03:08
Ну и хорошо бы зарепортить, как он падает. Желательно с дебаг-выводом, если возможно и получится
03:09
А про сложность настойки - сказки. Там конфиг прекрасен сейчас. Просто во всех хавтушках до сих пор почему-то пишут на упячке, которая уже давно устарела.
03:12
«Логи в файл» - их ротировать надо. Мало кто из разработчиков готов запилить поддержку закрытия по сигналу. А убивать сервис, когда тебе надо логи отротировать - это какое-то хипстерство, имхо. Надо тогда еще и балансеру говорить как-то, что я тут сейчас сервис убью, запросы сюда не шли.
03:13
А если кто-то вспомнит copytruncate, то какая разница, как логи терять? В сислоге они хотя бы место на диске не жрут
03:16
Sergey Pechenkó
copytruncate - это тащем-та logrotate
03:17
это вариант "что люди только не сделают, чтобы DynaFile не осваивать" 😊
03:17
kill -SIGSLEEP whoami
06:10
Alexander Konyukov
Это был гипотетический вариант )) точку отказа искали.
07:22
Denis Banschikov
logstash умеет так.Т.е он распарсил json
08:34
Bogdan (SirEdvin) Gladyshev
Я уже тут рассказывал свой кейс. Забился диск и после чистки rsyslog напрочь игнорирует запись в файл.
А если мне нужно мучатся с обновлениями, переписываниями конфигов на новую версию и прочее - все преимущество "изкоробочности" абсолютно теряется и тут уже rsyslog проигрывает тому же filebeat в простоте настройке и не уступает по функционалу.
08:35
Я понимаю, что у крутых парней, которые сидят на rsyslog не первый год и уже знают все его слабые места, он никогда не падает, и я забыл сделать сделать "Х", про который знает любой, кто сидел на rsyslog больше полугода, но зачем есть кактус то?
08:36
Yury Bushmelev
То есть разница в искоробочности? :)
08:37
Если отбросить необходимость изучать то, что настраиваешь
08:37
Bogdan (SirEdvin) Gladyshev
Ну, я не вижу никаких преимуществ rsyslog перед filebeat, исключая "искоробочность". Или есть что-то, что я упускаю?
08:39
А, ок. filebeat не умеет парсить geoip, но в случае rsyslog все равно нужно использовать ingest-node для того же user agent, поэтому так себе проблема.
08:54
Yury Bushmelev
на самом деле, у очень многих нету никакого хайлоада и всякие fluentd/logspout/filebeat/logstash вполне себе канают, чтобы собирать логи с десятка виртуалок и класть их в кластер из 5 эластиков
08:54
поэтому, действительно, похер, что использовать, когда у тебя CPU не загружен
08:55
и диска хватает на хранение любой активности в прыжке
08:55
как перестанет хватать - начнут учить, как конфигурировать rsyslog.. ну или напишут свой велосипед
08:56
или добавят машин в кластер
08:57
Bogdan (SirEdvin) Gladyshev
То есть rsyslog должен быть производительнее чем filebeat? Ну ок
09:10
Andor
Самое время меряться бенчмарками
09:25
Bogdan (SirEdvin) Gladyshev
Я таких не нагуглил)
09:25
Andor
Так своими же меряться, а не интернетными
09:32
Serega
у fluentbit есть же свой куберовский фильтр, который великолепно все парсит в джсон.
[FILTER]
Name kubernetes
Match kube.*
Kube_URL https://kubernetes.default.svc:443
Merge_JSON_Log On
Annotations Off
09:33
и даже можно выкусывать нужные логи. Например, логи нжинкс-ингресс отправлять в еластик
[OUTPUT]
Name forward
#Match *
Match kube.var.log.containers.nginx-ingress*
Host ${ELASTICSEARCH_HOST}
Port 24224
09:37
вероятно, имелось в виду, что центральный rsyslog сам хранит логи. В случае с filebeat - последний обычно используют как коллектор логов в еластик.
11:25
Denis Banschikov
Этот фильтр работает из каробки. Он парсит логи докера и приводит их в читабельный json
23:16
Andor
> Also, if anyone knows Rainer Gerhards tell him to fix his queueing and caching
05:12
Yury Bushmelev
а что именно?
Roman Zhylak invited Roman Zhylak
10:04
Serega
а рсислог умеет шифровать трафик при форвардинге?
10:59
Womchik
сделай ipsec тунель
11:01
Serega
спасибо -) все нейтивно..
11:10
Yury Bushmelev
при форвардинге куда?
11:11
в другой сислог? в другой rsyslog? в ES?
11:11
Serega
в другой rsyslog, например.
11:11
Yury Bushmelev
syslog over tls там через жопу настраивался, но это вроде собирались поменять
11:12
если в другой rsyslog и хочется с шифрованием и поток сообщений не то, чтобы очень большой (меньше 50k msg/s навскидку), то можно юзать RELP между ними
11:12
там TLS двумя строчками буквально настраивается
11:12
ну не двумя, четырьмя
11:13
на большом потоке RELP неудобен тем, что он на одном ядре выполняется
11:13
тогда надо плясать с imptcp и TLS под ним
11:14
Serega
ну у меня fluentbit, вопрос был в контексте. Спасибо за инфо.
17:31
Sergey Pechenkó
Да
Andrei Belov invited Andrei Belov
15:19
Deleted Account
@cbl87 будет жить. Поприветствуем!
15:49
Alexey Genus
А кто-нибудь сталкивался с задачей централизованным сбором логов сборщика мусора в java? Как решали?
16:57
Anton Illarionov
а зачем собирать логи вместо метрик в данном случае?
17:02
Alexey Genus
Метрики я, конечно, собираю. Но тут несколько моментов.
Во-первых, из кода доступен очень ограниченный набор метрик.
Во-вторых, метрики очень разные для разных сборщиков.
В-третьих, даже внутри одного сборщика метрики крайне разнородны и обычные средства визуализации для них плохо подходят.
Ну и ещё важен момент обмена данными. Когда требуется отдать данные, проще всего отдать сырой лог, потому что другого утверждённого формата нет.
Так что только файлы, только хардкор)
17:03
А вот написать визуализацию на vega для кибаны тянет вообще на продукт, который можно продавать.
04:12
Yury Bushmelev
Боюсь показаться банальным, но насколько я помню лог сборщика мусора он тривиально может подбираться rsyslog (imfile + mmnormalize + output по вкусу, хоть omelasticsearch)
04:13
Там же вроде в строку кучка метрик в логе. Или я путаю?
09:34
Alexey Genus
Да в том и дело, что бывают многострочные записи
09:59
Yury Bushmelev
с многострочными печаль.. их либо по regexp-ам, либо по пустым строкам между записями можно ловить в rsyslog
09:59
в последнем релизе вроде бы сделали regexp и на старт записи, и на конец записи
10:42
Alexey Genus
В filebeat, на котором я сейчас все делаю есть поддержка многострочный записей, так что проблем с этим быть не должно.
Меня больше интересовало, есть ли готовые решения, судя по всему нет)
10:46
Но я нашёл одно более-менее подходящее решение
https://gcplot.comНо там агент закрытый, или я не смог найти исходники. Да и хранилище своё.
16:35
Deleted Account
Gabriel будет жить. Поприветствуем!
16:50
Gabriel
У меня кубера нет
16:50
Ivan Kalinin
Можно и без кубера
16:50
Оно там заливает в кликхаус через его CLI, правда
Сергій Грищук invited Сергій Грищук
23:08
Deleted Account
@grishuk будет жить. Поприветствуем!
vladimir kolobaev invited vladimir kolobaev
10:57
Deleted Account
vladimir kolobaev будет жить. Поприветствуем!
Roman Parfinenko invited Roman Parfinenko
08:57
Deleted Account
@Kazlinsky будет жить. Поприветствуем!
Dan Capybara invited Dan Capybara
08:59
Deleted Account
@hitmaker будет жить. Поприветствуем!
10:56
Deleted Account
@i0x696D будет жить. Поприветствуем!
15:13
Logan
коллеги, ни у кого не сохранилось видео про логи в яндексе? по-моему HL++
15:19
Vovan
Яндекс деньги?
15:20
Gabriel
Но они там сейчас переделали немного. Ушли от хеки. Он писал как-то в чате эластика
15:23
Gabriel
Adel Sachkov 07.08.2018 13:22:10
Мы уже оказываемся от хеки. Объемы выросли, уперлись в её производительность. Провели тесты сравнения по скорости и производительности - переезжаем на rsyslog. Заруливает всех в минуса. В т.ч. и флюент.
15:24
Vovan
Конфиги индексов и эластика с явой бы получить 🤔
15:25
Logan
то есть они пишут из rsyslog прямо в эластик?
15:26
Gabriel
Ну, я думаю ему можно в чате вопрос задать по тюнингу
15:26
Gabriel
Adel Sachkov 07.08.2018 14:08:36
Либо rsyslog -> Logstash -> ES, либо схема будет rsyslog на хосте ->rsyslog на приёмном конце (парсинг) -> ES
15:27
Gabriel
Если у вас таких объемов нет, то думаю и fluentd хватит
15:27
Vovan
А почему не родными агентами?
15:29
Gabriel
Filebeat? Fleunt быстрый, легковесный, с модулями может сам парсить лог, исключаем из схемы logstash, который жрет дохрена памяти и цпу
15:31
Bogdan (SirEdvin) Gladyshev
А кто-то пробовал на серьезных объемах ingest-node? А то у меня все ок, но у меня поток логов не больше 50 в секунду
16:07
Sergey Pechenkó
Это вполне себе возможно
16:08
Logan
я знаю, что возможно, я изучаю варианты
16:09
Sergey Pechenkó
В твоём предложении логстэш лишний. Обогащение и предобработка также может делаться на rsyslog.
16:10
Logan
в моем?
я пока не знаю, как делать централизованый логгинг. Я пока только изучаю чужие истории успеха (или, скорее - неуспеха)
16:11
Vovan
Я пока остановился на полном стэке эластика, но у меня объемы не те. Все зависит от объемов
16:12
Но логстэш жрет реально много ресурсов
16:23
Gabriel
Logstash это пайплайн, в котором можно много чего делать, а этот logzoom судя по всему чисто перенаправляет
16:28
Roman Lomonosov
да. просто у меня все делает filebeat, а логстеш тупо пишет сообщеньки в файлы. подумываю заменить logstash на что-то самописное и думал взять logzoom за основу. но может кто-то им пользовался и скажет что он так себе
Igor Kudrin invited Igor Kudrin
16:54
Deleted Account
@clain23 будет жить. Поприветствуем!
17:00
Bogdan (SirEdvin) Gladyshev
А почему filebeat'ом тогда и не писать в файл?
17:00
По идее можно сделать filebeat over filebeat
17:02
Roman Lomonosov
а он так умеет (принимать по сети и писать в файл)? вроде нет
17:02
Bogdan (SirEdvin) Gladyshev
17:03
И у него есть tcp/upd input'ы, но вот сработает ли filebeat -> filebeat я не уверен, но по идее должно
17:11
Можно еще через redis как шину :)
17:12
Roman Lomonosov
у меня щас logstash с файлами на диске как раз как шина между filebeat и clickhouse. шину перед шиной я делать не буду )
17:14
Bogdan (SirEdvin) Gladyshev
Ну, я бы рискнул попробовать все-таки filebeat отправляет на другой filebeat делая вид, что тот logstash, а тот благородно записывает в файл. Может заработать
Limbo Messiah invited Limbo Messiah
20:02
Deleted Account
@NitroJuice будет жить. Поприветствуем!
21:12
Serega
fluentbit так умеет. я тестировал. В частности, fluentbit -> fluentbit -> es
23:12
Roman Lomonosov
все еще его
23:50
Sergey Pechenkó
на мой взгляд, ты как-то очень расточительно к ресурсам относишься. эти оба друга жрут что память, что проц как не в себя.
23:56
Roman Lomonosov
ну logstash жрет много, поэтому и хочу заменить. а вот filebeat в этом у меня не замечен
23:57
Deleted Account
Попробуй graylog
23:57
Это тоже elastic search но для rsyslog / flowlogs
00:02
Roman Lomonosov
спасибо за советы, но единственный вопрос который меня интересовал - это пробовал ли кто-то
https://github.com/packetzoom/logzoom 🙂 у меня КХ в качестве хранилища и filebeat в качестве тейлилки и парсилки логов. и эти две составляющие я менять не собираюсь - они меня вполне устраивают
00:42
Alexey Genus
А откуда данные, что filebeat много памяти жрет? И много - это сколько?
Сколько ни гуглил, не мог найти подтверждений. Везде либо исправленные баги, либо что-то не так настроили.
00:54
Deleted Account
Интересно посмотреть что это , никогда не сталкивался
05:25
Yury Bushmelev
чорд… кажется я на него плохо навлиял на прошлом HL++ 😄
05:26
не надо, если можно обойтись rsyslog + ES + kibana
05:26
оно жрет проц, как logstash
05:27
у нас он тупо из json перекладывал в json и надо было 7 серверов, чтобы прожевать 200k msg/s..
05:27
я бы его выпилил, если бы нас алибаба не выпилила
05:30
собсна, мы graylog применяли, чтобы разделать доступ разных команд к логам разных API, ибо бизапасна должно быть в библиотеке…
08:48
Deleted Account
Понятно, учту, потому что у меня сейчас грейлог стоят но сообщений меньше
08:54
Yury Bushmelev
на мало сообщений, которые надо парсить - он прям хорош
08:55
но потом начинается боль и страдания
09:10
Deleted Account
А с java снимаете prometheus или чем то другим метрики?
09:13
Yury Bushmelev
jmx_exporter + специфичные экспортеры => prometheus, если я правильно вопрос понял
09:13
Andor
Это ваще не в тему чята, если речь про метрики
Valentin Droff invited Valentin Droff
00:10
Deleted Account
@droff будет жить. Поприветствуем!
13:40
Logan
коллеги, я правильно понимаю, что templates в rsyslog возможны только для исходящих сообщений? И привязать темплейт к imfile-у невозможно?
15:31
Sergey Pechenkó
Зависит от результата. Ты хочешь распарсить входящее сообщение по шаблону?
15:35
Это возможно, но шаблон придётся переписать на ruleset для liblognormalize.
15:41
Logan
попробую обьяснить, что я хочу. У меня есть куча машин, с которых я хочу собирать логи. Часть логов – это то, что идет в syslog, и их я могу нормальным RELP слать на сервер, не думая об их формате. Но часть логов – это файлы, свой собственный формат. Перед отправкой мне надо, как я понимаю, распарсить этот лог, выдернув из него все поля
16:51
Sergey Pechenkó
Тогда точно, любой вход ты сможешь через mmnormalize разобрать
07:18
Yury Bushmelev
Там был pmnormalize вроде, но не помню, когда он появился (и появился ли)
07:20
Но в принципе mmnormalize тоже справится, просто с небольшим оверхедом
07:20
Оверхед копеечный если что
10:32
Artem Pastukhov
Коллеги, есть ли тут спецы по грейлогу?
10:33
Можно ли как-то с минимальной нагрузкой раскладывать логи из кафки по разным топикам в разные стримы и индексы?
11:38
Yury Bushmelev
Нууууу
11:39
грейлог как-то должен понять, из какого топика сообщение
11:39
Раньше вроде не было такой возможности, если не положить в сообщение такое поле
11:40
А если положить, то создаешь нужное количество стримов, каждый аттачишь к отдельному индексу и пишешь правило типа поле-про-топик=топик-этого-стрима
11:42
Можно автоматизировать создание стримов, индексов и правил. Я делал простенький скрипт на питоне для создания стримов и правил
11:42
Там апишечка нормальная
13:20
Думал, может есть какие-то способы прям в инпуте указать стрим и не писать правил
16:10
alexander baygeldin
всем привет) а не встречался ли кто-нибудь с такой проблемой, что fluentd работает (systemctl status td-agent) и в логах все ок (/var/log/td-agent/td-agent.log), но он не слушает порты, которые должен (netstat -tulpn)? конфиг идентичный на двух инстансах и только на одном такая проблема.
16:15
Yury Bushmelev
strace
16:17
Sergey Pechenkó
файрвол + selinux
16:32
Denis Ustinov
selinux, полюбому
16:34
Logan
он пишет в куче мест, простейший dmesg ничего не говорит?
16:34
права на привелигированные порты есть?
16:34
если в форграунде флюент запустить - говорит чего?
16:34
Denis Ustinov
попробуй просто запустить через командную строку
17:00
alexander baygeldin
пока не вижу ничего специфичного, но спасибо за наводки! покопаюсь в этой куче логов)
18:16
rus dacent
rus dacent 08.11.2018 18:15:58
18:16
The open source guide to DevOps monitoring tools
18:17
Sergey Pechenkó
Здесь есть про логи?
18:17
Alexey Genus
Здесь все: Никита, Стас и Дюша Метелкин!
18:18
rus dacent
3 open source log aggregation tools
18:18
Sergey Pechenkó
Ок.
15:04
Womchik
hi! я правильно понимаю, что graylog не умеет слать notification при resolve alert?
06:16
Yury Bushmelev
В нотификациях грейлога я не очень. Мы прикручивали плагин opsgenie к нему для сетевиков, но они мгновенно замьютили алерты и никакого фидбэка не было
Tkorochka invited Tkorochka
09:37
Deleted Account
@Tkorochka будет жить. Поприветствуем!
Dmitry Tigrov invited Dmitry Tigrov
11:22
Deleted Account
@dmitrytiger будет жить. Поприветствуем!
11:26
PsyDebug
Друзья, почемут не получается в логстэше дату сматчить. Получил строку вида "2018-11-19 15:17:52 +0300"
Пишу
date {
match => ["logTimestamp", "yyyy-MM-dd HH:mm:ss Z"]
target => "@timestamp"
}и получаю _dateparsefailure. Пробовал также сматчить без таймзоны, засунул в logTimestamp 2018-11-19 15:17:52 и описал как yyyy-MM-dd HH:mm:ss, тоже получаю фэйл.
11:29
Andor
Это же iso формат, может там проще можно указать?
11:31
PsyDebug
ну у меня чтот уже нет вариантов
11:51
Yury Bushmelev
IIRC timestamp - внутренний таймстемп
11:51
он в другом формате был
11:52
в веб-морде можно в любом сообщении посмотреть, там что-то иное, с тремя знаками в миллисекундах
11:53
я с этим наплясался, у меня логи приходили из разных таймзон, я никак не мог заставить грейлог понимать таймзоны в таймстемпах
11:53
в итоге переписывал в rsyslog 🙁
11:58
PsyDebug
Он к нему сам вроде должен привести
11:58
Yury Bushmelev
это если сматчил
11:58
вот у меня не получалось матчить с таймзоной емнип
11:58
PsyDebug
Вот и вопрос с чего он не матчится)
11:58
Yury Bushmelev
ну и названия полей пересекаются, попробуй в другое имя попробовать