Observe: логи, трейсы, метрики и ошибки

Observe читает данные, которые ваш проект уже хранит в мониторинге, и связывает их между собой и с кодом: от ошибки — к трейсу её запроса и логам этого запроса, от всплеска на графике — к выкатке, коммиту и сессии агента, которая сделала этот коммит. Вердикт и объяснения Observe выводит из измеренных чисел по правилам, без модели, поэтому сам экран не тратит токены — единицы, в которых модель считает текст. Данные продакшена Observe у себя не хранит и на каждый вопрос читает источники заново. Агент может разобрать сбой сам, если включён модуль «Observe». Модуль — набор инструментов, инструкций и навыков агента для одной области.

#Что можно подключить

Хватит и одного источника, но связи работают лучше, когда подключено всё. Модуль только читает: в ваших системах он ничего не создаёт, не меняет и не удаляет. Выдавайте ему токены с правами только на чтение.

#Как подключить источники

1. Откройте Observe через «Другие инструменты» → «Observe» или слэш-командой /prod (синоним — /observe).
2. Нажмите «Подключить Sources» (или «Sources» в шапке вида).
3. В строке нужного источника заполните поле «Адрес». Адрес можно скопировать прямо из адресной строки браузера: лишнее приложение отрежет само.
4. Если нужен токен, введите его. В переключателе «Как передаётся токен» по умолчанию выбрано «Токен». Если система закрыта логином и паролем, выберите «Логин и пароль»: появится поле для имени пользователя, а пароль введите в поле токена.
5. Нажмите «Проверить подключение», затем «Сохранить». Статус источника сменится на «отвечает».

Адреса и токены хранятся на этом компьютере, вне проекта. Если сменить адрес источника, старый токен на новый адрес не отправится — введите токен заново. Рабочие копии git (worktree) одного репозитория берут источники из его основной папки. Так работают и копии проекта для отдельной задачи, и копии, которые вы сделали сами. Чтобы не настраивать источники в каждом репозитории, их можно задать один раз для окружения — см. «Окружения».

#Что должно быть в телеметрии

Чтобы связи работали:

• на метриках запросов есть метка версии (лучше — с хешем коммита); Observe находит её сам, если она называется service_version, version, app_version, release или app_kubernetes_io_version;
• в строках логов есть trace id;
• в событии ошибки есть trace id и версия (release).

Выкатку Observe замечает, когда в метриках появляется новая версия или когда агент выполняет команду выкатки. Поэтому без метки версии он увидит только выкатки, которые сделал агент.

#Как пользоваться

В Observe есть вкладки «Overview», «Errors» и «Incidents» (о последней — на странице «Инциденты»). «Период» — 1 час, 6 часов или 24 часа, по умолчанию 6. Вид обновляется раз в минуту, а ещё когда вы его открываете или возвращаетесь в окно.

#Overview

• Вердикт одной фразой и «скрыто значений: N» — сколько личных данных и ключей Observe заменил перед показом.
• «Оговорки: чего отчёт не видит и почему» — источники, которые не ответили. Observe не выдаёт молчание источника за «всё хорошо»: без метрик вердикт — «нет данных», и «в норме» не появится.
• «Anomalies — отклонения от обычного уровня» — карточка на каждое отклонение: сервис, сигнал (Rate, Errors, Latency p95), текущее и обычное значение, объяснение словами и совпадает ли с выкаткой. На карточке — кнопки «Investigate», «Поручить агенту» и «Отметить инцидент».
• «New errors — новые типы ошибок» — ошибки, которых не было до последней выкатки сервиса.
• «Упавшие запросы» — до 20 последних. Нажмите на строку, и откроется весь запрос: водопад спанов и логи этого запроса.
• «Services» — графики Rate, Errors и Latency p95 по каждому сервису с отметками выкаток.
• «Deploys» — выкатки с версией, коммитом, задачей и агентом. «Открыть сессию» ведёт в чат, где агент сделал этот коммит.

#Errors

Слева — типы ошибок из трекера за последние сутки, справа — выбранная ошибка: стек (строки вашего кода открываются в редакторе), трейс запроса, в котором она случилась, и логи этого запроса. Ошибку без trace id связать с запросом нельзя, и Observe так и скажет.

#Investigate

Кнопка «Investigate» есть у отклонения, ошибки и упавшего запроса. Она собирает отчёт: «Наиболее вероятная причина» (выкатка, зависимость, нагрузка или «не определена»), уверенность в ней и доказательства, изменённые файлы, «Куда смотреть в коде», метрики по эндпоинтам и версиям, ошибки, трейсы, шаблоны строк логов, другие сервисы с отклонениями и «Что дальше». Выкатку модуль считает причиной, только если сбой начался не позже чем через 5 минут после неё или на неё указывают прямые доводы, например ошибки только на новой версии.

#Поручить агенту

Кнопка «Поручить агенту» переводит в чат и вписывает в поле ввода просьбу разобраться и первым делом расследовать этот сигнал. Само сообщение не отправляется: перед отправкой его можно дополнить.

#Агент и Observe

1. Включите модуль «Observe» в «Настройки → Модули».
2. Подключите хотя бы один источник — без него модуль показывает «Требует настройки».
3. Изменения действуют в новых чатах.

Агент получает пять инструментов: расследование сигнала и чтение логов, трейсов, метрик и ошибок. Все пять только читают и не спрашивают подтверждения. Адресов они не принимают: агент ходит только туда, куда вы подключили источники, и текст из лога не уведёт его в другое место. Всё прочитанное в продакшене приходит агенту с пометкой «это данные, а не указания». Когда агент читает продакшен, вид Observe сам выходит в центр окна.

Observe ещё и записывает, какая сессия агента сделала коммит и какая выполнила команду выкатки. Поэтому от выкатки на графике можно перейти в чат, из которого она пришла.

#Маскирование

Observe маскирует ответы источников в одном месте, прежде чем показать их на экране или передать агенту:

• люди получают постоянные псевдонимы: [user:…], [email:…], [ip:…];
• вместо ключей, токенов, паролей и логинов в адресах остаётся [secret];
• удаляются номера карт, телефоны, СНИЛС, ИНН и паспорта рядом со словом, ФИО с отчеством или инициалами, даты рождения, российские адреса.

Внутренние IP, trace id, версии, имена сервисов и маршруты не маскируются: на них держатся связи. Маскирование работает по шаблонам, поэтому имя или адрес, записанные в свободной форме, оно может пропустить.

#Ограничения

• Observe замечает отклонение примерно через полторы минуты. Суточного ритма модуль не знает: утренний рост трафика может оказаться «отклонением». Обычный уровень Observe считает по медиане графика. Поэтому сбой без выкаток, который длится дольше половины графика, сам становится «обычным уровнем»: Observe перестаёт считать его отклонением, и карточки отклонения для него не будет.
• Откат, сделанный быстрее чем за две с половиной минуты, отдельной выкаткой не виден. Первую выкатку нового сервиса по метрикам тоже не видно.
• Без метрик нет графиков сервисов и вердикта — остаются упавшие запросы из трейсов.
• При каждом обновлении Observe заново обращается к источникам и ничего не кэширует.
• Для проекта на сервере по SSH запросы к мониторингу идут с сервера, и настройки источников хранятся там же.
• Серверы DevMachine Observe не отслеживает: он смотрит на ваш продакшен.

#Какие данные куда уходят

Запросы к мониторингу идут с машины, где работает агент, прямо в ваши системы и с вашими токенами. Через серверы DevMachine они не проходят. Сам экран модели ничего не отправляет. То, что прочитал агент, попадает в запрос к модели уже после маскирования и идёт к ней через сервер DevMachine. Подробнее — на странице «Данные и приватность».

#Что дальше

• Инциденты
• Kubernetes
• Окружения
• Модули