Технологии на службе данных. Как Т-Банк оптимизировал аналитику
Почему одни компании интуитивно двигаются на ощупь, а другие видят путь на шаг вперёд? IT World разбирался, как банк построил работу с данными так, чтобы каждый шаг был результативным, а также почему был выбран подход Data-Driven.
Концепция принятия решений на основе данных действительно не нова, известна еще с 1990-х годов. В глобальной сети опубликовано множество материалов — статей, кейсов. Например, исследования McKinsey говорят о том, что data-driven подход позволяет компаниям быть более чем в 23 раза эффективнее в привлечении новых клиентов, до 7 раз лучше удерживать существующих. И в целом вероятность построить прибыльный бизнес у так называемых чемпионов в 19 раз выше, чем у отстающих.
Однако лидерами DDDM или Data-Driven Decision Making согласно исследованию Melbourne Business School можно считать не более 12% крупных компаний. То есть всего 1 компания из 9 применяет аналитику данных во всех сферах своей деятельности. Примерно половина — исследователи, те кто пытается искать драйверы развития в данных, но делают это фрагментарно.
Почему? Ответ кроется в культуре и технологиях.
Data-Driven культура
Мы в Т-Банке уже много лет развиваем культуру данных. Это один из краеугольных камней, часть нашей ДНК. Даже шутка есть: “Если в Т-Банке ты презентуешь проект без цифр, то ты работаешь не в Т-Банке”. Наши руководители на уровне топ-менеджмента часто проводят эфиры, где говорят о целях компании, необходимых инвестициях, обосновывают их в цифрах. Поэтому даже в командах внутренних сервисов принято ставить задачи и измерять результат. Он может быть выражен в количестве пользователей, скорости операций, оптимизации затрат или даже в метриках CSAT опросов. В компании работает несколько тысяч аналитиков, отвечающих за процессы, продукты и клиентский опыт. Мы проводим регулярные митапы, посвященные аналитике данных, в том числе и для внешней публики, где делимся кейсами и практиками, обмениваемся опытом. Взращивать и поддерживать такую культуру в компании — большая, непростая, но очень важная работа. И она приносит плоды. Достаточно посмотреть на темпы нашего роста — за 5 лет мы увеличили клиентскую базу в 4 раза и продолжаем бурно развиваться, сохраняя ROE на уровне 30% и выше. Все это благодаря тому, что мы хорошо знаем клиентов, их потребности и то как они пользуются нашими сервисами. Знаем потому, что умеем работать с данными.
Роль технологий не менее важная. А может даже и более. Ведь без соответствующих решений data-driven культуру создать невозможно. Если обратиться к исследованиям, то, в частности Sigma Computing говорит о том, что 63% сотрудников не могут получить ценную информацию вовремя, а Forrester Research — что до 75% данных вовсе не используется в аналитических целях, так как у компаний нет возможности обеспечить к ним доступ и своевременно обработать.
Традиционный подход к анализу данных VS data-driven подход
Все дело в неэффективности традиционных подходов. Проекты по анализу данных в компаниях, применяющих классические решения на основе структурированных баз данных и BI типично выглядят так: проектируются интересующие метрики, закладываются в приложения, затем данные накапливаются в хранилище, после чего сводятся, часто вручную, в отчеты. Все это занимает значительное время, а результат не всегда оказывается ценным. Корреляции могут быть не выявлены. Или из-за ошибки на том или ином этапе полученные значения могут не отражать действительность. Да, вопрос качества данных стоит сейчас очень остро. На конференции ЦИПР в мае 2024 года об этом много говорили и обсуждали в самых разных разрезах. В итоге принимаются запоздалые неверные решения. Эксперименты, на которые потрачено много усилий, проваливаются. Приходит разочарование.
Мы тоже с этим сталкивались, но сейчас работаем принципиально иначе. В 2020 году мы разработали платформу наблюдаемости и операционной аналитики Sage Observability. Платформа агрегирует всю телеметрию (логи, метрики, трассировки) в контуре компании от инфраструктуры до бизнес-приложений, предоставляет к ним доступ и инструменты произвольной обработки. Тем самым решает следующие проблемы:
- Качество. Логи, журналы являются самой подробной информацией о происходящем, содержащей все связи и контекст. Таким образом мы имеем возможность оперировать детальными данными - событиями, транзакциями. Ошибки бывают и у нас, но, обладая информацией буквально от первоисточника, результат можно проверить, ошибки - исправить и все пересчитать.
- Скорость. Sage работает в реальном времени. Мы проводим огромное количество A/B-тестов, так как нет необходимости создавать или модифицировать аналитические инструменты. Уже на этапе MVP достаточно только логов приложений, чтобы все обсчитать. И результат получаем сразу, не более минуты с момента запуска теста.
- Событийность. Возможность работать на таком уровне позволяет нам выявлять даже индивидуальные трудности, с которыми сталкиваются клиенты, и помогать им проактивно до того как они обратятся в службу поддержки. Мы снизили обращаемость в контактный центр в 2 раза благодаря такой автоматизации.
- Демократизация доступа. Sage - это платформа, работающая в формате self-service. Каждая команда, каждый сотрудник может использовать ее для аналитики данных, решая собственные задачи. Для работы с логами мы разработали гибкий язык MageQL, который легко освоить. В результате ежемесячно пользователями платформы становятся 12 тысяч сотрудников банка и это количество непрерывно растет.
- Безопасность данных. Sage хранит информацию в теннантах — изолированных пространствах собственного хранилища — и обладает ролевой моделью доступа к данным. Дополнительно мы реализовали инструменты выявления и маскирования чувствительной информации, тем самым защищены от утечек.
- Сквозная видимость. Процессы в крупных компаниях, например, закупки или кредитный конвейер, проходят через множество этапов, за каждый из которых могут отвечать разные департаменты и ИТ-системы. Благодаря тому, что все данные собраны в одном месте, мы можем собирать процессы в единые цепочки, отслеживать эффективность каждого этапа, конверсии, выявлять проблемы и риски.
Также решение Sage Observability помогает нам и Национальной Системе Платежных Карт (НСПК) обеспечивать качество и доступность услуг. Благодаря ему мы быстро обнаруживаем инциденты - MTTD (Mean Time to Detect) после замены “зоопарка” из более чем 30 ранее используемых разрозненных решений мониторинга на Sage сократился на 90% и сейчас измеряется в секундах. А среднее время устранения сбоя (MTTR - Mean Time To Repair) — в минутах. В целом за 5 лет, несмотря на бурный рост инфраструктуры и сервисов, количество сбоев, влияющих на клиентов, снизилось в 20 раз.
Проект с НСПК, главной задачей которого является обеспечение SLA 99,999% для национально значимого сервиса, не единственный за пределами Т-Банка. Технологии наблюдаемости и операционной аналитики сложны в реализации. Мы изначально применяли Splunk, а после его ухода вложили много сил в создание и масштабирование собственного решения. Потому что понимали, что не иметь данные когда они нужны — гораздо дороже. Сейчас все больше компаний в России это осознают.
