Як я заощадив клієнту тисячі, видаливши понад 200 непотрібних API-ендпоінтів
Як я автоматизував аналіз використання API за допомогою Datadog, Kibana та Jira, допоміг видалити понад 200 непотрібних ендпоінтів і вивести з експлуатації мікросервіси та функції AWS Lambda.
На цій сторінці
Прихована вартість розростання API
Іноді найцінніша інженерна робота полягає не в додаванні чергової функції. Вона полягає в тому, щоб зрозуміти, що системі більше не потрібно.
У попередньому проєкті я працював із великою мікросервісною архітектурою, яка містила понад тисячу ендпоінтів API. З розвитком продуктів деякі функції зникали, але створені для їх підтримки ендпоінти залишалися. У результаті залишався код, який доводилося аналізувати, тестувати, захищати й підтримувати, хоча він уже не виконував корисної функції.
Я побачив можливість перейти від накопиченого технічного боргу до конкретних дій. Результатом стало вилучення понад 200 невикористовуваних ендпоінтів API, а також виведення з експлуатації кількох мікросервісів і функцій AWS Lambda.
Чому невикористовувані ендпоінти API мають значення
Сам собою невикористовуваний API-ендпоінт не спричиняє значних витрат на хмарну інфраструктуру. Якщо його ніхто не викликає, безпосередні витрати на його обробку можуть бути майже нульовими. Справжні витрати часто криються в іншому: у відповідальності за підтримку коду, тестах, залежностях, перевірках безпеки, усуненні несправностей і невизначеності, з якою стикаються розробники під час внесення змін у застарілі системи.
У мікросервісному середовищі застаріла функціональність також може змушувати підтримувати інфраструктуру, яка вже не потрібна. Сервіс або функція Lambda, які більше не потрібні, все ще можуть мати пов'язану інфраструктуру, конфігурацію, моніторинг та додаткові витрати на підтримку. Видалення непотрібного ендпоінта спрощує код. А коли завдяки цьому можна вивести з експлуатації пов’язану інфраструктуру, економія стає значно відчутнішою.
Від припущення до підтверджених даних
За наявності понад тисячі ендпоінтів, перевіряти їх по одному було б неефективним використанням інженерного часу. На щастя, у проекті вже були інструменти спостереження за роботою системи (observability): Datadog для моніторингу та трасування і Kibana для аналізу журналів подій сервісів.
Ці інструменти дали змогу дослідити, які ендпоінти отримували трафік протягом певного періоду спостереження. Але є важливе застереження: відсутність зафіксованих запитів не доводить, що API можна безпечно видалити. Логи можуть мати обмежений термін зберігання, моніторинг може бути неповним, а деякі ендпоінти використовуються лише для рідкісних завдань або інтеграцій.
Тому відсутність трафіку або його незначний обсяг я розглядав як привід для додаткової перевірки, а не як підставу для автоматичного видалення. Метою було визначити ендпоінти, які варто перевірити на можливість видалення, і впорядкувати подальшу роботу.
Автоматизація за допомогою API Datadog, Kibana та Jira
Замість того, щоб витрачати дні на ручний перегляд панелей моніторингу, я використав API Datadog та Kibana, щоб автоматизувати повторювану частину перевірки. Це дозволило аналізувати використання ендпоінтів у масштабі, за якого ручна перевірка була б надто трудомісткою.
Далі я використав API Jira, щоб автоматично створювати завдання для перевірки ендпоінтів, які могли бути непотрібними. Це перетворило розрізнену інформацію з моніторингу на впорядкований перелік інженерних завдань.
Найцікавішим була не сама інтеграція API. Це було усвідомлення того, що інструменти, за які ми вже платили, можна об'єднати у практичний робочий процес: знайти потенційно непотрібні ендпоінти, зафіксувати результати, перевірити їх використання й організувати видалення. Автоматизація допомогла зосередити увагу інженерів на прийнятті рішень, а не на повторюваних пошуках.
Результат: вилучено понад 200 ендпоінтів — і виведено з експлуатації інфраструктуру
Зрештою ініціатива допомогла нам вилучити понад 200 невикористовуваних ендпоінтів API. Що важливо, ця робота також дала змогу вивести з експлуатації кілька мікросервісів та функцій AWS Lambda, які більше не були потрібні.
Ця різниця має значення. Видалення невикористовуваних обробників маршрутів спрощує кодову базу; виведення з експлуатації цілих робочих навантажень також може усунути постійні витрати на хмарну інфраструктуру та її експлуатацію. Менше компонентів означає менше об'єктів для розгортання, моніторингу, усунення несправностей та забезпечення безпеки.
Я більше не маю доступу до рахунків AWS або історичних показників клієнта, тому не можу надати перевірену суму в доларах чи стверджувати, що продуктивність системи вимірювано зросла. Згадка «тисяч» у заголовку означає приблизну оцінку уникнутих витрат на інфраструктуру й інженерну роботу, а не документально підтверджену суму економії. Результати, які я можу підтвердити, — це вилучення 200+ ендпоінтів та виведення з експлуатації сервісів і функцій Lambda.
Головний висновок: оптимізація потребує інженерного мислення
Легко вимірювати результати інженерної роботи кількістю випущених функцій. Але зрілі системи також виграють від інженерів, які ставлять під сумнів доцільність існування окремих елементів.
Для мене цей проєкт був чимось більшим, ніж просто видаленням коду. Я виявив можливість у складній системі, використав дані моніторингу, щоб перевірити своє припущення, автоматизував рутинну роботу та допоміг перетворити результати аналізу на конкретні зміни.
Якісна інженерна робота — це не лише створення нових можливостей. Іноді важливіше виявити, що вже не потрібне, обґрунтувати рішення й безпечно спростити систему.
