Jak zaoszczędziłem klientowi tysiące, usuwając ponad 200 nieużywanych endpointów API
Jak wykorzystałem API Datadog, Kibany i Jiry do automatyzacji analizy ruchu, co pomogło usunąć ponad 200 nieużywanych endpointów oraz wycofać zbędne mikroserwisy i funkcje AWS Lambda.
Na tej stronie
Ukryty koszt rozrostu API
Czasami najbardziej wartościowa praca inżynierska nie polega na dodawaniu kolejnej funkcji. Polega na ustaleniu, czego system już nie potrzebuje.
W poprzednim projekcie pracowałem z dużą architekturą mikrousług zawierającą ponad tysiąc endpointów API. W miarę ewolucji produktów niektóre funkcje znikały, ale endpointy zbudowane do ich obsługi pozostawały. W rezultacie pozostawał kod, który nadal trzeba było analizować, testować, zabezpieczać i utrzymywać, choć nie spełniał już żadnej użytecznej funkcji.
Dostrzegłem możliwość uporządkowania narastającego długu technicznego i przełożenia obserwacji na konkretne działania. Rezultatem było usunięcie ponad 200 nieużywanych endpointów API, a także wycofanie z eksploatacji kilku mikrousług i funkcji AWS Lambda.
Dlaczego nieużywane endpointy API mają znaczenie
Sam nieużywany endpoint nie musi generować znaczących kosztów infrastruktury chmurowej. Jeśli nikt jej nie wywołuje, bezpośredni koszt jego obsługi może być bliski zeru. Prawdziwy koszt często leży gdzie indziej: w konieczności utrzymywania kodu, testach, zależnościach, przeglądach bezpieczeństwa, diagnozowaniu problemów i niepewności, z jakimi mierzą się programiści przy wprowadzaniu zmian w starych systemach.
W środowisku mikrousług przestarzała funkcjonalność może również wymuszać utrzymywanie niepotrzebnych już usług i zasobów. Usługa lub funkcja Lambda, która nie jest już potrzebna, wciąż może mieć powiązaną infrastrukturę, konfigurację, monitoring i koszty utrzymania. Usunięcie zbędnego endpointu upraszcza kod. Gdy pozwala też wycofać powiązaną infrastrukturę, oszczędności stają się znacznie bardziej wymierne.
Od przypuszczeń do danych
Przy ponad tysiącu endpointów sprawdzanie ich jeden po drugim byłoby nieefektywnym wykorzystaniem czasu zespołu. Na szczęście w projekcie działały już narzędzia do obserwowania działania systemu (observability): Datadog do monitorowania i śledzenia żądań oraz Kibana do analizy logów usług.
Narzędzia te umożliwiły zbadanie, które endpointy wydawały się odbierać ruch w danym okresie obserwacji. Istnieje jednak ważna różnica: brak zarejestrowanych żądań nie oznacza jeszcze, że endpoint API można bezpiecznie usunąć. Logi mogą mieć ograniczony czas przechowywania, monitoring może być niepełny, a niektóre endpointy są używane tylko przez rzadko uruchamiane zadania lub integracje.
Dlatego brak ruchu lub jego niewielkie natężenie traktowałem jako przesłankę do dalszej weryfikacji, a nie podstawę do automatycznego usunięcia. Celem było zidentyfikowanie endpointów wymagających weryfikacji i uporządkowanie dalszych działań.
Automatyzacja z wykorzystaniem API Datadog, Kibany i Jiry
Zamiast spędzać dni na ręcznym przeglądaniu paneli monitoringu, wykorzystałem API Datadog i Kibana, aby zautomatyzować powtarzalną część analizy. Pozwoliło mi to przeanalizować użycie endpointów na skalę, przy której ręczne sprawdzanie byłoby zbyt czasochłonne.
Następnie wykorzystałem API Jiry do automatycznego tworzenia zgłoszeń dotyczących endpointów wymagających weryfikacji. W ten sposób rozproszone dane z monitoringu stały się uporządkowaną listą zadań inżynierskich.
Najważniejsza nie była sama integracja z API. Było nią dostrzeżenie, że narzędzia, za które już płacimy, można połączyć w praktyczny proces: wskaż potencjalnie zbędne endpointy, udokumentuj wyniki, zweryfikuj ich wykorzystanie i zaplanuj usunięcie. Automatyzacja pomogła nam skupić uwagę inżynierów na decyzjach, a nie na powtarzalnym wyszukiwaniu.
Rezultat: ponad 200 usuniętych endpointów i wycofana infrastruktura
Inicjatywa ostatecznie pomogła nam usunąć ponad 200 nieużywanych endpointów API. Co ważne, prace umożliwiły również wycofanie z eksploatacji kilku mikrousług i funkcji AWS Lambda, które nie były już wymagane.
Ta różnica ma znaczenie. Usunięcie nieużywanych funkcji obsługujących żądania upraszcza bazę kodu; wycofanie całych usług i powiązanych zasobów może dodatkowo wyeliminować bieżące koszty chmurowe i operacyjne. Mniej komponentów oznacza mniej elementów do wdrażania, monitorowania, rozwiązywania problemów i zabezpieczania.
Nie mam już dostępu do rozliczeń AWS ani historycznych metryk klienta, więc nie mogę podać zweryfikowanej kwoty w dolarach ani twierdzić, że zmierzyłem poprawę wydajności potwierdzoną pomiarami. Odniesienie w tytule do „tysięcy” to orientacyjny szacunek unikniętych kosztów infrastruktury i pracy inżynierskiej, a nie kwota oszczędności potwierdzona audytem. Rezultaty, które mogę potwierdzić, to usunięcie 200+ endpointów oraz wycofane usługi i funkcje Lambda.
Najważniejszy wniosek: optymalizacja wymaga inżynierskiego podejścia
Łatwo mierzyć efekty pracy inżynierskiej liczbą dostarczonych funkcji. Jednak dojrzałe systemy czerpią korzyści także z inżynierów, którzy kwestionują to, co nadal powinno istnieć.
Dla mnie ten projekt oznaczał coś więcej niż samo usuwanie kodu. Zidentyfikowałem okazję w złożonym systemie, wykorzystałem dostępne dane z monitoringu do weryfikacji przypuszczeń, zautomatyzowałem powtarzalną pracę i pomogłem przełożyć wyniki analizy na konkretne zmiany.
Dobra praca inżynierska nie polega wyłącznie na tworzeniu nowych funkcji. Czasem większą wartość przynosi rozpoznanie tego, co jest już zbędne, uzasadnienie decyzji i bezpieczne uproszczenie systemu.
