Pinterest buduje z Nvidią wspólną warstwę AI dla szybszego wyszukiwania obrazem

Pinterest nie ogłosił jednej, nowej funkcji dla użytkowników. Najważniejsza jest wspólna warstwa infrastruktury AI, z której mogą korzystać różne zespoły produktowe. Ma ona ograniczyć potrzebę tworzenia odrębnego systemu obsługi modeli dla każdego rozwiązania wykorzystującego jednocześnie obrazy i język. 46

Z czego składa się nowa warstwa AI

Platforma opiera się na trzech głównych elementach:

• GPU Nvidia Blackwell B200 — sprzęcie zapewniającym moc obliczeniową dla modeli łączących analizę obrazu i języka. 4
• Nvidia Dynamo — oprogramowaniu do obsługi i kierowania zadaniami wykonywanymi przez modele multimodalne. 24
• Embeddingach wizualnych Pinterest — wcześniej wyliczonych numerycznych reprezentacjach materiałów wizualnych, które można przekazać modelowi bez ponownego przetwarzania tego samego obrazu od zera przy każdym zapytaniu. 26

W praktyce ma to stworzyć wspólny fundament dla wyszukiwania wizualnego, asystenta, systemów bezpieczeństwa oraz innych usług. Zamiast rozwijać każdą z nich jako osobny projekt infrastrukturalny, Pinterest może budować je na tej samej bazie technicznej. 6

Jakie funkcje ma obsługiwać

Pinterest wskazuje, że warstwa ma wspierać rosnącą grupę funkcji wykorzystujących obraz i język: wyszukiwanie wizualne, rozumienie treści, odkrywanie produktów i zakupy wspierane przez AI, konwersacyjnego Pinterest Assistant, multimodalne ponowne porządkowanie wyników, systemy bezpieczeństwa treści oraz generowanie sygnałów. 46

To istotne, ponieważ serwis nie musi interpretować wyłącznie wpisanego hasła. Może zestawić słowa użytkownika z tym, co znajduje się na obrazach — co jest szczególnie przydatne w usłudze opartej na inspiracjach wizualnych, rekomendacjach i odkrywaniu produktów.

Pinterest podaje, że wykorzystuje ponad 80 miliardów wyszukiwań miesięcznie do tworzenia sygnałów dla odkrywania treści i zakupów wspieranych przez AI. Nowa infrastruktura ma ułatwić wykorzystanie tych sygnałów w coraz bardziej wizualnych i konwersacyjnych doświadczeniach. 6

Dlaczego ważne są gotowe reprezentacje obrazów

Modele obrazowo-językowe są kosztowne w obsłudze: muszą pracować zarówno z dużymi danymi obrazowymi, jak i tekstem, a przy tym utrzymywać znaczną ilość stanu w pamięci podręcznej modelu. Podejście Pinterest obejmuje embeddingi projekcyjne, opisywane jako embeddingi PinCLIP. Odwzorowują one informacje wizualne w przestrzeni tokenów modelu. Dzięki temu zapytanie może korzystać z wcześniej przygotowanej reprezentacji obrazu, zamiast wielokrotnie przesyłać i kodować jego surową wersję. 210

Pinterest podał trzy wyniki związane z takim podejściem i optymalizacjami Dynamo:

• 25 razy więcej kontekstu wizualnego na żądanie w Pinterest Assistant. 4
• Około 85 razy szybszy start odpowiedzi w testach porównawczych. 13
• 7,3 razy krótsze opóźnienie od początku do końca w testach porównawczych. 13

Są to wyniki benchmarków raportowane przez firmę. Należy je więc odczytywać jako pomiar tej konkretnej architektury i konfiguracji obciążeń, a nie jako gwarancję identycznej poprawy dla każdego wyszukiwania czy każdej rozmowy z asystentem.

Fundament na lata, a nie jednorazowe wdrożenie

Pinterest i Nvidia przedstawiają projekt jako rozwinięcie współpracy trwającej niemal pięć lat, obejmującej systemy rekomendacji i generatywną AI. Pinterest informuje, że jego środowisko obejmuje 14 tys. procesorów GPU Nvidia. 4

Skala wyjaśnia strategiczny cel przedsięwzięcia: wspólna warstwa obsługi modeli ma ułatwić rozszerzanie funkcji AI związanych z obrazem i rozmową przy zachowaniu spójnego zaplecza technicznego. Studium przypadku Nvidii opisuje tę platformę jako bazę m.in. dla Pinterest Assistant, ponownego porządkowania wyników, bezpieczeństwa treści i generowania sygnałów. 4

Po ogłoszeniu infrastruktury akcje Pinterest wzrosły w poniedziałkowym handlu o około 1,8 proc., według Investing.com. 17

Co to oznacza dla użytkowników

Pinterest przechodzi od systemów AI tworzonych osobno dla poszczególnych produktów do scentralizowanej, multimodalnej podstawy. Sprzęt Blackwell dostarcza moc obliczeniową, Dynamo pomaga obsługiwać i kierować pracą modeli, a embeddingi wizualne ograniczają wielokrotne przetwarzanie tych samych obrazów. Razem mają sprawić, że funkcje odkrywania treści, zakupów i asystenta będą łatwiejsze do skalowania w całej usłudze. 246