Pinterest и Nvidia создали общую ИИ-платформу для ускорения визуального поиска

Pinterest представил не столько одну новую функцию для пользователей, сколько общую техническую основу для ИИ-сервисов, которые должны одновременно понимать изображения и текст. Она создана совместно с Nvidia и должна избавить отдельные команды Pinterest от необходимости разрабатывать собственную инфраструктуру для каждого такого продукта. 46

Из чего состоит новая платформа

В основе решения — три компонента:

• GPU NVIDIA Blackwell B200 — вычислительная база для обслуживания моделей «изображение + язык». 4
• NVIDIA Dynamo — программное обеспечение, которое помогает эффективно запускать и маршрутизировать мультимодальные ИИ-нагрузки. 24
• Визуальные эмбеддинги Pinterest — заранее рассчитанные числовые представления визуального контента. Их можно передавать модели вместо того, чтобы при каждом запросе заново обрабатывать исходное изображение. 26

Такой подход превращает визуальный поиск, помощника, системы безопасности и другие инструменты из разрозненных технических проектов в продукты на единой платформе. 6

Какие функции она поддерживает

Pinterest сообщает, что слой рассчитан на растущий набор сервисов, работающих одновременно с картинками и языком: визуальный поиск, понимание контента, ИИ-функции для поиска товаров и покупок, диалоговый Pinterest Assistant, мультимодальное переранжирование, системы безопасности контента и генерацию сигналов. 46

Для Pinterest это важно, поскольку сервис строится вокруг визуального открытия идей. Общий контекст из текста запроса и содержимого изображения может помочь точнее понять намерение пользователя, подобрать релевантный контент и скорректировать рекомендации.

Компания использует более 80 млрд поисковых запросов в месяц для формирования сигналов для ИИ-поиска и покупок. Новая инфраструктура призвана сделать эти сигналы полезнее для всё более визуальных и разговорных сценариев. 6

Зачем нужны заранее рассчитанные визуальные представления

Модели, работающие с изображениями и текстом, требуют заметных ресурсов: им нужно обрабатывать крупные изображения наряду с текстом и хранить большой объём состояния в кэше модели. В Pinterest применяют проекционные эмбеддинги, описанные в технических материалах как PinCLIP: они переводят визуальную информацию в пространство токенов модели. Благодаря этому запрос может использовать готовое представление картинки, а не каждый раз пересылать и кодировать исходный файл. 210

Pinterest привёл следующие результаты, полученные благодаря этому подходу и оптимизациям Dynamo:

• в 25 раз больше визуального контекста на запрос для Pinterest Assistant; 4
• примерно в 85 раз более быстрый старт ответа в бенчмарках; 13
• в 7,3 раза меньшая сквозная задержка в бенчмарках. 13

Эти цифры заявлены компанией и относятся к конкретной архитектуре и конфигурации нагрузки. Их не следует трактовать как гарантию такого же ускорения для каждого поиска или диалога с помощником.

Расчёт на долгую перспективу

Pinterest и Nvidia называют проект продолжением сотрудничества, которое длится почти пять лет и охватывает рекомендательные системы и генеративный ИИ. В инфраструктуре Pinterest задействовано 14 000 GPU Nvidia. 4

Именно масштаб объясняет ставку на общий слой: он должен упростить расширение визуальных и диалоговых ИИ-функций, сохраняя единую техническую базу. В описании Nvidia платформа рассматривается как основа и для Pinterest Assistant, и для переранжирования, модерации, и для генерации сигналов. 4

После объявления акции Pinterest выросли примерно на 1,8% в ходе торгов в понедельник, сообщает Investing.com. 17

Главное

Pinterest переходит от отдельных ИИ-систем для разных продуктов к централизованной мультимодальной платформе. Blackwell даёт вычислительные ресурсы, Dynamo отвечает за обслуживание и маршрутизацию моделей, а визуальные эмбеддинги сокращают повторную обработку изображений. В совокупности это должно сделать визуальный поиск, покупки и функции помощника быстрее в эксплуатации и проще для масштабирования. 246