{ "title": "Техническое обогащение поиска Авито с помощью мультимодальных моделей", "content": "
Что такое мультимодальные модели?
Мультимодальные нейросети способны обрабатывать не только текстовую информацию, но и изображения, что позволяет значительно расширить возможности поиска объявлений. Например, пользователь может искать товар по описанию или фотографии, даже если текстовое описание отсутствует.
Инструменты и технологии
Для реализации такого функционала команда Авито использовала несколько ключевых технологий:
1. Модель Qwen2.5-VL
Qwen2.5-VL представляет собой мультимодальную модель, способную работать одновременно с текстом и изображениями. Она является основой системы поиска.
2. Фреймворк vLLM
vLLM – это инструмент, предназначенный для эффективного использования мультимодальных моделей. Он помогает оптимизировать производительность и снизить затраты ресурсов при работе с такими сложными системами.
3. Технология LoRA
LoRA (Low-Rank Adaptation) используется для адаптации существующих моделей под конкретные задачи. Это позволяет эффективно настраивать модель под нужды конкретного проекта без необходимости переобучения всей сети целиком.
Инфраструктура и масштабирование
Авито ежедневно обрабатывает огромное количество данных, поэтому важно обеспечить стабильную работу инфраструктуры. Для этого была создана специализированная инфраструктура, включающая GPU-кластеры и другие ресурсы, позволяющие поддерживать высокую скорость обработки запросов и минимизировать задержки.
Таким образом, использование мультимодальных моделей и современных инструментов позволило существенно улучшить качество поиска на платформе Авито." , "excerpt": "Статья рассказывает о применении мультимодальных моделей и технологий LoRA и vLLM для улучшения качества поиска на платформе Авито. Рассматриваются технические аспекты реализации и масштабирования решений.", "metaTitle": "Обогащение поиска Авито с помощью мультимодальных моделей и LoRA", "metaDescription": "В статье подробно рассматриваются инструменты и подходы, используемые командой Авито для повышения эффективности поиска товаров и услуг на платформе.", "tags": [ "Avito", "Поисковые технологии", "Мультимодальные модели", "LoRA", "vLLM" ], "category": "Backend" }