Как работают рекомендации YouTube?

Есть ли среди читателей те, кто не посещает YouTube хотя бы один раз в день? Сервис уже стал неотъемлемой частью нашей с вами жизни. Сложно представить, что для просмотра видеороликов мы будем использовать что-то другое. YouTube предлагает огромную базу контента. Всего сервис насчитывает 1,9 млрд активных пользователей каждый месяц. По статистике 79% пользователей Интернета имеют аккаунт на YouTube. Так как же Google удается поддерживать работу такого огромного продукта? В этом материале мы рассмотрим принцип работы алгоритма предложений YouTube, и он интересен, поверьте.

Рекомендации YouTube умнее, чем вам кажется

Основываться данный материал будет на официальной публикации Google, в которой объясняется принцип работы алгоритмов рекомендаций YouTube на основе нейросетей. Почему же я решил изучить данный вопрос? Дело в том, что не так давно перед сном я решил включить звуки водопада (белый шум), чтобы быстрее уснуть. На следующий вечер в то же время я заметил, что на самом первом месте в рекомендациях располагалось то самое видео. Я опять включил его. На третий день в то же время это видео опять было на той же самой первой позиции. И это при том, что в любое другое время YouTube мне рекомендует совсем другие видеоролики.

И тут я окончательно понял, что алгоритмы YouTube работают куда сложнее, чем нам кажется. Как минимум, они способны адаптироваться под ваши предпочтения в различное время суток. Тогда же я решил изучить, как работают алгоритмы YouTube и наткнулся на интересную информацию, которой готов поделиться с читателями.

Перед разработчиками YouTube при разработке алгоритма стояло несколько проблем:

  • Огромное количество видеороликов в различной тематике, что усложняет оптимальный подбор в рекомендациях
  • Высокая динамика сервиса. Каждый час на YouTube загружаются сотни-тысячи часов видеороликов. Необходимо, чтобы система рекомендаций была гибкой и динамичной
  • Непостоянность интересов зрителей
  • Оптимизация ресурсов на подбор рекомендаций, так как работа алгоритмов подбора — сложный процесс, требующий немало мощностей

Архитектура рекомендательной системы YouTube

Алгоритм работы рекомендаций YouTube

На вход в систему подаются миллионы видеороликов, а на выходе она предлагает те самые десятки видео, которые попадают пользователю на экран во вкладке «Рекомендации».

Система состоит из двух сверточных нейронных сетей: «candidate generation» и «ranking» (ранжирование). Первая сеть из миллионов видео отбирает сотни наиболее подходящих, вторая нейросеть ранжирует полученную подборку от наиболее до менее интересных пользователю. При составлении выборки система учитывает всю историю пользователя и контекст. Под контекстом понимается, например, время суток, возраст, пол, географическое положение. Также в момент создания выборки происходит A/B тестирование, когда ради эксперимента пользователю показывают различные выборки, если какая-либо из выборок оказывается более просматриваемой, система самообучается и адаптируется под данную выборку.

При оценке выборки учитывается не только время просмотра но и CTR (click through rate) — число пользователей, которые начали просмотр видеоролика по отношению к числу пользователей, кто увидел видео в рекомендациях.

На этапе ранжирования выборка строится по показателю expected watch time, поэтому чем дольше пользователи смотрят видео, тем выше шанс того, что оно попадет в топ рекомендаций. YouTube не основывается только на click through rate, так как видео может быть простым кликбейтом. Целью обучения нейросети ранжирования является предсказание времени просмотра видео.

Итого

Рекомендации YouTube формируются из двух нейросетей. Первая нейросеть отвечает за подбор видео по теме, нейросеть второго уровня среди отобранных отсекает кликбейт и малоинтересные видеоролики с низкой вовлечённостью пользователей. Именно поэтому видеоролики, которые дольше смотрят, чаще лайкают и комментируют попадают на самые первые места в рекомендациях, если соответствуют тематике, которая интересна пользователю. Интересно, не правда? Давайте обсудим данную тему в Телеграм.

Читайте также: В YouTube на Android теперь можно влиять на работу алгоритма подборки видео

Система действительно сложная и я не стану пытаться объяснять сложные термины и полную архитектуру этапов формирования подборки, просто потому, что сам до конца не понимаю как именно она работает, но очевидно, что подбор рекомендаций наравне с поиском Google — сложнейший алгоритм, над которым работают лучшие умы мира.

По материалам konoden

Теги
Лонгриды для вас
Google сделала резервные копии на Android удобными и бесплатными

Резервное копирование – это нечто, что всегда было нормой для пользователей iOS и никогда не приветствовалось на Android. Не то чтобы пользователи мобильной ОС от Google никогда не теряли данные или не пересаживались с устройства на устройство, просто исторически так сложилось, что создавать резервные копии про запас было не принято. Сказывалось отсутствие адекватного инструмента, который бы позволил это сделать. Поэтому, если пользователь решил сменить смартфон, ему предлагалось перебросить данные с помощью специального приложения, а если вдруг потерял данные в ходе перепрошивки – сам дурак. Но так не могло продолжаться бесконечно.

Читать далее
Тим Кук
Почему пользователи Android должны благодарить Apple за то, что она есть

Часто у нас на сайте и в Telegram-чате можно встретить не очень понятную лично для меня реакцию пользователей. Стоит только написать что-то про Apple, выпустить статью с ее названием в заголовке или просто вспомнить iPhone по тексту, так у них сразу начинает, что называется, подгорать. Я долго думал, почему так происходит, и что вообще заставляет людей вспоминать проблемы компании, ее политику и даже самого Тима Кука, сами понимаете в каком ключе. При этом логика подсказывает, что это просто телефон, который есть и ладно. Не нравится он тебе - не покупай его. Нравится - купи и можешь даже доказывать всем, что он хороший. Не понятно только то, почему он вызывает такую реакцию, когда он вообще не является ключевой темой статьи. А между тем, за то, что Apple есть, ее надо благодарить. И я говорю не про то, что она выпустила первый современный смартфон.

Читать далее
Google Play
Не скачиваются приложения с Play Market. Что делать

Несмотря на расхожее мнение о том, что Android – это более проблемная платформа, чем iOS, на самом деле это не совсем так. Google, как и Apple, старается сделать так, чтобы смартфоны, которые работают на базе её операционной системы, работали стабильно и не доставляли пользователям неудобств. Отчасти ей действительно это удалось, ведь в большинстве своём обновления, которые выходят для Android, не снижают автономность совместимых устройств, в отличие от iOS, у которой это происходит с незавидной регулярностью. Впрочем, назвать Android идеальной всё-таки не поворачивается язык. По крайней мере, у меня.

Читать далее
1 комментарий Оставить свой
  1. zloderator

    Как работают рекомендации когда youtube заменил телик? Скажу — хорошо.

Новый комментарий