Кейс — отзывы у Avito: метрики успеха и оценка доли накруток

Условие

Чтобы между пользователями Avito было больше доверия, а жизнь мошенников стала сложнее, мы решили попробовать ввести систему отзывов: покупатель может оставить отзыв на продавца. Отзыв может быть просто рейтингом (1–5 звёздочек) или дополнительно содержать произвольный текст.

1. Предложите метрики, по которым можно будет следить за прогрессом такого проекта и определять его успешность.

2. Поскольку Avito — не магазин, а площадка для связи покупателя и продавца, мы в большинстве случаев не знаем, произошла ли в действительности сделка и на каких условиях. Для большинства сделок последнее, что нам известно — покупатель нажал кнопку просмотра телефона продавца или связался с ним в чате. Также мы всегда знаем логин (привязанный к email и телефону) продавца, но покупатель может быть незалогиненным.

   Из-за этого есть большой риск накрутки отзывов и недобросовестного использования системы: например, профессиональные участники будут оставлять негативные отзывы на конкурентов и хвалебные на себя.

   Предположим, что система некоторое время уже работает и у нас есть данные по отзывам и всей активности клиентов: что продавал, что искал, на каких объявлениях смотрел телефоны и т. п. Как оценить масштабы накрутки — то есть долю фальшивых отзывов?