| Про ранжирование комментариев по рейтингу |
[Мар. 27, 2012|04:50 am] |
Комментарии дают возможность повысить качество контента за счет краудсорсинга. Хороший контент должен иметь хорошие комментарии, которые дополняют, критикуют, уточняют его.
В таком случае, при работе над системой комментирования встает две задачи:
1) сделать так, чтобы пользователи видели хорошие комментарии;
2) сделать так, чтобы пользователи оставляли хорошие комментарии.
Удачность решения следует оценивать именно по тому, насколько адекватно оно отвечает этим задачам.
Фильтры. Откуда мы получаем контент
Каждый день в Интернете появляется невообразимо большое количество информации — и вместе с тем мы получаем только мельчайшую частицу этой информации. Чтобы понять, как это происходит, мы должны задаться вопросом: как в принципе мы получаем контент?
Мы читаем блоги, рассылки, агрегаторы, смотрим, что нам присылают наши знакомые с помощью почты и социальных сетей. Это все фильтры, через которые нам поступает контент. Пользователи постоянно всасывают контент через трубочки этих фильтров. Созданный контент помещается автором в пространство контента, откуда пользователи, подключенные к этому прострнаству фильтрами, всасывают его в себя.
Пользователь не может получить контент непосредственно: контент всегда будет опосредован фильтрами, пусть даже это будет личный блог автора. Следовательно, пользователь выбирает не контент, а фильтры (т.е. непосредственно он взаимодействует только с фильтрами).
Как работает фильтр? Обнаруживая какой-либо контент, фильтр оценивает его и решает, пропускать этот контент к пользователю или нет. В основе работы фильтра лежит оценка контента, которая, в свою очередь, основывается на механизме фильтрации.
Легко выделить три вида этих механизмов:
- Алгоритмическая фильтрация — когда контент оценивается в первую очередь за счет алгоритма. Конкретные люди при этом не оценивают контент. Это, в первую очередь, поисковые системы.
- Авторская фильтрация — когда контент оценивают конкретные люди, которых пользователь может назвать. Это блоги, рассылки, ретвиты, лайки, новостные сайты. Иногда автор контента может быть и автором фильтра — в случае личного блога, например.
- Массовая фильтрация — когда контент оценивает масса людей. Так работают агрегаторы. Мне не известны примеры работающих агрегаторов в российском интернете; в англоязычном интернете это reddit.com, digg.com, fark.com и т.д. На этих сайтах пользователи размещают ссылки на контент и голосуют за них (или еще и против них, как на Реддите). Ссылки, которые набирают больше баллов, показываются большему числу пользователей. Таким образом, посетители самостоятельно и коллективно определяют, какой контент проходит через фильтр.
Пользователь выбирает фильтр, исходя из того, поставляет ли тот ему качественный — с его точки зрения — контент. Когда оценка контента фильтром и пользователем совпадают, пользователь подключается к фильтру. Можно представить себе своеобразный «рынок» фильтров, предлагающих пользователям свой контент; каждый фильтр на таком рынке заточен под определенную целевую аудиторию, определенную поставляемым им контентом и его качеством. Таким образом, задача фильтра — давать контенту оценку, адекватную оценке целевой аудитории: тогда аудитория получает только тот контент, который она сама оценивает высоко.
Разумеется, бывают такие фильтры, которые фильтруют контент не адекватно запросам своей целевой аудитории. Это сломанные фильтры. Их оценка контента совершенно не адекватна оценке контента пользователями, составляющими целевую аудиторию. В «природе» встретить такие фильтры довольно сложно в силу действия эволюционных процессов. Проблема фильтров — центральная для Интернета, поэтому по-настоящему сломанные фильтры уже практически полностью исчезли. Можно симулировать такой фильтр, ранжировав результаты выдачи поисковой системы по дате, а не по релевантности. Как ни удивительно, «Яндекс» предоставляет такую возможность: попробуйте отсортировать по дате выдачу по запросам «пицца заказать» или «что такое прибавочная стоимость». Здесь фильтрация контента (в которую включено и его ранжирование) происходит по совершенно не нужным пользователю параметрам. Поэтому оценка фильтра и оценка пользователя в принципе не могут совпадать иначе, как по принципу Картезианских часов — ведь оценка производится на основе совершенно разных параметров: для фильтра важна дата, для пользователя — релевантность.
Вообще, ранжирование по дате — самая частая причина, по которой мы имеем дело со сломанными фильтрами. Можно назвать только две более-менее распространенные ситуации, в которых такое ранжирование актуально: ситуации подписки и новостей. Во всех остальных случаях пользователь обращается к другим параметрам; в первую очередь, к релевантности и качеству контента.
Системы комментирования — тоже фильтры
Содержание комментариев — это контент. Следовательно он должен пройти через фильтр, роль которого и выполняет система комментирования. Почти все системы комментирования в Интернете — это сломанные фильтры.
Когда пользователь читает комментарии, его в подавляющем большинстве случаев интересует качественные комментарии, т.е. содержательные, неочевидные, интересные высказывания на заданную тему. В подавляющем большинстве случаев системы комментирования в основу фильтрации комментариев кладут дату отправки комментария.
Хуже того, чаще всего они в начале показывают самые первые комментарии. Таким образом они работают не только не *за* качество контента — они работают *против* него. На написание качественного комментария часто требуется время; необдуманные, пустые комментарии обычно приходят раньше, чем качественные, потому что не требуют времени и сил. Кроме того, возникает проблема проплаченных комментариев, которая хорошо описана в комиксе xkcd.
Такие системы комментариев не решают задачи, которые они должны решать: они не показывают качественный контент и не мотивируют людей создавать качественный контент. Какой смысл тратить силы и время на создание комментария, который увидит едва ли десятая доля тех, кто прочитает первые, низкокачественные комментарии? Эти системы комментариев стимулируют негативный отбор, причем чем больше пользователей у таких систем, тем стремительнее отсекаются пользователи, способные воспринимать и создавать качественный контент.
Примеры таких систем бесчисленны, но по-настоящему выдающимся примером плохой системы комментирования являются комментарии в популярных журналах в ЖЖ. Попробуйте почитать комментарии к записям у Адагамова, Лебедева или Навального. На два-три десятка односложных комментариев едва ли найдется один, стоящий того, чтобы быть прочитанным. При этом большая часть комментариев свернута, и чаще всего в ветках на комментарий первого уровня отображается только первый ответ (т.е. неэффективность фильтрации возводится в степень: показываются худшие ответы на худшие комментарии). Комментарии у этих пользователей ЖЖ — выжженная земля. Качественный, интересный и релевантный комментарий там — это редкое счастливое исключение.
Проблему этих систем комментирования можно обобщенно представить как попытку алгоритмически оценить качество контента, не прошедшего перед этим через другие фильтры. В наши дни такой возможности нет (все поисковые системы ориентируются на то, как контент проходит через фильтры, чтобы определить его релевантность); поэтому и за основу оценки берется произвольный параметр — дата. С тем же (а то и большим) успехом можно было бы ранжировать комментарии по их длине.
Оценить качество контента при его первом прохождении через фильтр может только живой человек. На такой оценке основаны хорошие системы комментирования.
Ограничения премодерации
Авторский механизм фильтрации лежит в основе систем комментирования с премодерацией. Прежде, чем комментарий увидят пользователи, он оценивается человеком — модератором, — который решает, показать его или удалить. Так работает, например, комментирование на сайте Эдварда Тафти и в «Советах» бюро Горбунова. Эта система решает часть проблем, но при этом создает новые.
Во-первых, это проблема субъективности. Если задача фильтра — давать контенту оценку, адекватную оценке целевой аудитории, может ли модератор быть уверен, что его оценка совпадет с оценкой пользователей? Особенно это актуально в том случае, если автор контента и фильтра — один человек. Он не только имеет свою позицию, но и выражает ее в контенте; не будет ли ему сложно адекватно оценивать контент, в котором выражается другая точка зрения? Из-за этого происходит разлад между оценкой фильтра и оценкой целевой аудитории, т.е. фильтр в какой-то мере ломается.
Вторая проблема лежит в плане UX. Пользователь обдумывает комментарий, долго пишет его, собирает информацию, наконец отправляет — и комментарий исчезает навсегда, не пройдя модерацию. Премодерация практически никогда не подразумевает, что пользователю обоснуют отказ от публикации его комментария. При этом пользователь может считать (иногда — небезосновательно), что его комментарий мог бы быть полезен другим читателям, а значит, в отношении него, с его точки зрения, совершается несправедливость. Это, вкупе с непредсказуемостью оценки модератора, уменьшает мотивацию писать качественные, продуманные комментарии — какой смысл их писать, если неизвестно, прочитает ли их кто-нибудь?
Третья проблема возникает при увеличении объема комментариев. Адекватно, обдуманно один человек (или группа людей) может оценить сравнительно небольшое количество комментариев. Для объемов больше 20-30 комментариев такой способ фильтрации не подходит, не говоря уже о ситуации популярного блога.
Авторский механизм фильтрации комментариев — лучше, чем никакого. Но, в сущности, это избыточное решение. Оценка контента доверяется сторонним людям, в то время как сами читатели уже постоянно оценивают его.
Краудсорсинг оценки: рейтинг
Пользователи чаще всего гораздо более похожи друг на друга, чем это можно предположить. На первый взгляд, единственный факт, который мы знаем об этих пользователях — это то, что они пользуются данным фильтром (блогом, системой комментариев, агрегатором). Однако из этого факта можно извлечь гораздо больше: то, что человек пользуется интернетом, каким контентом он интересуется, то, что он заходит в комментарии и т.д. Тот факт, что пользователи обращаются к одному фильтру, говорит об их фундаментальном сходстве, которое проявляется в выборе этого фильтра. Поэтому оценка одного читателя скорее всего адекватна оценке других читателей — если не всех, то хотя бы их части.
Ситуация, в которой пользователь оценивает контент, частично снимает проблему адекватности оценки фильтра оценке пользователя: это одна и та же оценка. Монолитность целевой аудитории не абсолютна, но выбор одного фильтра определяет схожесть пользователей, а следовательно, и схожесть их оценок.
Оценка пользователями комментариев реализуется через возможность читательского голосования за или против каждого комментария. Комментарии при этом ранжируются по рейтингу (или по производной от рейтинга). Любопытно, что на популярном сайте «Хабрахабр» уже давно используется рейтинг комментариев, но при этом ранжирование происходит по дате. В результате часто возникает ситуация, когда пользователь вначале видит низкокачественный контент, хотя в комментариях есть и ценный контент.
Проблемы, которые возникают при авторской фильтрации, здесь решаются. Субъективность автора заменяется конкурирующими точками зрения: до тех пор, пока значимое количество людей считает точку зрения адекватной, они будут голосовать за комментарии, ее выражающие, и они будут обращать на себя внимание пользователей. Ощущение несправедливости от неадекватной оценки модератором заменяется явным откликом читателей. Зато хороший контент активно поощряется: каждый голос «за» — это «спасибо», сказанное автору. Такая система комментариев может обрабатывать фактически любой объем комментариев, поскольку голосование всегда более доступно и менее затратно, чем написание комментариев, т.е. голосующих всегда значительно больше, чем пишущих. (Считается, что здесь работает правило «90-9-1»).
Что такое хорошо работающая система комментирования можно увидеть в комментариях к практически любому популярному посту на Реддите. Вот картинка. В комментариях к ссылке в первых трех комментариях верхнего уровня можно найти источник и объяснение. Еще один пример: пользователь спрашивает, какие научные эксперименты он может показать своему четырехлетнему сыну; в верхних комментариях первого уровня — только содержательные ответы на вопрос. Можно сравнить с теми же комментариями, отсортированными по дате (старшие сверху) — здесь ситуация значительно хуже.
Рейтинг комментариев может использоваться и вместе с премодерацией, но и, на самом деле, вместо нее. Превосходство же массовой фильтрации в комментариях над системой комментариев с ранжированием по дате абсолютно (но возможность отсортировать комментарии по дате должна быть всегда). Такая система комментариев отвечает обоим требованиям, которые были обозначены в начале: она и обеспечивает доступ к качественным комментариям, и мотивирует на их написание. Систему лучше пока не придумали: поэтому системы комментирования в Интернете всегда должны давать возможность читателям оценить комментарии и ранжировать их по рейтингу.
|
|
|
![[info]](http://l-stat.livejournal.com/img/userinfo.gif?v=92.1){kind=small}
exizt
