Как программист квартиру снимал продолжение или ...
Друзья! Я очень рад и удивлен одновременно, что моя первая статья навела шороху здесь, на Пикабу)
Для тех, кто не в курсе, советую ознакомиться с первой частью, про то, как я и мой сосед по маёвскому общежитию, вчерашние студенты, невольно встали на путь борьбы с посредниками по аренде недвижимости и что из этого получилось
http://pikabu.ru/story/kak_programmist_kvartiru_snimal_ili__...
А теперь к делу.
В первой части был рассказан общий принцип работы недобросовестных риелторов и мошенников на досках объявлений.
В этой части речь пойдет о реальных методиках, которые применяются для того, чтобы сбить честного квартиросъемщика с толку, и как мы с такими "трюками" боремся, дабы выявить честных собственников из общей массы посредников.
В общем случае, агентские объявления и объявления мошенников оформлены нарочито качественно: у объявления есть фотография и не одна, заполнены все необходимые поля параметров, описание объявления очень подробное и на первый взгляд кажется, что публикующий приложил не мало усилий для этого, подошел к делу с толком.
Если не знать одно "но": в случае с мошенниками и агентами, оформляет объявление, как правило, специальный робот, по заранее подготовленному шаблону.
Именно поэтому простейший текстовый анализ выявляет сильную схожесть описаний объявлений у казалось бы совершенно разных квартир и продавцов(иначе говоря, наш баянометр орёт=)).
Однако было бы слишком наивно выявлять собственников только лишь по тому, как оформлено объявление, поэтому в нашей системе применяется комплексный подход, в котором мы анализируем:
телефон, текст описания, цену, адрес, фотографии, параметры объявления(например: этаж, материал стен, год постройки и т.д.) и даже количество просмотров у объявления.
Кроме этого, для того чтобы при анализе делать правильные выводы необходимо знать методики и трюки, которые применяют агенты и мошенники,
ниже я приведу краткое описание самых популярных трюков, замеченных на известной доске объявлений.
Эти простые советы позволят вам без каких-либо технических средств отсекать большой "кусок" посредников при поиске жилья.
1. "Идеальное объявление". Трюк стар как мир, основан на том, что каждый человек верит в чудо(или халяву, кому как удобно), верит в то, что сегодня реально снять квартиру в центре столицы с идеальным ремонтом меньше чем за 25 000 рублей, без комиссии, без залога(без смс, без регистрации, ага).
Вот один из наглядных примеров с известной доски объявлений.
Как правило, такой трюк рассчитан на недавно приехавших в Москву людей, иностранцев, туристов, которые еще не успели понять что к чему, опытный человек на такое не поведется.
Мы в свою очередь для того чтобы выявить такое объявление используем накопленные статистические данные.
Простым языком, наша система знает некоторую “среднюю цену”(медиану) аренды жилья с конкретными параметрами в том или ином районе города в данный момент, а также использует (пока еще небольшую) историю изменения этой “средней цены”.
2. "Как в кино!". Трюк очень похож на описанный в 1 пункте, применяется для привлечения внимания. По сути такое же "вкусное" объявление, только по цене и параметрам, как правило, близко к реальным.
Разница лишь в том, что фотографии объявления просто тупо "левые" картинки из интернета, часто любят вставлять картинки отрендеренной(отрисованной) 3D модели с каких-нибудь зарубежных сайтов интерьеров и проч.
"Фотографии" объявления получаются яркие, красочные, как в кино!
Простой поиск по этой картинке в google
Если видите что-то похожее - попробуйте выполнить поиск по картинке в любом из поисковиков.
3. "Собственник, агентам не звонить!!". Что удивительно, в последнее время частенько вот прямо так (с двумя восклицательными знаками в конце) стали писать в описании, якобы собственники.
Трюк основан на том, чтобы замаскировать агентское объявление под объявление собственника: публикуется объявление в разделе "частные", пишется, что без комиссии(иногда даже и без залога) заезжай и живи!
Однако, позвонив по такому объявлению оказывается, что продавец это агент(или брат,сват,тесть,дядь=)) и квартиру "вот только что уже сняли, но есть другая квартира, такая же хорошая".
У нас был комичный случай, когда наша программка обнаружила такое вот объявление спустя 10 секунд после его фактической публикации на известной доске объявлений и агент от неожиданности не очень складно рассказывал нам свою историю про "вот-вот только что перед вами звонили и сняли", и недоговорив, просто бросил трубку.
Обнаружить такое объявление в ручную довольно муторное занятие, для этого необходимо проверить был ли номер продавца использован где-то ранее и где используется сейчас.
Мы в своей системе используем предположение о том, что агент на один и тот же номер публикует больше одного жилья примерно в одно и то же время.
Бывают конечно случаи когда собственник сдает сразу несколько своих квартир в Москве, но мы с такими мажорами не водимся (шутка, мы обрабатываем и этот случай тоже).
4. "Меченные объявления". Легче всего объяснить, что это за зверь картинкой(часть номера скрыта мной):
Такие объявления, якобы защищены от копирования (к тому же телефон на картинке бросается в глаза), однако зачастую на картинках указан номер уже "раскрытого" агента, а в графе номер продавца указан подставной/левый новый номер.
Это очень интересный случай. Дело в том, что на известном сайте объявлений регистрация происходит по номеру телефона. Такие вот агенты/мошенники применяют специальные программы, смысл которых создавать каждое новое объявление с новым(подставным) номером и соответственно с новым продавцом, при этом на картинке такие программы указывают реальный номер агента. Стоит добавить, что схема интересна еще и тем, что даже позвонив по подставному номеру вы попадете все равно к агенту - достигается это правильной настройкой перенаправления звонка.
Поэтому если видите такое объявление сначала сверьте номер на картинке с номером указанным в номере продавца. Если номера разные - перед вами агент, а возможно и мошенник.
Это тот самый случай когда ручная обработка проще автоматической. В своей системе для выявления таких случаев мы используем оптическое распознавание текста на картинках (OpenCV модуль с обученным фильтром Neumann - Matas + Tesseract).
Распознав текст с картинки, система направляет его в модуль лексического анализа, откуда оно идет уже дальше по конвейеру обработки и уже в конце ему выносится вердикт.
5. "Новые номера". Это тоже самое что 4 случай, только без меченных картинок, просто новый "левый" номер, который перенаправляет вас на агента/мошенника.
Пожалуй это самый неприятный случай из описанных. Он тяжело распознаваем, как в ручном режиме так и в автоматическом.
Как мы это реализовали у себя, с вашего позволения оставлю в тайне.
Теперь хотелось бы сказать пару слов о нашей системе. Наш бесплатный сервис находит объявления от собственников, позволяя снять жилье без посредников и лишних переплат.
На данный момент мы завершили переезд сервера в Azure (почему именно туда, мы расскажем в следующей статье), однако часть сервисов по-прежнему развёрнуты в нашем "дата-центре", за которым пристально приглядывает наш пушистый заведующий=).
А так наш заведующий проводит ревизию кода проекта)
На данный момент мы обрабатываем данные по Москве и частично Московской области. Данные по Питеру находятся в процессе анализа.
Буквально на днях добавили поиск жилья на карте. Надеемся, что упростили процесс поиска для тех, кто планировал найти жилье в МО.
В остальном у нас всё по-прежнему, заходите, и выбирайте жилье без посредников
(кодовое слово: трупикабу)
В заключении хотелось бы сказать огромное спасибо пикабушникам, которые, работая с нашим сайтом, пользовались сервисом жалоб на объявления, вы - настоящие тру, друзья!
Я сам вдохновлен успехом пикабу и тем как это сообщество само по себе является этаким "санитаром леса", регулятором и модератором содержимого сайта.
К сожалению, пост и так получился длинным и не получилось осветить как следует технические моменты системы.
В следующем посте я постараюсь рассказать детально о стеке технологий и как все устроено с технической точки зрения.
P.S. Внимание! Загадка для внимательных. (Разгадка кроется в самих постах)
В начале поста я упомянул, что мы анализируем количество просмотров у объявлений, чтобы выявить агента или мошенника.
Вопрос: Как мы это делаем?
Тому кто ближе всего будет к разгадке отправим нашего заведующего "дата-центром"(шутка).
Удачных поисков!
