Как программист квартиру снимал продолжение или ...

Друзья! Я очень рад и удивлен одновременно, что моя первая статья навела шороху здесь, на Пикабу)

Для тех, кто не в курсе, советую ознакомиться с первой частью, про то, как я и мой сосед по маёвскому общежитию, вчерашние студенты, невольно встали на путь борьбы с посредниками по аренде недвижимости и что из этого получилось

http://pikabu.ru/story/kak_programmist_kvartiru_snimal_ili__...

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

А теперь к делу.

В первой части был рассказан общий принцип работы недобросовестных риелторов и мошенников на досках объявлений.

В этой части речь пойдет о реальных методиках, которые применяются для того, чтобы сбить честного квартиросъемщика с толку, и как мы с такими "трюками" боремся, дабы выявить честных собственников из общей массы посредников.


В общем случае, агентские объявления и объявления мошенников оформлены нарочито качественно: у объявления есть фотография и не одна, заполнены все необходимые поля параметров, описание объявления очень подробное и на первый взгляд кажется, что публикующий приложил не мало усилий для этого, подошел к делу с толком.


Если не знать одно "но": в случае с мошенниками и агентами, оформляет объявление, как правило, специальный робот, по заранее подготовленному шаблону.

Именно поэтому простейший текстовый анализ выявляет сильную схожесть описаний объявлений у казалось бы совершенно разных квартир и продавцов(иначе говоря, наш баянометр орёт=)).


Однако было бы слишком наивно выявлять собственников только лишь по тому, как оформлено объявление, поэтому в нашей системе применяется комплексный подход, в котором мы анализируем:

телефон, текст описания, цену, адрес, фотографии, параметры объявления(например: этаж, материал стен, год постройки и т.д.) и даже количество просмотров у объявления.


Кроме этого, для того чтобы при анализе делать правильные выводы необходимо знать методики и трюки, которые применяют агенты и мошенники,

ниже я приведу краткое описание самых популярных трюков, замеченных на известной доске объявлений.


Эти простые советы позволят вам без каких-либо технических средств отсекать большой "кусок" посредников при поиске жилья.


1. "Идеальное объявление". Трюк стар как мир, основан на том, что каждый человек верит в чудо(или халяву, кому как удобно), верит в то, что сегодня реально снять квартиру в центре столицы с идеальным ремонтом меньше чем за 25 000 рублей, без комиссии, без залога(без смс, без регистрации, ага).

Вот один из наглядных примеров с известной доски объявлений.

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

Как правило, такой трюк рассчитан на недавно приехавших в Москву людей, иностранцев, туристов, которые еще не успели понять что к чему, опытный человек на такое не поведется.


Мы в свою очередь для того чтобы выявить такое объявление используем накопленные статистические данные.

Простым языком, наша система знает некоторую “среднюю цену”(медиану) аренды жилья с конкретными параметрами в том или ином районе города в данный момент, а также использует (пока еще небольшую) историю изменения этой “средней цены”.


2. "Как в кино!". Трюк очень похож на описанный в 1 пункте, применяется для привлечения внимания. По сути такое же "вкусное" объявление, только по цене и параметрам, как правило, близко к реальным.

Разница лишь в том, что фотографии объявления просто тупо "левые" картинки из интернета, часто любят вставлять картинки отрендеренной(отрисованной) 3D модели с каких-нибудь зарубежных сайтов интерьеров и проч.

"Фотографии" объявления получаются яркие, красочные, как в кино!

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

Простой поиск по этой картинке в google

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

Если видите что-то похожее - попробуйте выполнить поиск по картинке в любом из поисковиков.


3. "Собственник, агентам не звонить!!". Что удивительно, в последнее время частенько вот прямо так (с двумя восклицательными знаками в конце) стали писать в описании, якобы собственники.

Трюк основан на том, чтобы замаскировать агентское объявление под объявление собственника: публикуется объявление в разделе "частные", пишется, что без комиссии(иногда даже и без залога) заезжай и живи!


Однако, позвонив по такому объявлению оказывается, что продавец это агент(или брат,сват,тесть,дядь=)) и квартиру "вот только что уже сняли, но есть другая квартира, такая же хорошая".


У нас был комичный случай, когда наша программка обнаружила такое вот объявление спустя 10 секунд после его фактической публикации на известной доске объявлений и агент от неожиданности не очень складно рассказывал нам свою историю про "вот-вот только что перед вами звонили и сняли", и недоговорив, просто бросил трубку.


Обнаружить такое объявление в ручную довольно муторное занятие, для этого необходимо проверить был ли номер продавца использован где-то ранее и где используется сейчас.


Мы в своей системе используем предположение о том, что агент на один и тот же номер публикует больше одного жилья примерно в одно и то же время.


Бывают конечно случаи когда собственник сдает сразу несколько своих квартир в Москве, но мы с такими мажорами не водимся (шутка, мы обрабатываем и этот случай тоже).


4. "Меченные объявления". Легче всего объяснить, что это за зверь картинкой(часть номера скрыта мной):

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

Такие объявления, якобы защищены от копирования (к тому же телефон на картинке бросается в глаза), однако зачастую на картинках указан номер уже "раскрытого" агента, а в графе номер продавца указан подставной/левый новый номер.


Это очень интересный случай. Дело в том, что на известном сайте объявлений регистрация происходит по номеру телефона. Такие вот агенты/мошенники применяют специальные программы, смысл которых создавать каждое новое объявление с новым(подставным) номером и соответственно с новым продавцом, при этом на картинке такие программы указывают реальный номер агента. Стоит добавить, что схема интересна еще и тем, что даже позвонив по подставному номеру вы попадете все равно к агенту - достигается это правильной настройкой перенаправления звонка.


Поэтому если видите такое объявление сначала сверьте номер на картинке с номером указанным в номере продавца. Если номера разные - перед вами агент, а возможно и мошенник.


Это тот самый случай когда ручная обработка проще автоматической. В своей системе для выявления таких случаев мы используем оптическое распознавание текста на картинках (OpenCV модуль с обученным фильтром Neumann - Matas + Tesseract).


Распознав текст с картинки, система направляет его в модуль лексического анализа, откуда оно идет уже дальше по конвейеру обработки и уже в конце ему выносится вердикт.


5. "Новые номера". Это тоже самое что 4 случай, только без меченных картинок, просто новый "левый" номер, который перенаправляет вас на агента/мошенника.

Пожалуй это самый неприятный случай из описанных. Он тяжело распознаваем, как в ручном режиме так и в автоматическом.


Как мы это реализовали у себя, с вашего позволения оставлю в тайне.


Теперь хотелось бы сказать пару слов о нашей системе. Наш бесплатный сервис находит объявления от собственников, позволяя снять жилье без посредников и лишних переплат.


На данный момент мы завершили переезд сервера в Azure (почему именно туда, мы расскажем в следующей статье), однако часть сервисов по-прежнему развёрнуты в нашем "дата-центре", за которым пристально приглядывает наш пушистый заведующий=).

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

А так наш заведующий проводит ревизию кода проекта)

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

На данный момент мы обрабатываем данные по Москве и частично Московской области. Данные по Питеру находятся в процессе анализа.

Буквально на днях добавили поиск жилья на карте. Надеемся, что упростили процесс поиска для тех, кто планировал найти жилье в МО.

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

В остальном у нас всё по-прежнему, заходите, и выбирайте жилье без посредников

(кодовое слово: трупикабу)

Как программист квартиру снимал продолжение или ... Труд, Длиннопост, Доска объявлений, Риэлтор, Поиск, Программирование, Аренда, Авито

В заключении хотелось бы сказать огромное спасибо пикабушникам, которые, работая с нашим сайтом, пользовались сервисом жалоб на объявления, вы - настоящие тру, друзья!


Я сам вдохновлен успехом пикабу и тем как это сообщество само по себе является этаким "санитаром леса", регулятором и модератором содержимого сайта.


К сожалению, пост и так получился длинным и не получилось осветить как следует технические моменты системы.


В следующем посте я постараюсь рассказать детально о стеке технологий и как все устроено с технической точки зрения.


P.S. Внимание! Загадка для внимательных. (Разгадка кроется в самих постах)


В начале поста я упомянул, что мы анализируем количество просмотров у объявлений, чтобы выявить агента или мошенника.


Вопрос: Как мы это делаем?


Тому кто ближе всего будет к разгадке отправим нашего заведующего "дата-центром"(шутка).


Удачных поисков!

Вы смотрите срез комментариев. Показать все
1
Автор поста оценил этот комментарий
Пользуясь случаем, сдам квартиру на речном вокзале, 30к))
раскрыть ветку (8)
1
Автор поста оценил этот комментарий

пользуясь случаем, я веган

раскрыть ветку (3)
1
Автор поста оценил этот комментарий
Иллюстрация к комментарию
раскрыть ветку (2)
2
Автор поста оценил этот комментарий

какой ты жестокий. это все от мяса)

раскрыть ветку (1)
Автор поста оценил этот комментарий

тое есть моя природная жестокость не при чем?

Иллюстрация к комментарию
Автор поста оценил этот комментарий

Где находится, фотки, условия? В Сентябре буду искать и переезжать.

раскрыть ветку (3)
1
Автор поста оценил этот комментарий

+1

Автор поста оценил этот комментарий
Уже сдам к этому времени )
раскрыть ветку (1)
Автор поста оценил этот комментарий
Напиши, пожалуйста, ivar.sn@yandex.ru
Было бы очень интересно
Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку