Как программист квартиру снимал или ...

ДРУЗЬЯ! Пост получился объемным, НО уверен он многим сэкономит деньги и нервы при поиске съемного жилья, особенно в крупных городах.

Как программист квартиру снимал или ... Аренда, Доска объявлений, Длиннопост, Труд, Риэлтор, Поиск, Программирование, Лексический анализ

В общем было это 2 года назад, мое обучение в универе подходило к концу,

также же как безоблачное(не всегда) и бесплатное(почти) проживание в стенах маёвской общаги. Так как у меня была куча амбиций и специальность программиста, то я не задумываясь решил остаться в Москве, и как у нас говорили: закодить ее полностью)).


К слову мой сосед был близок мне по духу и поэтому на начальном этапе было решено снять что-нибудь на двоих(и это я сейчас не про девочек). За 2 дня поиска на известном сайте я удивился двум вещам:


1. помимо арендной платы есть оплата депозита и комиссии

2. эта оплата ни хрена не маленькая.


По деньгам, в сумме с соседом у нас было около 60 тысяч рублей при средней стоимости аренды двушки в 35к еще просили 35к депозита + 35к комиссии агенту, итого: 105к(!). Деньги адовые, занимать не хотелось, да и вряд ли бы получилось, среди таких же студентов живем как бэ. Поэтому было решено применить свой еле окрепший скил программиста.


За время поиска и обзвона мы заметили интересную особенность: какие бы фильтры не выбирали, на главной странице поиска почти всегда попадаем на агентов, а с агентами нам разговор заказан, в виду отсутствия для них соответствующих премиальных.


Мы задались вопросом неужели только одни агенты сдают жилье, а частников совсем нет, и если частники есть, то где они?


Так научная проблема победила бытовую, и мы сели писать код. В общем, говнокодили мы 3 для и 3 ночи, после чего натравили свою чудо-программку на известный сайт с объявлениями и по результатам работы сделали следующие выводы:


1. Из всех объявлений за сутки, количество реальных частников и собственников не превышает 20%


2. Топ выдачи(т.е. первые страницы результатов поиска), особенно в топовое время(примерно с 10 по 13 и с 17 по 21) чуть больше, чем полностью забит риелторами, агентами и прочими посредниками.


3. Риелторы, агенты, мошенники люто любят всевозможных ботов, автоматически засирающих доску объявлений в хлам.


4. Известный сайт не спешит банить/удалять сгенерированные и фейковые объявления(примерное время бана около 40 минут)


5. Частники невероятно рады услышать в трубке голос реального квартиросъемщика, а не агента.


Насколько нам стало известно общая схема следующая: в погоне за наживой, агентства, частные риелторы или просто мошенники используют 2 вида роботов(ботов):


1. Собирающий(Crawler) - задача этого бота как можно быстрее выцепить объявление частника и переслать его агенту/мошеннику


2. Публикующий(Spammer) - задача этого бота сгенерировать и опубликовать как можно больше объявлений(копий или просто левых) агента/мошенника


После того как первый робот прислал объявление, агент связывается с хозяином квартиры, уточняет детали, проверяет, что это объявление не результат работы 2 робота другого агента(был комичный случай когда агент упорно клонировал свое собственное фейковое объявление=)) после чего, часто даже без разрешения собственника, пускает в тираж это объявление, только со своими контактами и комиссией при помощи 2 робота.


Важно отметить, что не все используют роботов, некоторые умудряются все это проделывать руками, причем на приличной скорости(!). Безусловно есть много честных риелторов, которые не занимаются подобным (и надеюсь не будут заниматься после прочтения этой статьи).


Но вернемся к проблеме бытовой, которая к слову, решилась быстро: теперь мы знали собственников, и обзвонив пару вариантов без проблем сняли двушку за 32 тысячи, договорившись даже разбить залог на 2 месяца. Итого: 32к + 16к = 48к (+ 16к через месяц)- 64к, вместо 105к при наивном поиске в начале.


В общем к чему это, я видел много постов про аренду на пикабу. И мы с другом(уже не соседом, но это уже совсем другая история) решили, а почему бы не сделать эту программку общедоступной, чтобы каждый мог также без проблем и хлопот искать себе жилье, особенно когда бюджет ограничен.


Так, месяца 2 назад было решено реанимировать код и на его основе запустить бесплатный сайт поиска жилья для своих: трудом.рф


Доступ к нему бесплатный, но ограничен, нужно ввести кодовое слово, для всех пикабушников кодовое слово: трупикабу


Надеюсь наша штука кому-нибудь станет полезной, и кто-то не станет переплачивать снова и снова за воздух агентам и посредникам.


Если будет интересно, в других постах подробнее расскажу о трюках, к которым прибегают агенты и мошенники, и как такие трюки распознать и обойти.


Буду рад ответить на вопросы.


Удачных поисков!

11
Автор поста оценил этот комментарий

Великолепно! Для Питера было бы еще что-нибудь подобное...

раскрыть ветку (1)
24
Автор поста оценил этот комментарий

Согласен, если в столице будет актуально, то сделаем и для других городов. Кстати, по нашим наблюдениям есть города, в которым просто тупо одни агенты, и иначе никак, и люди уже привыкли к такому положению дел

показать ответы
1
Автор поста оценил этот комментарий

@Dagerty, есть же еще замечательные ХренАгентам

http://hrenagentam.msk.ru/

начинали ребята в Питере, но и для Москвы классная база

под топовым чтоб все увидели

раскрыть ветку (1)
8
Автор поста оценил этот комментарий

К сожалению, эти ребята используют те же объявления с авито, но просят за это денег

Иллюстрация к комментарию
Иллюстрация к комментарию
показать ответы
45
Автор поста оценил этот комментарий
теперь риэлторам будет гораздо удобнее находить новые квартиры от собственников
раскрыть ветку (1)
16
Автор поста оценил этот комментарий

Смотрите, тут дело немножко в другом. Наша задача сделать так, чтобы обычный честный квартиросъемщик как можно быстрее вышел на такого же честного арендодателя. У агентов и так есть уже свои роботы, делающие что-то похожее, а мы лишь хотим уравнять частников с "прошаренными" агентами.

показать ответы
1
Автор поста оценил этот комментарий

Привет, простите за навязчивость, но.. применение вашей программы возможно в частных условиях? Чтобы не беспокоить вас созданием базы на Нск, можно ли использовать вашу программу обычному юзеру, хотя бы разок? А то в скором времени(через месяц-два) искать квартирку(студент)

раскрыть ветку (1)
6
Автор поста оценил этот комментарий

Дело в том, что на текущий момент это уже не совсем "программка" или скрипт, сейчас это распределенная система и ее применение в домашних условиях мягко говоря затруднительно. В следующих постах я подробнее расскажу как все устроено.

показать ответы
53
Автор поста оценил этот комментарий

Огромное количество агентств по торговле недвижимостью создаёт просто ГИГАНТСКУЮ кучу дерьма в которой копаться невозможно. Одни и те же квартиры выставляются от разных агентств по разной цене и по разным адресам, таким образом искусственно создаётся проблема поиска квартиры. Вы можете прошерстить всё авито, но так и не наткнуться на собственника, даже если в объявлении жирно указано русским по белому "БЕЗ КОМИССИИ, ОТ СОБСТВЕННИКА ЖИЛЬЯ" - вы всё равно скорее всего попадёте на злое**чего  агента. -_-  


раскрыть ветку (1)
8
Автор поста оценил этот комментарий

Согласен с вами, что успеваем - прозваниваем сами. Но конечно, по большому счету все от людей зависит. Можно обойти любой фильтр, наша задача сделать так, чтобы наш фильтр обходился как можно сложнее

показать ответы
Автор поста оценил этот комментарий
Попробовала подобрать квартиру в ЦАО ,Площадь Революции и Охотный ряд.Выдача:одна в области ,вторая на ул.Свободы Тушино.И в чем кайф?
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Есть небольшие проблемы с обратным геокодированием. Все зависит от того, как авторы объявлений указывают адрес. Если он, например, пишет просто "Москва", адрес будет определен как центр Москвы. Мы сейчас работаем над исправлением такой ситуации.

показать ответы
Автор поста оценил этот комментарий

почитать о том что у вас под капотом было бы интересно, но все же детально описывать алгоритм определения реального объявления от фейкового я бы все таки не стал

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

А детально и не будем, постараюсь сделать пост, чтобы было интересно и понятно в том числе и тем, кто не имеет отношения к программированию

2
Автор поста оценил этот комментарий

Баян, на хабре был описан солюшн для поиска реальных объявлений со всеми возможными параметрами фильтрации где-то лет 5 назад.

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Знаем, уже писал выше, это расширение для браузера. Оно неплохое, в последнее время не очень поддерживается, если в кратце, определение частник-агент происходит на клиенте (т.е. ваш компьютер загружает объявления в фоне и они проверяются). У нас другой подход, к клиенту приходят уже проверенные объявления. Но в целом да, механизмы схожие

показать ответы
6
Автор поста оценил этот комментарий
А чем вам плагин Sobnik не угодил
раскрыть ветку (1)
4
Автор поста оценил этот комментарий

Вроде как годный плагин для браузера, насколько я помню, пробовал. Правда, в последнее время он стал плохо поддерживаться и мы про него узнали уже после того как запилили свое)

показать ответы
Автор поста оценил этот комментарий

Ребят, а расскажите, может какие фишки есть, чтобы отсеять агентов и фейвые объявления?

Собираюсь снять квартиру в Питере на неделю через некоторое время. Посещение всем известного сайта удручило: увидел некоторые похожие объявления с одинаковыми телефонами и произвольно натыканными "где-то в центре" адресами. А вот напротив - реальных арендодателей я учуять не смог. Поделитесь, пожалуйста!

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Для краткосрочной аренды лучше использовать airbnb (сами пользовались, когда в Питер ездили)

Автор поста оценил этот комментарий

@Dagerty, не поверишь, сейчас у меня ровно такая же ситуация. Тоже закончил учиться, тоже маевник. Может я даже видел тебя когда-нибудь. Какой фак, какая общага?)

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

8 факультет, башня )

показать ответы
Автор поста оценил этот комментарий

На чём?

раскрыть ветку (1)
6
Автор поста оценил этот комментарий

стек: asp .net, mongo, elastic, react

показать ответы
Автор поста оценил этот комментарий
А по какому принципу ваш скрипт отделяет реальные объявления от фейковых?
раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Там не опишешь в 2 словах, я обязательно запилю пост про то, что у нас "под капотом".

Но общая схема такая: чтобы раскусить мошенника надо думать как мошенник:)

показать ответы
1
Автор поста оценил этот комментарий

Посоны. Очень плохо подхватывает метро. Смотрю на вашем сайте - Тёпляй стан, захожу в объяву - Речной вокзал (это вообще другой конец города).

И так во многих объявлениях

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Да, сейчас есть небольшие проблемы с геокодированием. Работаем над их устранением. обычно они появляются редко, но как говорится метко)

показать ответы
Автор поста оценил этот комментарий

Вы сравниваете фотографии в объявлении с фотографиями в интернете?

Я, конечно, подожду поста, но любопытно все равно =)

Себе в Тольятти хотели бы найти квартиру от собственников

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Не без этого :)

Автор поста оценил этот комментарий

брооо, а ддя Нижнего Новгорода не планируете сделать?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Пока в планах нет(

показать ответы
Автор поста оценил этот комментарий

Ребята! Сайт бомба! Нашёл квартиру, но что-то с сайтом:

Пишет - The resource you are looking for has been removed, had its name changed, or is temporarily unavailable.

Это значит что ссылку удалили? :(

И вкладку теперь не закрываю, что бы квартиру не потерять, помогите, пожалуйста :)

раскрыть ветку (1)
Автор поста оценил этот комментарий

А можете написать в чат на сайте (можно открыть новую вкладку, чтобы старую не потерять) или в группе ВК или на почту? Я помогу

Автор поста оценил этот комментарий

автор, а как  тобой связаться? есть вопрос по профилю твоей деятельости

раскрыть ветку (1)
Автор поста оценил этот комментарий

Можно в нашей группе вк ,телеграм (это всё в футере сайта) или по почте dev@truedom.ru

Автор поста оценил этот комментарий
А можно и в других городах искать?
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Пока нет, но мы планируем расширить географию

показать ответы
Автор поста оценил этот комментарий
В какой общаге жил?) Космос?
раскрыть ветку (1)
Автор поста оценил этот комментарий

Башня) 8 факультет

Автор поста оценил этот комментарий

ТС!

Если выбрать параметры поиска, выполнить поиск, нажать "подробнее", затем зайти в описание "почему и как стать своим", а потом нажать назад - параметры и результаты поиска сбрасываются.

раскрыть ветку (1)
Автор поста оценил этот комментарий
Спасибо, посмотрим,отладим,исправим !
14
Автор поста оценил этот комментарий

Опять реклама... Задолбали. Каждая пхп-макака спешит набрать бесплатный миллион посещений с пикабу. Ежедневно в свежем всплывают, "ТОЛЬКО У НАС, ТОЛЬКО ДЛЯ ПИКАБУШНИКОВ, БЕЗ ЖУЛЬНИЧЕСТВА". Удивительно, что до горячего доплывают.

раскрыть ветку (1)
9
Автор поста оценил этот комментарий

Не совсем, так. Мы просто что-то научились делать и захотели этим поделиться, как сапожник, который научился мастерить сапоги. Безусловно какой бы хороший робот не был, приходится проверять все руками.
По поводу "Каждая пхп-макака" если будет интересно расскажу про архитектуру и реализацию, правда она не на пхп(

показать ответы