Интернет для бизнеса часть 4. Большой и очень большой бизнес. NOC⁠⁠

В крупных компаниях федерального, а то и мирового уровня, как известно, есть своя техподдержка, а то и целый NOC. NOC - это network operation center, иногда ещё называется ЦУС - Центр Управления Сетью. Отделять сетевую часть от всей остальной ИТ-инфраструктуры компании - весьма полезно и эффективно, от того, наверное и дорого.
Но иногда NOC - это один человек, да и тот сисадмин. Системные администраторы, сетевые инженеры и программисты - это абсолютно разные ИТ-специализации, вот сисадмин это часто что-то по серединке с дополнительными навыками вроде "Монтажник СКС" ,  "Эникей" и "Тыжпрограммист, почини мне компьютерный стул" .
Но нагружают его как полноценного сетевого инженера, а может даже ещё и как полноценного программиста одновременно. А платят то как обычному админу. Крепитесь, ребятки, всю работу в своей зоне ответственности делайте строго под отчетность, а не в своей - отфутболивайте. Хотят вам новый функционал - пусть и денежки платить хотят.
Итак, Админы.
Видимо от такого количества ответственности эти товарищи иногда борзеют.
- "Да у меня домашний айпишник не пингуется с канала на работе! Да там по любому у вас какая-то проблема, проверяйте своё барахло!"
Думаю: "Слыш, блядь, барахло. Это барахло - ASR 9000 , у циско конечно много всяких разных сборок и комплектаций каждой железяки, но даже в самой дешёвой эта штука стоит дороже, чем тебя на органы продать."
- "Я вот ваш домашний канал нашёл, и он пингуется с сервака, а с вашей сети на работе - нет. Вот давайте вы напрямую подключитесь дома и посмотрим!"
Звоню через 20 минут. "Ну что?" - "Ой, пингуется! Надо то было всего одно правило прописать!"
Это при том, что втирал мне, что там микротик и никакого фаерволла нет. Наверное он понимает под фаерволлом - программно-аппаратный комплекс, а не встроенную защитную софтину в роутер.
И сидят они, мамкины Cisco Certified, и заливают нам, что циска у них хорошая, что там проблем быть не может, нет-нет, ни в коем случае!
Ага, как же, тут большие дяди из Москвы так с одним девятитонником прикурили, что даже вендор ничего внятного кроме пары костылей не подсказал. А ты, говоришь, циска у тебя! Ну пиздец, панацея!
Другой - сдаёт проблему с телефонией через L3VPN канал.
Я: Дядь, ты как бы в курсе, что ты можешь 60% трафика прокрасить в REA преседенс и у тебя всё будет летать? А сейчас ты ничего не красишь, получается каша-малаша из голосового трафика и данных, в ВЕ-преседенсе, а там кто успел того и тапки. Настрой QoS у себя и будет тебе счастье.
А: QoS? А чойта?
Он бы может и знал, если бы предыдущий админ, тот, кто всё принимал записал в документации к каналу. "На канале QoS, на телефонию прокрасить 60% в REA, остальное красить в BE" . Админ загуглил бы, разобрался и всё сделал как надо. Но нет же, блядь, после нас - хоть потоп.
Далее - Техподдержка.
Чаще всего у клиентов есть своя техподдержка где-нибудь в Москве, или наоборот в регионе, где ЗП специалистом за ту же работу можно платить по-меньше.
Подход, в целом, хороший. Есть дежурный, который всегда может сдать проблему провайдеру , или же оперативно проверить восстановление. Вот только тут есть свои нюансы.
- Та же проблема с документацией. Ну никак не хотят документировать свою же собственную связь. Какой телефон на самой точке? А хз щас поищу. Где конкретно на точке железка твоя? - А хз, фоток нет. После этого через 3 звонка и 15 минут разговора, ты находишь с каким-нибудь менеджером ресторана циску до которой видишь связь, грузишь её, и о чудо! Всё работает!
И циска не провайдерская ниразу, то есть по логике вещей всё это должна была проделать техподдержка при обращении с точки ещё.
- Проблема с работами , которые нужно выполнять физически на объекте. Роутер сдох, на точке специалистов нет, техподдержка в Москве,  город - Усть-Перепиздюйск, а провайдер в железки клиента лазить права не имеет, . В лучшем случае в какой-нибудь аутсорс позвонят, в худшем - этого продавца с точки и направят роутер покупать.
- Проблема с доступом и конфигурированием оборудования. Это чаще когда техподдержка не внешняя, а штатная, первая линия сидит где-то в РФ, а все доступы и настройки у инженеров из-за бугра. И начинается тут: "Ой у нас доступов нет, инженеры в Голландии, вы нам на почту напишите, что и где проверить/прописать надо - мы им перешлём".
И сидят терпят потом неделю, пока эти инженеры им ответят, когда там работы эти провести сможет студент, который пару лаб в packet tracer сделал.
Ну, и наконец NOC - дежурные инженеры в таких центрах зачастую серьёзные ребята, говоришь с ними совершенно свободно, как с коллегами. Всё понимают, да только ленятся. "Я человек простой, у меня мониторинг завизжал - я скриншот в письмо приложил и провайдеру пульнул" .
Естественно, откуда и куда мониторинг этот самый мониторит - мы понятия не имеем, техподдержка им заведёт тикет на примерно-подходящий канал, а нам сиди потом за всех работу делай. Физический адрес сверь, айпишник сверь. А если L2 канал - так вообще пиздец. Какие там таблицы коммутации, вы что, У НАС ПО МОНИТОРИНГУ НЕДОСТУПНО!!!11.
Говаривали мне инженеры, у которых я обучался в своё время, что WYSIWYG для школьников. И правильно говаривали. Когда у тебя более двух точек L2VPN, и весь трафик гоняется в одном вилане - провайдер в случае отвала чего-нибудь по L3 все равно маки видит с двух сторон, тут нужно указывать какие конкретно маки перестали прилетать.
Мораль басни: Если вы поддержка - не ленитесь задокументировать все каналы клиента ( для этого можно например провайдеру информационные ТТ/кейсы завести, чтобы просто прислали что там видно от вас и что там у них стоит) .
Не футбольте сотрудников сразу к провайдеру - зайдите на оборудование и проверьте , что видно от провайдера и от локальной сети.
Предоставляйте как можно больше информации, особенно если услуга работает, но плохо. Откуда мониторите и IP, куда мониторите и IP. В чём проявляется проблема у пользователей, что видно на оборудовании: ошибки на аплинке, нагрузка на процессор, температура, статус/наличие фаерволла и акцес-листов.
Свитч - не хаб, представляете. Каждый раз, когда ты покупаешь каталист и не настраиваешь на нём управление - где-то там плачет один инженер техподдержки.
И нет, это всё проверяется/настраивается недолго, у меня на аналогичную проверку по нашей сети уходит в среднем минут 17. А железок то по каждому каналу по-больше будет.
P.S. Респект таким пацанам, которые могут в звонке зайти на циску, сделать show processes cpu history, show int X/X, и законфигать там load-interval 30 .
Бля, один как-то даже научил тётеньку на объекте на циску через PuTTy ходить с минимальными show-правами. Задиктовал команды, всё проверила. Красота.