Ну, нет - так нет

Как-то в один из прекрасных осенних дней, решили съездить парами в кафе, спокойно посидеть, отметить день рождения девушки. Естественно после недолгой посиделки меня с братом потянуло на улицу. Стоим около кафе на перекуре, рядом с нами мужик изрядно подпивший с кем то по телефону ругается. После того как положил трубку, направился к нам, попросил закурить.
Стоим курим.
Потом неожиданно для нас говорит: -"парни, может подеремся?"
Мы не ожидая такого вопроса встали в ступор.
Мужик на вид, килограмм 110, выше меня на голову (учитывая мой рост ~180 и вес около 70, а брат ещё ниже и меньше). Явно сильнее нас обоих.
В голове думаю, сейчас что то будет.
Я не отходя от ступора данного вопроса, на автомате говорю нет.
Мужик: -"Ну, нет - так нет".
Бросил бычок и ушел обратно в кафе.
Мы с братом так и стояли в недоумении - что же это было?