A: おかああさん?
B: はーい
ホッとする。同時に拍子抜けする。なんだ居るのかと胸をなでおろしたあとで、居るなら居ると言ってくれればいいのにと誰にともなく唇をとがらせる。
My translation is "...if you're here, I wish you would say 'I'm here'..."
I don't understand after のに…
ともなく means "doing something without thinking", correct?
Please help me understand this!