From what I've read, からいって means "considering this..."
人気や知名度からいって、彼が選挙で当選するのは確実だろう。
But when you add "と" to form "からといって" it becomes "even though..."
すぐにメールの返事が来ないからといって、心配することはないと思う。
How does "と" change the meaning of the phrase? Or is it something that has no explanation and simply works this way?