I was reading the definition (4) of 惜しむ because I think that's the appropriate one from 大辞林. At least it appeared in 言葉の雨に打たれ 秋惜しむまま冬に落ちる (思想犯):
（４）価値あるものが失われたこと，また，活用されずに終わることを残念に思う。「ゆく春を―・む」「彼の死は惜しみても余りあるものがある」「皆に―・まれつつ職場を去る」
What conjugations is 惜しみても?
Would also love it if someone can confirm that this is the suitable definition. (1) seems to have something to do with being sparing with money/using it carefully .
（１）自分の金銭や物品を大切に思い，使わずに済ませようとする。
I believe this is the 連用形 of 惜しむ{をしむ} in 古文 (also called 文語 in some contexts). This is a 四段活用 word, so the 活用 table goes something like this:
| 活用形 | 語形 |
|---|---|
| 未然形 | をしま |
| 連用形 | をしみ |
| 終止形 | をしむ |
| 連体形 | をしむ |
| 已然形 | をしめ |
| 命令形 | をしめ |
The テ形 then gives 惜しみて. By the same token, 書く's テ形 is 書きて.
I was sure this had been explained here on our site, but I unfortunately didn't find a pertinent discussion on this, so I am patching something together from Wikipedia
(this answer only mentions in passing that the two used to be different but merged. Wikipedia presents a much fuller picture)
鎌倉時代
ハ行転呼やいくつかの音節の統合により、同じ発音になった仮名が多数生じ、仮名遣いに動揺が見られるようになった。藤原定家（1162年 - 1241年）は仮名遣いを定めるにあたり、『下官集』の「嫌文字事」（文字を嫌ふ事）で60ほどの語について「を・お」「え・へ・ゑ」「ひ・ゐ・い」の仮名遣いの基準を示した。定家の仮名遣いは11世紀後半から12世紀にかけて書写された仮名の文学作品の用例を基準とし、「え・へ・ゑ」「ひ・ゐ・い」のなかには音韻が変化した後の仮名遣いをそのまま採っているものがある。また「を」と「お」の区別は、当時の京都における言葉のアクセントを基準にして「を」が高い音節、「お」が低い音節を表すように仮名遣いを定めた。これは当時「を」と「お」がいずれも /wo/の音になっていたのを、 /wo/の音節を含む言葉を仮名で書き分けるための方法として用いたものであった。ただしこのアクセントで以って「を」と「お」を区別することは、11世紀後半に成立した『色葉字類抄』においてすでに見られるものである。しかしアクセントによる区別で仮名を書き分けた結果、定家の仮名遣いでは「を・お」が音韻の変化する以前の仮名遣いとは一致しないものが多く含まれることになった。例えば「置く」（おく）、「送る」（おくる）、「怒る」（おこる）、「音」（おと）、「愚か」（おろか）は本来は「お」であるが、アクセントによる使い分けに従った結果「を」になっており、逆に「荻」（をぎ）、「惜しむ」（をしむ）、「甥」（をひ）、「折る」（をる）も本来は「を」だが「お」になっている。なお「香る」（かをる）、「竿」（さを）、「萎る」（しをる）は本来はいずれも「を」だが、のちの『仮名文字遣』などではいずれも「ほ」の仮名で記されている。
In short, をしむ became おしむ about 900 years ago as a result of an orthographical attempt.
As @Nanigashi points out, this is a 撥音便 (nasal sound change). をしみて→をしんで
For more, see this page.
And yes the definition looks apt for the context.
