You're right that 泣いていた is the informal past continuous conjugation. " (";I was crying"), and that していた is the informal past continuous form of する as well.
And you're also right that 泣き is the noun form of the verb 泣く, derived from its continuative form (連用形):
なき【泣き】〘名〙
泣くこと。また、泣くほどつらいこと。「泣きを入れる（＝泣いて頼む）」「泣きを見る（＝泣くほどつらい目に合う）」...
(明鏡国語辞典)
It's marked as just〘名〙, not as 〘名・自サ変〙. It means 泣き is a noun, but cannot be used as a する-verb. So you cannot say 泣きする, 泣きした, or 泣きしていた.
Compound nouns with ～泣き, such as うれし泣き, 男泣き, うそ泣き, 大泣き, 悔し泣き, 夜泣き, すすり泣き, しのび泣き etc. are サ変 verbs and can be used as a する-verb, as in うれし泣きする, 男泣きする, うそ泣きする etc.
As an aside, same goes for many other verbs. You can say:
[大笑]{おおわら}いする, but not 笑いする,
[早歩]{はやある}きする, but not 歩きする,
[小走]{こばし}りする, but not [走]{はし}りする,
[早食い]{はやぐ}する, but not [食]{く}いする,
[夜逃]{よに}げする, but not 逃げする,
[二度寝]{にどね}する, but not 寝する,
etc...