Quite a bit more sophisticated than the "alphabet song", there is a wonderful poem by 北原白秋 (Hakushū Kitahara) called 五十音. It goes like this
五十音
[水馬]{あめんぼ}赤いな。ア、イ、ウ、エ、オ。
[浮藻]{うきも}に[小蝦]{こえび}もおよいでる。
柿{かき}の木、栗{くり}の木。カ、キ、ク、ケ、コ。
[啄木鳥]{きつつき}、こつこつ、枯{か}れけやき。
[大角豆]{ささげ}に酢{す}をかけ、サ、シ、ス、セ、ソ。
その魚{うお}[浅瀬]{あさせ}で刺{さ}しました。
立ちましょ[喇叭]{らっぱ}で、タ、チ、ツ、テ、ト。
トテトテタッタと飛び立った。
[蛞蝓]{なめくじ}のろのろ、ナ、ニ、ヌ、ネ、ノ。
[納戸]{なんど}にぬめってなにねばる。
[鳩]{はと}ぽっぽ、ほろほろハ、ヒ、フ、ヘ、ホ。
[日向]{ひなた}のお部屋にゃ笛を吹く。
[蝸牛]{まいまい}[螺旋巻]{ねじまき}、マ、ミ、ム、メ、モ。
梅の実落ちても見もしまい。
[焼栗]{やきぐり}、ゆで[栗]{ぐり}ヤ、イ、ユ、エ、ヨ。
山田に灯{ひ}のつく宵{よい}の家{いえ}。
[雷鳥]{らいちょう}は寒{さむ}かろ、ラ、リ、ル、レ、ロ。
[蓮花]{れんげ}が咲いたら、[瑠璃]{るり}の鳥。
わい、わい、わっしょい。ワヰウヱヲ。
[植木屋]{うゑきや}、[井戸換へ]{ゐどがへ}、お祭{まつり}だ。
According to Wikipedia it was first published in 1922 in a magazine called Taikan (大観)
1922年、雑誌『大観』1月号に上梓されたものを初出とし、…
so I haven't been able to find a primary source, although it seems to be reproduced in several "collected works" (e.g. in these two books (Amazon links), 北原白秋100選 and 白秋全集〈25〉童謡集 1).