This question is of interest to me because of my own difficulty with remembering on'yomi, as there are fewer possible on'yomi than kun'yomi. So there must be a finite number of valid on'yomi pronunciations, right? The question is, what is this number?
This sounds more mathsy than Japanese, but I'm aware that there are phonotactic constraints which JSE users would be more qualified to discuss, than MSE users.
The on'yomi are of course morphemes borrowed from Middle Chinese, so in a sense the sounds of Japanese on'yomi are the sounds of Middle Chinese filtered through Japanese loanword phonology. Of course, the phonetics and phonotactics of Japanese changed over time, so describing the exact process by which we ended up with the sounds we have today is kind of complicated! I won't attempt that here. Instead, I'll focus on the set of on'yomi I believe are in modern use.
The Middle Chinese readings that on'yomi represent were (almost?) exclusively monosyllablic. As a result, each on'yomi looks something like a syllable:
Onset. Thirteen possible consonants can begin a "syllable". Most consonants can be followed by /y/ except the glides /w/ and /y/ (and also /d/ due to sound change):
0: ∅ 1: k g s z t d n h b m y r w 2: ky gy sy zy ty ny hy by my ry
Nucleus. All five Japanese vowels are possible, along with six vowel+vowel combinations:
1: a i u e o 2: ai ii uu ui ei oo
Coda. By itself, only /n/ is possible. But /k/ and /t/ also appear when followed by the epenthetic vowels /i/ or /u/:
0: ∅ 1: n 2: ki ku ti tu
These last four can't truly be considered syllable codas in Japanese, of course. Words like 悪 /aku/ can't be considered monosyllabic in Japanese. But in describing the possible on'yomi it helps to start from the syllable model because of the relationship to Chinese, so that's what I'm doing here.
Sometimes these sounds have undergone further changes in the Japanese language, and this can produce combinations that aren't possible based on the list above. For example, じか was derived from 直(じき). It's not clear whether this sort of example should be listed as a separate on'yomi or not; 新漢語林 doesn't list it as one, so I've chosen to leave it out of the list. (See Zhen Lin's comment below for some more exceptional examples that don't fit into my list, and flow's answer for further discussion.)
The above gives us 24 possible onsets, 11 possible nuclei, and 6 possible "codas". If we multiply these together, we find a total of 1584 possible combinations, but I count only 335 in modern use:
ア アイ アク アツ アン イ イキ イク イチ イツ イン ウ ウツ ウン エ エイ エキ エツ エン オ オウ オク オツ オン カ カイ カク カチ カツ カン ガ ガイ ガク ガチ ガツ ガン キ キク キチ キツ キャ キャク キュウ キョ キョウ キョク キン ギ ギャ ギャク ギュウ ギョ ギョウ ギョク ギン ク クウ クツ クン グ グウ グン ケ ケイ ケチ ケツ ケン ゲ ゲイ ゲキ ゲツ ゲン コ コウ コク コチ コツ コン ゴ ゴウ ゴク ゴン サ サイ サク サツ サン ザ ザイ ザツ ザン シ シイ シキ シチ シツ シャ シャク シュ シュウ シュク シュツ シュン ショ ショウ ショク シン ジ ジキ ジク ジツ ジャ ジャク ジュ ジュウ ジュク ジュツ ジュン ジョ ジョウ ジョク ジン ス スイ スウ スン ズ ズイ セ セイ セキ セク セチ セツ セン ゼ ゼイ ゼツ ゼン ソ ソウ ソク ソチ ソツ ソン ゾウ ゾク タ タイ タク タチ タツ タン ダ ダイ ダク ダツ ダン チ チキ チク チツ チャク チャン チュ チュウ チュツ チュン チョ チョウ チョク チン ツ ツイ ツウ ツク テ テイ テキ テツ テン デ デイ デキ デツ デン ト トウ トク トツ トン ド ドウ ドク ドン ナ ナイ ナツ ナン ニ ニク ニチ ニャ ニャク ニュ ニュウ ニョ ニョウ ニン ヌ ネイ ネツ ネン ノ ノウ ノン ハ ハイ ハク ハチ ハツ ハン バ バイ バク バチ バツ バン ヒ ヒキ ヒチ ヒツ ヒャク ヒュウ ヒョウ ヒョク ヒン ビ ビャク ビュウ ビョウ ビン フ フウ フキ フク フツ フン ブ ブツ ブン ヘイ ヘキ ヘツ ヘン ベ ベイ ベキ ベツ ベン ホ ホウ ホク ホツ ホン ボ ボウ ボク ボチ ボツ ボン マ マイ マク マチ マツ マン ミ ミツ ミャク ミュウ ミョウ ミン ム メ メイ メツ メン モ モウ モク モチ モツ モン ヤ ヤク ユ ユイ ユウ ヨ ヨウ ヨク ラ ライ ラク ラチ ラツ ラン リ リキ リク リツ リャク リュ リュウ リュク リョ リョウ リョク リン ル ルイ レイ レキ レツ レン ロ ロウ ロク ロン ワ ワイ ワク ワツ ワン
Note that the second half of what I've written as /oo/ is spelled with ウ in kana, so for example /koo/ is コウ, and so on.
If you prefer visuals I've done some research on this topic several years ago. Like, for example, this is the list of kanji grouped by ON-yomi and sorted by their uniqueness.
The research was done for most popular kanji learned in school (1945 total). Here are some interesting results I got:
List of kanji grouped by number of different ON-yomi they have
The colors represent school grade (from green to red: Grade 1, Grade 2... Grade 6, Middle/High-School).
The research helped me to find out many useful things, such as that there are many characters which have single and unique ON-yomi. Knowing that makes it much easier to remember.
Hope you'll find it useful too.
PS. To make the research I used JMDict data.
PPS. Some parts of the pages are in Russian, sorry about that.
@snailboat i get a very similar number. Of 13776 entries that are mainly taken from Unihan i can distill the below 420 documented On-readings. It has to be said that the Unihan data is not extremely well curated; in many places, it just lists anything that you could possibly list for a given character, and in some cases, pre-1945 spellings are thrown into the mix.
One rather interesting fact about the number of around 400 different On-readings for modern Japanese is that it very closely matches the number of different syllables (disregarding the tones, which puts the number closer to 1200 or so) attested by dictionaries for modern Chinese (Mandarin / Putonghua). That means that the losses (e.g. the merger of final -p, -ng, -au) that occurred in the historical development of Chinese as spoken in Japan are nearly perfectly outweighed by the features that were preserved in Japan (e.g. final -t, -k) but got lost in Mandarin during the past centuries. Put differently, the set of syllables (disregarding tones) that was once used on both sides of the East China Sea got reduced by the same margin, but by different means in China and in Japan.
Another remark to be made that has already been touched upon by @snailboat and @Zhen Lin is the question where onyomi starts and where it ends. Thus we have such readings as タバコ for 煙(草), ページ for 頁, ペキン for 北京, ホンコン for 香港 and so on; are these onyomi? But even staying within the more classically accepted terms one has to say that the so-called 漢音, 唐音, 呉音 styles of readings are in some cases more a theoretical construct than a practical fact. Then there are such readings as ケツ for 欠, which is obviously a Japanese innovation that could be well classified as kunyomi. Utterly difficult are cases like うめ, うま for 梅, 馬; these are thought to be very ancient reflexes of the Chinese readings (which are mei and ma in modern Chinese) and are, as such, really onyomi—but dictionary writers have always classified these as 'true Japanese words', and, hence, as kunyomi.
To show how and where the matter gets really over the top let me share an observation made in a Meiji-era Schreibmeisterbuch; there, we find a letter of a 19th c Japanese who is staying abroad. In this letter, "Paris, France" is written as "佛國巴里" (in modern Chinese, that would be 法國巴黎 and, in modern Japanese, フランス・パリ or maybe 仏・パリ). Anyhow, those four characters are annotated on the right with ふつこくばりす, and on the left with フランス. As a rule, in this book it's often the onyomi that are written out with hiragana, while for the more colloquial kunyomi, katakana are used—quite the opposite of the modern preference—so it does look like フランス is understood as the explanatory reading of 佛國, while ばりす is understood as the onyomi of 巴里. But how could one ever read 里 as りす except when 巴里 are used as 当て字 in which case their reading is "kunyomi-style informed by onyomi habits"? The point is that if you do not accept フランス and ばりす as onyomi or kunyomi you'll need yet another concept to account for the facts.
Fun Fact 弗, which has the classical reading フツ, is also read ドル, which is short for ドルラル, because it looks a lot like $. What do you call that? A 笑い音読み?
ア
アイ
アク
アチ
アツ
アン
イ
イウ
イキ
イク
イシ
イチ
イツ
イン
ウ
ウイ
ウチ
ウツ
ウン
エ
エイ
エウ
エキ
エチ
エツ
エン
オ
オウ
オク
オチ
オツ
オン
カ
カイ
カク
カチ
カッ
カツ
カン
ガ
ガイ
ガク
ガチ
ガッ
ガツ
ガン
キ
キイ
キク
キケ
キチ
キツ
キャ
キャク
キャン
キュウ
キョ
キョウ
キョク
キン
ギ
ギチ
ギツ
ギャ
ギャク
ギュウ
ギョ
ギョウ
ギョク
ギン
ク
クウ
クク
クチ
クツ
クン
グ
グウ
グチ
グン
ケ
ケイ
ケキ
ケチ
ケツ
ケン
ゲ
ゲイ
ゲキ
ゲチ
ゲツ
ゲン
コ
コウ
コク
コチ
コツ
コン
ゴ
ゴウ
ゴク
ゴチ
ゴツ
ゴン
サ
サイ
サウ
サク
サチ
サッ
サツ
サフ
サブ
サン
ザ
ザイ
ザツ
ザン
シ
シイ
シウ
シキ
シチ
シツ
シャ
シャク
シャン
シヤウ
シュ
シュウ
シュク
シュチ
シュツ
シュフ
シュン
シユ
ショ
ショウ
ショク
シン
ジ
ジカ
ジキ
ジク
ジチ
ジッ
ジツ
ジャ
ジャク
ジャン
ジュ
ジュウ
ジュク
ジュチ
ジュッ
ジュツ
ジュン
ジョ
ジョウ
ジョク
ジョツ
ジン
ス
スイ
スウ
スク
スン
ズ
ズイ
セ
セイ
セウ
セキ
セク
セチ
セツ
セン
ゼ
ゼイ
ゼチ
ゼツ
ゼン
ソ
ソウ
ソク
ソチ
ソツ
ソン
ゾウ
ゾク
ゾン
タ
タイ
タク
タチ
タツ
タン
ダ
ダイ
ダウ
ダク
ダツ
ダン
チ
チキ
チク
チチ
チツ
チャ
チャク
チャン
チュ
チュウ
チュチ
チュツ
チュン
チョ
チョウ
チョク
チン
ヂ
ヂュウ
ツ
ツイ
ツウ
ツク
ツサ
テ
テイ
テキ
テチ
テツ
テン
デ
デイ
デキ
デチ
デツ
デン
ト
トウ
トク
トツ
トド
トン
ド
ドウ
ドク
ドツ
ドン
ナ
ナイ
ナッ
ナツ
ナン
ニ
ニク
ニチ
ニャ
ニャク
ニュ
ニュウ
ニョ
ニョウ
ニン
ヌ
ネ
ネイ
ネチ
ネツ
ネン
ノ
ノウ
ノン
ハ
ハイ
ハウ
ハク
ハチ
ハッ
ハツ
ハン
バ
バイ
バウ
バク
バチ
バツ
バン
ヒ
ヒキ
ヒチ
ヒツ
ヒャク
ヒュウ
ヒョウ
ヒョク
ヒン
ビ
ビチ
ビツ
ビャク
ビュウ
ビョウ
ビン
フ
フウ
フク
フチ
フツ
フン
ブ
ブク
ブチ
ブツ
ブン
ヘ
ヘイ
ヘウ
ヘキ
ヘチ
ヘツ
ヘン
ベ
ベイ
ベキ
ベチ
ベツ
ベン
ホ
ホウ
ホク
ホチ
ホッ
ホツ
ホン
ボ
ボウ
ボク
ボチ
ボッ
ボツ
ボン
ポン
マ
マア
マイ
マク
マチ
マツ
マン
ミ
ミチ
ミツ
ミャク
ミュウ
ミュク
ミョウ
ミン
ム
メ
メイ
メチ
メツ
メン
モ
モウ
モク
モチ
モツ
モン
ヤ
ヤク
ヤチ
ヤラ
ユ
ユイ
ユウ
ヨ
ヨウ
ヨク
ラ
ライ
ラク
ラチ
ラツ
ラン
リ
リイ
リキ
リク
リチ
リツ
リャク
リュ
リュウ
リュク
リョ
リョウ
リョク
リン
ル
ルイ
レ
レイ
レキ
レチ
レツ
レフ
レン
ロ
ロウ
ロク
ロン
ワ
ワイ
ワク
ワチ
ワツ
ワン
Although not all kanji's [音読み]{onyomi}, the website wordlinker.com lists all JLPT kanji's onyomi. Their data comes from the JMdict dictionary files.
The site lists exactly 311 different onyomi, and it groups kanji sharing the same phonetic component to help you memorize them (most kanji have a component that determines their reading).
Below is a sample from the page:
Kanjis that have only one onyomi are listed in blue, which is helpful to memorize their readings.
