O cabo HDMI é digital. Não tem um pino que passe audio analógico nele. Vc precisaria mesmo usar a saida RCA de sua TV e deixar ela ligada ou usar um extrator de som tipo esse:
Audio é bem chatinho. Um PWM comum ou mesmo um DA comum não geram a qualidade esperada para audio. Precisaria ser um conversor DA para audio, stereo, etc.
Caso queira fazer para aprender, aih sim, para aprender vale mto a pena, mas já sabendo que o resultado pode não ser o mesmo.