1819年、著名な音楽家カール・フリードリヒ・ツェルターの招きにより、クラインはベルリンへと居を移します。この移住が彼のその後の活動拠点となり、生涯をベルリンで過ごすことになります。ベルリンでは、1820年に王立教会音楽大学(Royal Institute for Church Music)の作曲科教授に任命されました。また、ベルリン大学の音楽監督も兼任し、教育者としても後進の指導にあたりました。
公的な教育機関での活動に加え、クラインはベルリンの音楽文化振興にも貢献しました。彼は友人であり音楽批評家でもあったルートヴィヒ・レルシュタープと共に、第2ベルリン歌曲評議会(Zweiten Berliner Liedertafel)の設立に携わっています。これは当時のドイツにおける男声合唱運動の一端を担う重要な組織でした。