在从医的同时，林俊卿先生也开始加强其在音乐方面的修养。他选择声乐训练为主要项目。从1941年至1947年，林先生先后师从侨居上海的威尔逊夫人（著名女中音歌唱家）、梅百器和莫那维他等外国音乐教师，其中梅百器和莫那维他这两人对他的影响最大。梅百器（Maestro Mario Paci）是意大利歌唱家及交响乐队指挥，音乐大师Liszt的门徒，Sganbati的高足，早年在意大利担任过歌剧院副指挥，指挥过著名男高音歌唱家卡鲁索的演唱，来华后受当时上海英租界"工部局"的委托创立了"工部局交响乐队"，并任首任指挥，是当年东亚最负盛名的音乐家。莫那维他（B.Bonavita）是意大利著名男高音歌唱家。梅百器教林俊卿学习正宗的意大利"美声唱法"，指导他艺术表现方面的知识；莫那维他则教林俊卿学习意大利传统的"咽音练声法"。林俊卿最负盛名并且终生为之求索并实践的咽音唱法即发端于此。
林俊卿声乐方面的素质基础十分厚实，加上他勤奋好学、肯动心思，在名师指导下，其声乐艺术的进步相当快，对国外美声学派的训练方法也很有独到的体会，因此他的男中音发音正确，音质纯正，用气非常讲究，能把一些外国著名的歌剧中的男中音唱段演唱得十分到位。林俊卿逐渐成为上海很引人注意的业余歌唱家。他曾多次在"意大利俱乐部"的音乐厅登台演唱，梅百器亲自率领交响乐队为其伴奏，每次都大获成功。当时英文版《大陆报》（The China Press）的音乐评论员曾著文称赞林先生"虽然只是一位业余的歌唱家，但技巧水平却远远超过一般专业"。梅百器还特意赠送他一幅有他本人签名的照片，上面亲题"给我伟大的男中音林大夫留念，1945"，以资鼓励和肯定。不久后，梅百器客逝上海，林俊卿又在接任指挥的马俄林斯基（Magolinsky）和高华教授（A.Foa，著名小提琴演奏家）等人的帮助下，多次参加重大音乐会演唱意大利歌剧选段。现居美国的国际著名音乐评论家顾特那博士，当年也在上海，任《大陆报》音乐评论员，他和许多专家都认为林俊卿是"中国史无前例的歌唱能力最强的男中音"。
20世纪40年代，尽管林俊卿在上海乐坛已经声誉鹊起，但他的主业仍然是医生。身为小儿科大夫，还兼诊内科、外科和妇产科等。白天行医，晚上及业余时间则从事声乐歌唱活动。1941年，林俊卿回鼓浪屿探视亲人，并准备在故乡开一场音乐会。在音乐会筹备过程中，林俊卿认识了当地一位美丽的钢琴家许恬如小姐，许小姐在那场音乐会上为他的演唱伴奏。共同的兴趣与追求，使他们两人迸发出爱情的火花。1943年，两人终于结成终身伴侣。1949年，林俊卿转至一所大学（即现在的华东师范大学）任校医。当时社会上公认他是一位高明的医学家，更是一位具有音乐艺术天赋的歌唱家。舆论界认为他"最好是以音乐为职业，这样好的嗓子加上这样超群的音乐天才，是稀有的巧合，他不应该剥夺世界人民欣赏其具此稀有天才的权利。他演唱之后群众报以雷响般的掌声，这点他应该有所启发吧。"（《North China Daily News》，1947年8月15日）。