2004年，因主演《玉簪记》被陈伯华收为“关门弟子”；同年，其主演
的汉剧《风雪三关》参加了第八届艺术节戏曲曲类节目展演。2005年，进入上海越剧院学习越剧，并举办了个人艺术专场演出；同年，参演越剧电视剧《杨乃武平冤记》，在剧中饰演杨乃武一角。
2006年，余少群由浙江省"人才引进工程"进入浙江越剧团学习越剧，并于同年举办了个人越剧专场演出；同年，参加北京电视台的“红楼梦中人”选拔，获得上海赛区“宝玉组”前五强。2007年，被陈凯歌导演选中出演电影《梅兰芳》，进剧组之前，余少群还接受了八个月的京剧培训。
2008年12月4日，与黎明、章子怡、陈红合作出演的剧
情片《梅兰芳》上映，他在片中出演青年时期的梅兰芳，这是他首部大银幕作品，凭借该片中的表现他获得了华表奖、金马奖以及亚洲电影奖等电影节最佳新人奖；同年12月18日，他正式签约海润千易演艺经纪公司成为旗下艺人，并推出个人首支单曲《戏梦人生》。
2010年，余少群主演了犯罪剧情片《守望者》；同年，主演清代宫廷剧《苍穹之昴》；9月，在张黎执导的革命历史片《辛亥革命》中饰演汪精卫 ；11月2日，其主演的动作喜剧片《功夫咏春》在全国上映。
2011年，参演功夫片《新少林寺》，在片中饰演了正直善良的静海；6月，参演历史片《建党伟业》，在片中再次饰演梅兰芳 ；4月19日，其搭档古天乐、刘亦菲主演的古装奇幻
爱情片《倩女幽魂》上映，余少群在片中饰演书生宁采臣；同年，在古装历史传奇剧《隋唐英雄》中饰演唐太宗李世民 ；11月，主演宫廷历史剧《武则天秘史》 。
2012年，主演古装历史剧《大戏法》，并首次在剧中一人分饰两角；同年，主演话剧《风雪夜归人》；3月22日，古装历史片《止杀令》上映，余少群在片中饰演武功高强的赵道安，凭借该片中的表现他获得了第五届英国万像国际华语电影节最佳男配角奖；12月28日，余少群在上映的悬疑惊悚片《地下室惊魂》中饰演了温文尔雅的王东。
2014年2月6日，余少群与郭珍霓、杨菲洋合作主演的古装历史剧《钱塘传奇》播出，他在剧中饰演了天资聪颖的乾隆皇帝和个性格豪爽的陈邦国；同年，在古装传奇剧《神医安道全》中饰演民间神医安道全。
2015年2月22日，余少群主演的古装战争剧《隋唐英雄之薛刚反唐》播出，
他在剧中饰演嫉恶如仇、武艺高强的薛刚；同年，主演近代传奇剧《末代皇帝传奇》；12月27日，获得“中国电视好演员”奖。
2016年1月，与王心凌共同主演了爱情喜剧电影《我想静静》；同年，主演喜剧片《奇怪的同居》；5月20日，其与刘亦菲、刘烨合作的文艺片《夜孔雀》上映，余少群在片中饰演热爱川剧的学生马林，并献唱电影主题曲《为爱成泥》 ；6月，执导了个人电影处女作《说好毕业不分手》 。
2017年6月，余少群主演的爱情喜剧片《就想和陌生人说话》在上海开机，并在片中饰演一名社交恐惧症患者；7月28日，在上映的革命历史片《建军大业》中继续出演汪精卫一角；10月27日，其参与录制的节目《演员的诞生》在浙江卫视首播，并在节目中与翟天临上演电影《绣春刀》片段；11月10日，由比利·奥古斯特执导的战争片《烽火芳菲》上映，他在片中饰演一名教书先生。
2018年8月20日，其参演的古装宫斗剧《如懿传》在腾讯视频播出。2019年6月，出演国内首部关于汶川地震救灾题材的3D院线电影《极震区》，片中饰演空军特遣队勇士王汉亮。