2003年，发行首张全创作专辑《乐行者》。虽然时逢SARS，但他和团队不轻言放弃，在3个月内走遍26个城市，进行了上百场演出，奠定了之后在中国大陆的稳固基础。
2004年，游走大陆，让从小接受英语教育的林俊杰首次体验中华文化所带来的冲击，结合西方R&B现代曲风以及中国风的专辑《第二天堂》由此诞生 ，主打歌《江南》成为林俊杰音乐事业上的代表作品；同年更凭借《乐行者》专辑拿下第15届台湾金曲奖最佳新人奖。
2005年，赴美国LA向音乐大师Seth Riggs学习唱歌技巧，同时林俊杰也成为Seth Riggs的第一位亚洲学生；3月25日，发行第三张创作专辑《编号89757》，穿梭在未来世界与古文明之间，不仅在销量上取得成功，也获得了各大颁奖典礼的肯定。
2006年，1月20日，发行首部音乐视觉写真书《进化论》1月28日，登上中国中央电视台春节联欢晚会（央视春晚）舞台献唱《一千年以后》，并以33.3%的支持率成为当晚最受观众喜爱的明星；推出个人第四张专辑《曹操》，首次尝试摇滚曲风，将R&B与多种音乐元素结合，确立个人风格概念“J-Fusion”；3月27日，受新加坡旅游局邀请，担任新加坡旅游形象大使；2006就是俊杰世界巡回演唱会开跑，这也是林俊杰首次举办个人巡演。
2007年，3月27日，成立个人音乐制作公司JFJ Productions；6月29日，以人性的善恶纠结为基础，大胆推出更具突破性的专辑《西界》；7月22日，在《西界》天津签售会上，以两小时二十八分零九秒签完3052张个人专辑的成绩刷新吉尼斯世界纪录，并由英国吉尼斯总部派出的验证官授予证书；首度参演电视剧，客串出演台湾偶像剧《花样少年少女》。
2008年，首次主演网络小说改编的偶像剧《原来我不帅》；10月18日，发行专辑《JJ陆》，与蔡卓妍合唱的《小酒窝》广为传唱，也让他成功在香港市场占有一席之地。
2009年，3月28日，第二轮世界巡回演唱会“杰伴2009”于新加坡开启；随后，林俊杰遭受出道以来最严重的生理打击，由于胃酸倒流侵蚀声带造成失声，演艺活动被迫中止；12月15日，携专辑《100天》回归歌坛，这本纪录了低潮期的心情日记，也体现了他心境的转变。
2010年，凭借《100天》入围第21届台湾金曲奖最佳男歌手，在颁奖典礼上的“金曲！金曲！”表演，让百万观众见证林俊杰“诉说女人故事”的实力与魅力，使其在台湾的事业攀上了新的高峰；8月21日，于北京开启第三轮世界巡回演唱会“I AM”；12月8日，发行概念自选辑《她说》，从曾经写给众多女歌手的近百首歌曲里精选出10首，重新改编，赋予全新生命，与孙燕姿合作的《她说》大受好评。
2011年，4月底，与老东家海蝶音乐合约到期；8月8日，加盟华纳唱片，开启新乐章；9月30日，由林俊杰担任音乐总监的电影《夏日乐悠悠》上映，除了创作主题曲《Love U U》，同时还负责全片的配乐工作；12月31日，推出第九张创作专辑《学不会》。
2012年，3月1日，推出首本个人故事影像集《记得》，跻身畅销作家行列；凭借专辑《学不会》斩获各大奖项，深拓台湾市场。
2013年，3月13日，发行出道十年纪念专辑《因你而在》，以单周销售占比83.35%的成绩打破此前台湾五大金榜华语榜单纪录，并拿下该榜单年度销售冠军；专辑中的《修炼爱情》获得Hit Fm年度百首单曲票选冠军，这首歌的微电影《时之繁花》亦入选台湾年度十大微电影 ；7月13日，第四轮个人巡演“时线Timeline世界巡回演唱会”从台北小巨蛋起跑。
2014年，2月16日，“时线Timeline世界巡回演唱会”登陆伦敦，林俊杰成为首位在伦敦开个唱的新加坡歌手 ；5月15日，以制作人身份为陈奕迅制作的国语专辑《米·闪》（《闪》的部分）发行，大获好评；6月28日，荣获第25届台湾金曲奖最佳国语男歌手奖，成为新加坡首位获得该奖项的男歌手 ；7月18日，推出首张英文Live翻唱EP《iTunes Session》；11月18日，荣获第5届通商中国青年奖；12月22日，林俊杰蜡像进驻新加坡杜莎夫人蜡像馆；12月27日，发行第11张创作专辑《新地球》，蝉联台湾五大金榜华语榜年度销售冠军。
2015年，2月14、15日，安可场“时线：新地球世界巡回演唱会”开启，继《新地球》专辑中与Jason Mraz、郑容和跨国合作后，台北演唱会邀来滨崎步担任嘉宾并合作歌曲《The Gift》，音乐交流版图横跨美、韩、日；2月27、28日，连续两天担任新加坡妆艺大游行压轴表演嘉宾，演唱其原创活动主题曲《Dreams》；8月9日，出席新加坡50周年国庆庆典并献唱国庆主题曲《Our Singapore》；12月19日，“时线世界巡回演唱会”横跨4大洲、31个城市，创下累积42场、超过50万人次的佳绩后，在高雄正式落幕；12月25日，发行首张实验专辑《和自己对话》，创流行乐坛先例使用“人头录音”技术，将声音拟真创造空间感，打造“3D超立体环绕听觉”，凭借该专辑三度蝉联台湾五大金榜华语榜年度销售冠军，专辑《新地球》亦同时占据榜单亚军位置。
2016年，1月15日，首次参演的电影《消失爱人》在中国大陆上映；2月26日，为Dota2创作的游戏音乐包《时光守护者》（The Timekeeper）上线 ；6月25日，凭借专辑《和自己对话》和歌曲《不为谁而作的歌》分别获得第27届台湾金曲奖最佳国语男歌手奖和最佳作曲人奖；7月7日，个人首部音乐纪录片《听·见林俊杰》登陆视频平台；8月19日、26日，发行纪录片DVD和蓝光BD；8月21日，凭借歌曲《不为谁而作的歌》获得美国第三届Pensado Awards最佳外语歌曲奖；11月4日，以常驻导师身份加盟的浙江卫视音乐真人秀《梦想的声音第一季》开播。
2017年，1月27日，二度受邀登上央视春晚，与李玟合唱歌曲《梦想之城》；3月，受邀担任2017年国家地理世界地球日中国大陆地区形象大使，并为主题活动宣传片打造了两版主题音乐；4月20日，携手腾讯推出的虚拟偶像乐团“消除联萌”宣布出道；6月3日，以音乐总监身份加盟的浙江卫视综艺节目《天生是优我》播出，JFJ Productions为该节目制作片头配乐并提供三首歌曲资源；7月，作为亚洲区首位受邀明星前往温布尔顿网球锦标赛观赛；7月30日，携手“中国数码文化”成立“SMG”电竞战队；8月23日，携虚拟乐团“消除联萌”推出的全新单曲《丹宁执着》上线 ；9月13日，受Tim Cook邀请参与Apple Special Event产品发表会，成为官方在亚洲唯一邀请的明星嘉宾 ；10月27日，二度担任常驻导师的浙江卫视音乐真人秀《梦想的声音第二季》开播；11月25日，受邀担任第54届金马奖颁奖典礼表演嘉宾；12月28日，第13张创作专辑《伟大的渺小》数位发行。
2018年，1月26日，受邀与Luis Fonsi合唱的全球热单《Despacito》中文版《缓缓》发行；2月3日，“伟大的渺小线上新歌演唱会”在全球33个直播平台同步播出，累计2052万人观看；3月17日，林俊杰“圣所”世界巡回演唱会从上海起航，“西洋音乐教父”David Foster担任演唱会音乐总监，电影配乐大师Hans Zimmer量身打造演唱会开场曲；5月16日，入围第29届台湾金曲奖最佳专辑制作人、最佳国语专辑、最佳作曲人、最佳国语男歌手、最佳年度歌曲、最佳年度专辑奖6个奖项；10月26日，三度担任常驻梦想导师的浙江卫视音乐真人秀《梦想的声音第三季》开播。
2019年，1月19日，与国际知名艺术家KAWS出席由JFJ Productions主办的「KAWS：HOLIDAY」大型户外艺术展发布会；3月11日，林俊杰“圣所”世界巡回演唱会在墨尔本收官；3月23日，“圣所2.0”世界巡回演唱会在杭州黄龙体育中心体育场升级起航；6月13日，为电影《少年的你》创作的主题曲《我们很好》发布；8月26日，为新加坡樟宜机场创作的主题曲《对的时间点》发布；9月20日，为故宫文化传播『宫囍龙凤呈祥』综合文创项目创作的主题曲《将故事写成我们》发布。10月14日，林俊杰担任作曲、编曲与制作，张怀秋填词的歌曲《Wonderland》正式上线；12月21、22日，“圣所2.0”世界巡回演唱会在新加坡国家体育场上演，累计动员八万观众入场，林俊杰也成为在新加坡国家体育场连唱两天的首位华人歌手，历时近两年的“圣所”巡演至此完成66场动员超160万观众入场的纪录。
2020年1月28日，为向武汉防疫前线人员致敬，与孙燕姿合作创作单曲《Stay With You》MV发布。3月，在浙江卫视全球户外生活文化实境秀节目《周游记》中担任飞行嘉宾。