2002年的台灣街頭
2002年的秋天，林俊傑獨自來到台灣省台北市，因為常年生活在新加坡，他的國語還不流利。這讓年輕時內向的林俊傑在成為歌手的開始並不順利。此時 21歲的林俊傑在台灣並沒有朋友，他當時和父親約定好 如果三年內在音樂上沒有什麼成績就回去好好讀書。
第一張專輯《樂行者》的製作期間林俊傑產生了巨大的壓力，這樣他也一度陷入了自我懷疑，認為自己不會成功。林怡鳳後來在節目中這樣說到：那時候的他比較擔心作品上選歌選不好怎麼辦？如果寫不好怎麼辦？會不會讓人家會不會喜歡他， 他就一直擔心這些事。許環良也說到林俊傑第一張唱片要發行的時候， 他跑來跟他講 他說：許環良老師我很緊張。然後我就問他：你緊張什麼？這時的林俊傑又問他：許老師，你覺得我能成功嗎？你看我唱歌，聲音也沒有很特別，然後我長得也不是很帥啊，不像師兄的聲音這麼特別，你確定我會成功嗎？為什麼要簽我？ 。還好這時他的導師許環良給了他很大的支持，他也在生活中認識了新的朋友，作詞人——林怡鳳。
林怡鳳
林怡鳳是海蝶音樂董事長林秋離的學生，林俊傑出道前林怡鳳就已經為阿杜寫了大火的《堅持到底》和《幻想》。作為已經小有名氣的作詞人林怡鳳性格上卻很隨和。在生活和工作上都很照顧剛到台灣的林俊傑，他也成為了林俊傑來到台灣的第一個朋友。兩個人也互相彼此相信新人對方。林怡鳳在他的訪談節目中說到」我一直都在聽JJ的那些Demo， 從他還沒有發片之前就聽過他非常非常多的demo。我覺得他很神奇的是他的音樂有很強的畫面感。這首歌後來也收錄到了JJ的第二張專輯《第二天堂》裡面。從2002年到台灣，從一開始陌生的環境，林怡鳳可以說時林俊傑真正意義上的第一個朋友。接近知己的感覺，會分享心事，分享痛苦困難，他是讓我適應台灣這個地方，這個城市。這也是後來林俊傑在節目中說到的
林秋離
後來，林怡鳳也成為了林俊傑的御用作詞人之一，他們共同創作了距離，發現愛，期待愛，不潮不用花錢，背對背擁抱，聲聲，手心的薔薇，關鍵詞，等等膾炙人口的作品，直到現在，他們依舊是很要好的朋友。
2003年的四月，林俊傑的第一張專輯《樂行者》正式發布，作為沒有什麼名氣的新人，林俊傑的宣傳現場常常需要藉用阿杜的流量，看似將要起步的事業又在這時戛然而止。這一年，超級巨星張國榮自殺了，又趕上了非典的大流行，林俊傑這個沒有人理會的小歌手所有的戶外宣傳全部被叫停。林俊傑在2017年的專輯《偉大的渺小》中用穿越這首歌的歌詞記錄了當時的心情。
2003年的非典成為了一個讓人揮之不去的惡夢
2003年的那一年是林俊傑在那時候最落寞的一年，在這段期間，林俊傑一度覺得自己可能要回新加坡讀書了，幸運的是當時的海蝶音樂在專輯的宣傳上有著強大的優勢，在老闆林秋離的大力支持下唱片團隊把目光集中到了內地的2，3線城市。這一年唱片團隊帶著林俊傑跑了內地幾十座城市。硬生生的把專輯跑出了人氣，也跑紅了《就是我》《凍結》等早期大紅的歌曲。最後《樂行者》在台灣拿下了連續四周的新人銷售榜冠軍，在內陸更是拿下了近百萬張的銷售量。
樂行者
2004年的母親節，是15屆台灣金曲獎頒獎典禮。這天林俊傑拿到了夢寐以求的金曲獎最佳新人獎。他也終於可以跟回新加坡讀書的惡夢說再見了。他當時站上頒獎台上發表了這樣一段感言「真的真的是沒有想到，謝謝，謝謝評審頒獎給我，我會繼續努力做好音樂。我這一生中沒有那麼緊張過，今天終於體會到每位歌手第一次入圍這個獎項的感覺，然後首先要感謝我的上帝給我做音樂的靈感，也要感謝我爸爸媽媽，特別要跟我媽說希望你會喜歡，在母親節這是送給你母親節禮物。太快，所以，現在要試著放慢一下，我也要感謝我的公司海蝶音樂每一個每一個員工，每一個老師們，因為我覺得最辛苦的真的還是你們。的音樂的朋友，所有支持我的朋友謝謝你們」林俊傑也是一個非常懂禮貌有感恩之心的大男孩，試問有幾個人不喜歡這樣的偶像呢？只是那時的林俊傑可能沒想到，下一次他站在台上領獎是十年之後。
林俊傑最佳新人獎
2004年的春天，林俊傑前往美國。開始了他第二張專輯《第二天堂》的錄製。他在這裡學到了很多。很多之前不知道的。
第二天堂
2004年，6月4日。林俊傑的第二張專輯《第二天堂》正式發布，在這張專輯裡林俊傑不僅整張專輯全曲包辦，更參與了編曲和製作。專輯由許環良監製，大部分的作歌填寫及概念部分由林秋離把握。但是《第二天堂》因為「天堂」二字的存在內地並未過審，所以內地版專輯不僅少了第二天堂這首歌，而且還面臨一個重新選擇首波主打歌的問題。因禍得福的，最後選了《江南》。 《江南》這首歌靈感來自香港漫畫《風雲》，原本的歌名叫做《天下》也正是靠著主打歌《江南》林俊傑才真正開始的為人所知。後來林俊傑有綜藝節目《夢想時線》中展示這首歌的demo。有興趣的可以去停下，非常好聽。
江南
據說林俊傑為了宣傳《樂行者》在內地跑通告的時候來到了西安，在西安參觀完兵馬俑以後，就在酒店裡對著西安的古城牆，重新修改了天下的demo寫下了江南。以至於他後來對古城牆頗有感情，認為西安是他的福地。值得一提的是，江南歌詞裡面也出現了風雲二字，唱的同時林俊傑也像是順便吐槽了一下劇情。
《第二天堂》這首專輯在選歌的時候，《江南》這首歌並不被看好，當時還沒有流行中國風，有人認為這首歌的實驗性太強。這導致江南一度可能不會被收錄在林俊傑的專輯中。但是在林俊傑的堅持下，江南最後還是獲得了成功。從《第二天堂》開始，林俊傑漸漸嘗試不同風格的作品和演唱技巧，《第二天堂》的遊戲科幻風，《害怕》的美式抒情風，《江南》的中國風R&B，《距離》和《美人魚》的真假音轉換，每一首歌都可以看到林俊傑的努力與成長
2004年的華語樂壇可謂是神仙打架的一年，在這華語流行樂的最後一個黃金期，林俊傑的《江南》與周杰倫的《七里香》飛兒樂團的《我們的愛》張韶涵的《寓言》蔡依林的《愛情36計》梁靜茹的《寧夏》五月天的《倔強》孫燕姿的《我也很想他》she的《波斯貓》同年發售，此時的林俊傑已經在華語樂壇嶄露頭角。但是在台灣，依舊是周傑倫，王力宏，陶喆等人的天下。