〈阿里山遙望玉山〉畫於一九三五年,這一年陳澄波四十歲,距離一九二六年第一次以〈嘉義街外〉一畫入選第七回日本「帝展」,已經九年;這時他已是一位極負聲名的畫家了。一九三五年陳澄波有三幅阿里山作品傳世,〈阿里山遙望玉山〉之外,另有〈阿里山之春〉與〈雲海〉兩幅,其中〈阿里山之春〉為六十M(130x80cm)的大作,曾參展一九三五年五月的「第一屆台陽美展」。根據文獻推斷,這三幅作品應是一九三五年三、四月間上阿里山所畫。
〈阿里山遙望玉山〉依據畫面所呈現的玉山群峰角度來看,作畫地點應在觀日出的景點祝山一帶。山稜中央為玉山主峰,旁邊凸起的山頭為玉山東峰,這是玉山稜線最易於辨識的特徵;檢視從祝山往玉山拍攝的照片,都可看到相同的山稜形狀。畫面中層介於玉山群峰與祝山間的深色山影應是鹿林山。
阿里山一向是賞櫻勝地,從阿里山賓館到祝山登山口是阿里山主要的賞櫻路線,步道兩旁遍植櫻花,畫面前景右邊開著粉白色花朵的應該就是吉野櫻。天色初亮,整座山林壟罩在朦朧的晨光中,濕潤的空氣透著幾分清涼;〈阿里山遙望玉山〉描繪的正是日出之前的景致。據此推測,陳澄波天色未亮即抵達祝山,並在日出之前完成畫作,筆觸即興而快速,當時創作的情景呼之欲出;作畫時間應在一小時以內,因此相較於他往常作品的厚實塗層,畫趣迥異。
一九三○年代以來,阿里山就是官方推動的重要旅遊景點。當時阿里山火車每天只有一個班次來回:早上七點五分從嘉義驛出發車,隔天早上九點三十分才從阿里山下山。一次阿里山之行,帶回三幅畫,還包括一幅六十號的大作;陳澄波顯然並非觀光心情,而是身負重擔,一種基於對創作的急迫心情。
關於此次上阿里山作畫的情況,在一篇〈以藝術手法表現阿里山的神秘〉的報導中陳澄波時受訪時談到: