本區位於臺南市中央偏南，北與大內僅以曾文溪相隔，西與新市、善化為鄰，東以左鎮、玉井為界，南鄰新化，係新化各區出入咽喉，總面積約為27.878平方公里，其中山地部份約佔總面積的三分之一，平地則佔三分之二，共分南洲、明和、山上、新莊、玉峰、豐德、平陽等七里，山地由玉峰里北嶺尖山脈起點向西而走，造成蚵殼潭、中坑、牛稠埔、石仔崎為山地部落，平地由山上、南洲、明和、北勢洲及新莊（大庄）一帶至大潭併合成為盆地，地勢東部較高，以北嶺尖山頂迤延向西形成半箕形盆地。 「山上」昔時由曾文溪沖積成洲，故附近村落有南勢洲（今之南洲村）、北勢洲之稱，山上地區乃明末時期，始由鄭成功部將余士龍為了養軍，並開墾荒地、率兵屯駐後，經年累月人口漸漸繁殖，移住成村，山上區原是平埔族西拉雅族新港社的遷徙地之一，因其位於曾文溪河階地上，自低處向上望，似乎像是座落於小山上的聚落，故有山仔頂之稱呼，至日人據台後沿用山仔頂之名，及至民國九年十月一日地方改制，即改為山上庄。 １９２０年，臺灣地方改制，於此地設置「山上庄」，劃歸『臺南州新化郡』管理。 臺灣光復後，民國三十五年一月七日，臺南縣政府成立，改街為鎮、改庄為鄉，於民國三十五年一月十八日本鄉公所成立，仍以山上為鄉名。１９４６年７月１日將轄內潭頂、大社兩村改劃原新市鄉，另接受原左鎮鄉平和村之一部設為平陽村。 自民國九十九年十二月廿五日起，因臺南市、縣合併改制直轄市，而改制為『山上區』