玉井舊稱大武壠，是大滿族（又稱大武壠族）所屬噍吧哖等社的居住地[1]。明鄭時期，住在大目降（今新化區）一帶的西拉雅族因受漢人侵擾而遷居並佔據此地，迫使大滿族人往臺南白河與高雄內門、杉林、甲仙及六龜一帶遷居。清雍正年間，漢人在此建庄。
1915年，余清芳等人在此發動抗日行動，史稱「西來庵事件」（又稱噍吧哖事件），是臺灣史上規模最大、犧牲人數最多的武裝抗日事件；2014年初，於新化區發現約3000具骨骸，疑為此事件之犧牲者[2]。
1920年地名大變革，日人順勢將語音艱澀的「噍吧哖」（Tapani）改為日語音近之「玉井」（Tamai）。並設置「玉井庄」，歸臺南州新化郡管轄。戰後改設臺南縣玉井鄉至2010年12月24日，2010年12月25日因市縣合併而成玉井區至今。
玉井在日治時期以製糖興盛。1960年代由政府推廣芒果改良種，今已成重要產地，因此在臺灣，提到「玉井」差不多就是「芒果」的同義詞，享有極高的聲譽。不過事實上鄰近各區包括大內、楠西、左鎮、南化均有芒果出產。