Nastanak organizovanog života ljudskih zajednica na široj teritoriji Rume, datiraju još iz praistorije. O tome svedoče arheološki nalazi praistorijskih naselja, od kojih je svakako najznačajniji arheološki lokalitet Gomolava kod sela Hrtkovaca u Rumskoj opštini. Prvi poznati stanovnici ovih krajeva bili su pripadnici raznih ilirskih i keltskih naroda (Amantini, Breuci, Skordisci ...). U vreme seobe naroda razni germanski narodi, zatim Huni, Avari i Sloveni uništili su rimsku kulturu na ovom tlu. Nakon toga, narednih vekova Srem je postao poprište sukoba Franaka, Bugara, Vizantije i Mađara, koji su svaki, na neko vreme, držali Srem pod svojom vlašću. Pitanje značenja imena Ruma za sada nije rešeno.Pretpostavka je da se radi o reči orijentalnog porekla koja je u ove krajeve došla sa Turcima, ali se ne isključuje i mogućnost da datira iz još starijih vremena. Prema za sada dostupnim izvorima, naselje sa imenom Ruma prvi put se pominje u Sremskom defteru iz 1546. godine. Ruma je tada bila selo srednje veličine, sa crkvom i tri sveštenika. Stanovnici su bili Srbi, koji su se bavili zemljoradnjom i stočarstvom, a turskim vlastima plaćali porez.
Kao selo u Turskoj, Ruma je dočekala Veliki bečki rat (1683 - 1699) Austrije i Turske, tokom kojeg je Srem bio opustošen, a njegovo stanovništvo se razbežalo. Ovaj rat je završen Karlovačkim mirom 1699. godine, kada je Srem bio podeljen na austrijski i turski deo, linijom Sremska Mitrovica - Slankamen. Ruma je tako još neko vreme ostala u turskom delu Srema. Tokom Velikog bečkog rata došlo je do Velike seobe Srba iz južnih krajeva (Kosovo i Metohija, Crna Gora, Stari Varna, Hercegovina ...), pri čemu se jedan deo doselio u Srem. Tek nakon novog austro-turskog rata i mirom u Požarevcu 1718. godine selo Ruma, a i ceo Srem, su za narednih 200 godina ušli u sastav Habzburške monarhije.
U drugoj polovini 18. i prvoj polovini 19. veka zabeležena su četiri važna događaja. Ruma je imala srpsku i katoličku gimnaziju do 1787. godine. 1745. godine u Sremu je uspostavljena Vojna granica, kojoj je pripala i Mitrovica. Baron Marko Pejačević je odlučio da izgradi novo sedište svog vlastelinstva. Opredelio se za teren u neposrednoj blizini sela Rume. Tako je 1746. godine na mestu današnje Rume počelo da niče novo urbano naselje, sa širokim ulicama, koje su se sekle pod pravim uglom. Prvi stanovnici su bili Srbi - iz okolnih mesta i sela Rume, kao i Nemci - doseljenici iz Nemačke. Iako su se bavili različitim zanimanjima - od zemljoradnje do zanatstva i trgovine - svi stanovnici su uživali građanske povlastice, što je za ono vreme bila značajna privilegija. Takođe, poveljom carice Marije Terezije od 20. jula 1747. godine, i sama Ruma je stekla status slobodnoe varoši - Trgovišta, sa pravom na održavanje nekoliko godišnjih vašara i nedeljnih pijaca. Iste godine, 10. oktobra, održan je prvi vašar u Rumi uz učešće velikog broja trgovaca i zanatlije sa svih strana. Uporedo sa razvojem gradskog života u Rumi, funkcionisalo je i Rumsko vlastelinstvo čiji je osnivač bio već pomenuti baron Marko Pejačević. Svoj zenit vlastelinstvo je dostiglo u drugoj polovini 19. i početkom 20. veka, kada su u okviru njega selekcionisane brojne napredne sorte žita i kukuruza. Slično je bilo i na polju stočarstva. O delatnosti ovog vlastelinstva svedoči brojna priznanja koje je ono dobilo na raznim međunarodnim izložbama. Vlastelinstvo je likvidirala posle Prvog svetskog rata Agrarna reforma. Kraj 19. i početak 20. veka bilo je vreme ubrzanog privrednog i društvenog razvoja Rume. Ona dobija izgled pravog gradskog naselja. Mnogi planovi su, međutim, ostali nerealizovani izbijanjem Prvog svetskog rata. Tada su se mnogi Rumljani našli u ratu koji ih je vodio protiv njihove slovenske braće, te su zato masovno napuštali vojsku ili izbegavali mobilizaciju. Neposredno po završetku rata, u Rumi je 24. novembra 1918. godine održana skupština, na kojoj su se delegati iz celog Srema izjasnili za prisajedinjenje Srema Srbiji.
Drugi svetski rat Ruma je dočekala kao jedan od centara nemačke nacionalne manjine u Vojvodini. Ulaskom nemačke vojske u Rumu, aprila 1941. godine, u gradu je ustanovljena okupatorska vlast. Uprkos tome mnogi Rumljani su se pridružili narodnooslobodilačkom pokretu, najpre na obližnjoj Fruškoj gori, a kasnije i širom zemlje, dajući svoj doprinos antifašističkoj borbi. Oslobođenje grada, 27. oktobra 1944. godine, Ruma je dočekala sa znatno smanjenim brojem stanovnika, jer je veći deo pripadnika nemačke nacionalne manjine uoči oslobođenja napustio grad.