Настанак организованог живота људских заједница на широј територији Руме, датирају још из праисторије. О томе сведоче археолошки налази праисторијских насеља, од којих је свакако најзначајнији археолошки локалитет Гомолава код села Хртковаца у Румској општини. Први познати становници ових крајева били су припадници разних илирских и келтских народа (Амантини, Бреуци, Скордисци ...). У време сеобе народа разни германски народи, затим Хуни, Авари и Словени уништили су римску културу на овом тлу. Након тога, наредних векова Срем је постао поприште сукоба Франака, Бугара, Византије и Мађара, који су сваки, на неко време, држали Срем под својом влашћу. Питање значења имена Рума за сада није решено.Претпоставка је да се ради о речи оријенталног порекла која је у ове крајеве дошла са Турцима, али се не искључује и могућност да датира из још старијих времена. Према за сада доступним изворима, насеље са именом Рума први пут се помиње у Сремском дефтеру из 1546. године. Рума је тада била село средње величине, са црквом и три свештеника. Становници су били Срби, који су се бавили земљорадњом и сточарством, а турским властима плаћали порез.
Као село у Турској, Рума је дочекала Велики бечки рат (1683 - 1699) Аустрије и Турске, током којег је Срем био опустошен, а његово становништво се разбежало. Овај рат је завршен Карловачким миром 1699. године, када је Срем био подељен на аустријски и турски део, линијом Сремска Митровица - Сланкамен. Рума је тако још неко време остала у турском делу Срема. Током Великог бечког рата дошло је до Велике сеобе Срба из јужних крајева (Косово и Метохија, Црна Гора, Стари Варна, Херцеговина ...), при чему се један део доселио у Срем. Тек након новог аустро-турског рата и миром у Пожаревцу 1718. године село Рума, а и цео Срем, су за наредних 200 година ушли у састав Хабзбуршке монархије.
У другој половини 18. и првој половини 19. века забележена су четири важна догађаја. Рума је имала српску и католичку гимназију до 1787. године. 1745. године у Срему је успостављена Војна граница, којој је припала и Митровица. Барон Марко Пејачевић је одлучио да изгради ново седиште свог властелинства. Определио се за терен у непосредној близини села Руме. Тако је 1746. године на месту данашње Руме почело да ниче ново урбано насеље, са широким улицама, које су се секле под правим углом. Први становници су били Срби - из околних места и села Руме, као и Немци - досељеници из Немачке. Иако су се бавили различитим занимањима - од земљорадње до занатства и трговине - сви становници су уживали грађанске повластице, што је за оно време била значајна привилегија. Такође, повељом царице Марије Терезије од 20. јула 1747. године, и сама Рума је стекла статус слободное вароши - Трговишта, са правом на одржавање неколико годишњих вашара и недељних пијаца. Исте године, 10. октобра, одржан је први вашар у Руми уз учешће великог броја трговаца и занатлије са свих страна. Упоредо са развојем градског живота у Руми, функционисало је и Румско властелинство чији је оснивач био већ поменути барон Марко Пејачевић. Свој зенит властелинство је достигло у другој половини 19. и почетком 20. века, када су у оквиру њега селекционисане бројне напредне сорте жита и кукуруза. Слично је било и на пољу сточарства. О делатности овог властелинства сведочи бројна признања које је оно добило на разним међународним изложбама. Властелинство је ликвидирала после Првог светског рата Аграрна реформа. Крај 19. и почетак 20. века било је време убрзаног привредног и друштвеног развоја Руме. Она добија изглед правог градског насеља. Многи планови су, међутим, остали нереализовани избијањем Првог светског рата. Тада су се многи Румљани нашли у рату који их је водио против њихове словенске браће, те су зато масовно напуштали војску или избегавали мобилизацију. Непосредно по завршетку рата, у Руми је 24. новембра 1918. године одржана скупштина, на којој су се делегати из целог Срема изјаснили за присаједињење Срема Србији.
Други светски рат Рума је дочекала као један од центара немачке националне мањине у Војводини. Уласком немачке војске у Руму, априла 1941. године, у граду је установљена окупаторска власт. Упркос томе многи Румљани су се придружили народноослободилачком покрету, најпре на оближњој Фрушкој гори, а касније и широм земље, дајући свој допринос антифашистичкој борби. Ослобођење града, 27. октобра 1944. године, Рума је дочекала са знатно смањеним бројем становника, јер је већи део припадника немачке националне мањине уочи ослобођења напустио град.