OM werd opgericht als een omnisportclub in het jaar 1892 door René Dufaure de Montmirail. Het is echter pas zeven jaar later dat de club de naam Olympique de Marseille krijgt. Voetbal werd er echter nog niet gespeeld. De voornaamste sport was toen rugby, waar ook het motto "Droit au But" van komt. Tien jaar na het ontstaan van de club wordt een eerste keer meegedaan aan een competitie, de zogeheten Championnat du Littoral, die verschillende teams van Marseille en zijn buitenwijken samenbrengt. Al snel wordt duidelijk dat OM de rijkste en beste van de teams is. In de jaren '20 hebben ze dan ook hun eerste successen in de beker.

Op de eerste successen is het nog enkele jaren wachten, maar OM zal zeker wat prijzen weten te pakken. De eerste van tien bekerwinsten komt er in 1924 en de eerste titel zal gevierd worden in 1937.

Het zal tot de jaren vijftig-zestig duren, eer OM een dip krijgt en ze voor even naar een lagere divisie zakken. Ze zullen na een zestal jaar, in 1965, terug stijgen naar de eerste divisie.  OM Begint weer aan een korte periode van dominantie, met bekerwinst in '69 en de titel in '71. Ze zouden in '72 zelfs de dubbel pakken. Echter de voorzitter deed moeilijk. Hij wou een derde buitenlander in zijn club, en wilde de bond boycotten. OM liet dit niet zomaar gebeuren en ontsloeg hem. Wat volgde waren magere jaren, ze pakten nog wel een keer de beker, maar zakten weer naar tweede.

In het jaar '86 zouden ze weer op het hoogste niveau te vinden zijn. Voorzitter Tapie nam de touwtjes in handen en kocht een hele resem spelers aan. Namen als Deschamps, Cantona, Völler, Desailly... zijn namen die nog steeds als muziek in de oren klinken. Trainers als Beckenbauer en Goethals waren meesters van een talentvolle groep. Er werd vier keer op rij kampioen gespeeld en als hoogtepunt kwam daar de Champions League nog eens bij! Alles op rozen. Dat zou je maar denken. Vanaf 1994 kwam het verval, nogmaals. Ditmaal waren het de financiële onregelmatigheden en een omkoopschandaal dat hen deed zakken naar tweede.

Marseille zou er weer bovenop geraken, nogmaals! En deze keer misschien wel voorgoed. Pirès en Dugarry kwamen de ploeg vervoegen, maar de trofeeën bleven uit. Een aantal finaleplaatsen en tweede plaatsen frustreerden de supporters toch lichtelijk. In 2007 kwam ene Gerets aan de leiding te staan. Marseille deed het niet goed en het duurde ook even voor Gerets een ploeg op het veld kon zetten. Maar Marseille deed een ongeziene inhaalbeweging. Ze werden nog mooi derde, na vanuit een totaal verloren positie op te klimmen. Jonge sterren als Nasri en Mandanda hadden hier mee aan geholpen.