In Latem woonden al mensen tijdens het Neolithicum. In de wijk Brakel zijn er heel wat vondsten uit de ijzertijd en uit de Gallo-Romeinse periode. Het is trouwens de naam Brakel die voor het eerst in geschriften opduikt (Sint-Pietersabdij, 736), de naam Latem vinden we pas vanaf 824. In de 16de eew wordt "Sint-Maarten" eraan toegevoegd.

In die tijd ressorteert het dorp administratief onder de Gentse Oudburg en het bestaat uit diverse bezittingen: het is de gedeelde eigendom van de Sint-Pietersabdij, de Sint-Baafsabdij, de heren van Nevele en de graaf van Vlaanderen.

De oorspronkelijke dorpskern verlegt zich in de loop der tijden: het heem voor laten (halfvrije lieden) is dan een soort driesgehucht in de buurt van het vijvertje in de Latemstraat, terwijl er een andere kern groeit rond de wijk Brakel. In de heerlijkheid van de Sint-Baafsabdij ontstaat de huidige dorpskom, en na het aanleggen van de Kortrijksesteenweg vormt zich daar nog eens een bewoonde kern.

Residentiële bebouwing vanaf het begin van onze eeuw, extra gestimuleerd door de aanleg van een golfterrein in 1909, vult geleidelijk aan alle gaten tussen de diverse kernen op: Latem is een villapark.