Carlo Mierendorff wurde am 24. März 1897 als Sohn der Johanna Charlotte und des Textilkaufmanns Georg Carl Ludwig Mierendorff in Großenhain geboren.
Bereits 1907 gelangte er nach Darmstadt. Dort besuchte er das humanistische Ludwig-Georgs-Gymnasium, gemeinsam mit seinem lebenslangen Freund Theodor Haubach. Er wuchs in einem liberalen Elternhaus auf und nahm an Aktivitäten der Wandervogelbewegung teil.
Als Kriegsfreiwilliger kämpfte er zunächst an der Ostfront, später an der Westfront.
1919 gründete er die Zeitschrift „Das Tribunal. Hessische Radikale Blätter“.
Sein Jurastudium beendete Mierendorff in Heidelberg mit einer Dissertation über die Wirtschaftspolitik der KPD. Während seiner Studienzeit war Mierendorff in sozialistischen und republikanischen Studentengruppen aktiv, seit 1920 war er Mitglied der SPD.
Politisch sah der Demokrat Mierendorff eine der größten gesellschaftlichen Herausforderungen in der Überwindung der Kluft zwischen Arbeiterschaft und Bürgertum.
Im Februar 1926 wurde er Zweiter Sekretär der SPD-Reichstagsfraktion in Berlin. Als Wehrexperte wurde er in die SPD-Reichwehrkommission gewählt, in der er gemeinsam mit den Freunden Haubach und Julius Leber an programmatischen Positionen der SPD feilte.
Der neue Hessische Innenminister Wilhelm Leuschner berief den sozialdemokratischen Intellektuellen zum Pressesprecher. Hier widmete sich Mierendorff vor allem dem Abwehrkampf der Republik gegen den erstarkenden Nationalsozialismus.
Im September 1930 wurde er in den Reichstag gewählt. Gemeinsam mit Wilhelm Leuschner veröffentlichte er im November 1931 die so genannten „Boxheimer Dokumente“, die den demokratiefeindlichen Charakter der NSDAP belegten, und machte sich damit endgültig zum Feind des Nationalsozialismus.
In einer Reichstagsrede griff er Joseph Goebbels persönlich an. Nach der Machtergreifung durch die Nationalsozialisten musste Mierendorff untertauchen. Im Juni 1933 wurde er schließlich in Frankfurt verhaftet, nach Darmstadt gebracht und von der SS durch die Straßen der Stadt getrieben. Nach über dreieinhalb Jahren Haft in verschiedenen KZ wurde er 1938 in Berlin entlassen.
Er führte ein Doppelleben: Offiziell tätig für die BRABAG, war er inoffiziell als Mitglied des Kreisauer Kreises ein führender Kopf des konspirativen sozialdemokratischen Widerstands gegen das NS-Regime.
Carlo Mierendorff wurde am 4. Dezember 1943 bei einem Luftangriff auf Leipzig verschüttet und mehrere Tage später tot aufgefunden. Sein Leichnam wurde nach Darmstadt überführt und im Grab der Eltern auf dem Waldfriedhof beigesetzt. Die Trauerrede hielt sein Freund Theodor Haubach.
Auf dem Waldfriedhof in Darmstadt erinnert ein Ehrenmal an Carlo Mierendorff, in Darmstadt-Eberstadt trägt eine Straße und in Griesheim eine Grundschule seinen Namen.