Karl Schwartz war Bergmann und Betriebsratsmitglied auf der Zeche Hermann in Selm, SPD-Mitglied und Mitbegründer der USPD-Ortsgruppe Hombruch. Ab 1921 engagierte er sich als Mitglied der KPD und weiterer kommunistischer Organisationen.

1932 wurde Karl Schwartz zweimal wegen Flugblattverteilens zu Gefängnisstrafen verurteilt.
Vom 30. August bis 4. Oktober 1933 wurde er in „Schutzhaft“ genommen, am 11. Februar 1934 erfolgte eine erneute Festnahme.
Aufgrund seiner politischen Aktivitäten wurde er am 24. Januar 1935 vom Oberlandesgericht Hamm zu einer Haftstrafe von einem Jahr und vier Monaten verurteilt. Im Anschluss an die Haft wurde er in ein Konzentrationslager, vermutlich Sachsenhausen, eingewiesen und kurz vor Jahresende 1936 entlassen.

Ab Februar 1937 war Karl Schwartz als Hauer auf der Schachtanlage Fürst Hardenberg beschäftigt.

Am 13. Februar 1945 erfolgte seine Festnahme durch die Gestapo. Bei einer der Erschießungen im Rombergpark zwischen Karfreitag, 30. März und der Nachosterwoche 1945 wurde Schwartz ermordet.