Sykstus był z pochodzenia Grekiem. Urodził się prawdopodobnie w Atenach. Data urodzin nie jest znana. Liber Pontificalis przekazuje, że był filozofem. Jest to jednak teza wątpliwa, ponieważ brak źródeł, które to potwierdzają.

Został biskupem Rzymu 30 sierpnia 257 r. Podczas pontyfikatu Sykstus doprowadził do pojednania z biskupami z Afryki na tle sporu dotyczącego chrztu. Prawdopodobnie stało się to dzięki milczącemu przyzwoleniu na podwójną praktykę w zależności od lokalnych warunków. Sykstusa II wspierał w tym biskup Dionizy z Aleksandrii.

Czas pontyfikatu Sykstusa II przypadł na okres kolejnych prześladowań chrześcijan. Cesarz Walerian porzucił tolerancyjne stanowisko wobec chrześcijaństwa i wydał dwa edykty skierowane przeciwko chrześcijanom. W pierwszym z 257 r. zabronił biskupom i prezbiterom odprawiania publicznych nabożeństwa, a chrześcijanom zakazał wstępu na cmentarze i organizacji zgromadzeń.

W drugim edykcie z 258 r. zagrożono natychmiastową śmiercią kapłanom; osoby ze stanów wyższych i służący domu cesarskiego mieli ponieść surowe kary w przypadku nieodstąpienia od chrześcijaństwa.

Sykstus II został uwięziony w trakcie odprawiania mszy na cmentarzu Pretekstata i stracony na tym cmentarzu 6 sierpnia 258 r. Tego dnia zgładzono też sześciu diakonów (Januarego, Magnusa, Wincentego, Stefana, Felicysyna i Agapita. Siódmy diakon (Wawrzyniec) został zamęczony kilka dni później.

Ciało Sykstusa zostało przeniesione do Katakumb św. Kaliksta.

W kalendarzu liturgicznym św. Sykstus jest wspominany 6 sierpnia (wspomnienie dowolne). W ikonografii Sykstusa przedstawia się w papieskich szatach, w ornacie, paliuszu i tiarze. Atrybutami papieża są: miecz, palma, pastorał z podwójnym krzyżem, sakiewka, moneta w dłoni.