Rozchodnik kaukaski wytwarza płożące i zakorzeniające się łodygi. Pędy niekwitnące są krótsze, kwitnące dłuższe, wzniesione do 15 cm wysokości. Liście naprzeciwległe, jajowate lub rombowo-klinowate, długości do 2,5 cm, na wierzchołku karbowane lub tempo ząbkowane, na krótkich ogonkach. W zależności od odmiany są różnie zabarwione (zielone, zielono- czerwone, brązowo-czerwone, zmieniające barwę w czasie sezonu wegetacyjnego od brązowo-fioletowego do ciemnopurpurowego np. odm. "Purpurteppich", kremowo-biało obrzeżone). Zmienność zabarwienia w zależności od odmiany dotyczy także kwiatów, które mogą być białe, różowe w odcieniach, karminowe, bordowe. Kwitnienie przypada na okres lipca i sierpnia. Roślina dostarcza pożytku pszczołom, przyciąga kolorowe motyle. Roślina polecana do zadarniania, do wysadzania w ogrodach skalnych, do wysadzania na dachach. Preferuje stanowiska słoneczne, suche i podłoża piaszczyste.