Je to poměrně složité zařízení. Nejčastěji se pro vysvětlení jeho funkčního principu používá zjednodušený příměr ke kompresorové chladničce pracující jakoby v opačném gardu (ta využívá jen studený okruh, čerpadlo především okruh teplý). Přirovnání sedí i proto, že větší prostor než lednice čerpadlo nezabere a hlučností je také srovnatelné.
Není ale cílem těchto řádek tepelné čerpadlo do detailu rozebírat, ostatně na to není ani prostor. Omezme se na konstatování, že jde o uzavřený okruh s věčným koloběhem chladiva, které v něm průběžně mění své skupenství. Na počátku odebere ve výparníku zmíněné nízkopotenciální teplo okolnímu prostředí (obdobně jako je odebere potravinám v lednici) a začne se odpařovat. Kompresor výpary stlačí, takže se ohřejí na ještě vyšší teplotu, kterou v konečném efektu přebere v kondenzátoru topné médium, což bývá voda, případně vzduch (v lednici uniká toto teplo bez užitku přes výměník). Kondenzací par nabude chladivo opět kapalné podoby a vrací se do oběhu.
Rozdíly v systémovém řešení tepelných čerpadel spočívají v tom, z jakého zdroje energii odebírají a jaké topné médium ohřívají. Rovnou do výparníku se přivádí teplo z venkovního vzduchu a většinou i z podzemní vody, zatímco teplo ze země se získává nepřímo s pomocí meziokruhu - jeho přenos musí zprostředkovat nemrznoucí pracovní kapalina, která cirkuluje v zemním kolektoru. Z pohledu těchto možností se pak rozlišují systémy země/voda, země/vzduch, voda/voda, voda/vzduch (těm všem se také říká geotermální) a dále vzduch/voda a vzduch/vzduch. Aby to ale nebylo zas tak jednoduché: u systémů, které čerpají teplo nepřímo, se lze občas setkat i s variantním označením solanka/voda (podle transportní nemrznoucí kapaliny).
Na výstup čerpadla je možné připojit kromě teplovodního nebo teplovzdušného vytápění i zásobník teplé užitkové vody, lze tímto způsobem ohřívat vodu v bazénu, vytápět skleník, zimní zahradu nebo garáž. Vnitřní bazény dokonce využívají obou okruhů čerpadla - jak pro ohřev vody, tak pro odvlhčování. S pomocí centrálních rozvodů zvládnou některé typy čerpadel při reverzním chodu také roli klimatizace, kdy v horkém létě naopak teplo z vnitřního prostředí odebírají. Výhodné je pak jejich spojení s rekuperační jednotkou, v jiných situacích zase se solárními kolektory, teplovzdušnými krby apod.
Efekt úspornosti tepelného čerpadla spočívá v tom, že dodá více energie, než jí samo spotřebuje, a to obvykle v poměru 3:1, za ideálních podmínek i 6:1, výjimečně ještě více. Tento poměr je označován jako topný faktor. Jeho hodnotu ovlivňují různé okolnosti, především teplota zdroje a teplota topného média. Žádoucí je, aby rozdíl mezi nimi byl co nejmenší, čemuž nejlépe vyhovují nízkoteplotní otopné soustavy, nejčastěji podlahové vytápění s teplotou vody cca 35-40 °C, eventuálně i velkoplošná otopná tělesa (55 °C). Tím je naznačeno, že dodatečná instalace čerpadla nemusí být bez problémů. Nejenže si vyžádá rekonstrukci celé otopné soustavy s někdejšími klasickými radiátory, ale v případě zemních prací i neodvratnou devastaci zahrady.
Jiným z nejčastěji sledovaných parametrů je tepelný výkon čerpadla, neboli celkové využitelné teplo, které poskytuje. Ze 60 až 70 % se na něm podílí tepelná energie získaná zdarma z okolního prostředí, zbytkem přispívá energie pohánějící kompresor, kterou platíme, ale která je ve prospěch výstupního tepla rovněž zužitkována.
Často se v souvislosti s tepelným čerpadlem hovoří o monovalentním nebo bivalentním pracovním režimu. Znamená to, že čerpadlo zvládne pokrýt celoroční potřebu tepla a ohřevu užitkové vody buď zcela samo (jako monovalentní mohou fungovat zpravidla jen geotermální systémy), nebo v součinnosti s dalším zdrojem (v podstatě jakýmkoli kotlem), který v mimořádně mrazivých dnech automaticky vypomáhá a je navíc vítanou zálohou. Takových dnů se ale během topné sezony nevyskytne mnoho, takže spoluúčast doplňkového zdroje se obvykle omezí jen na 10 %. Tento tzv. bivalentní systém umožňuje využít čerpadla s nižším výkonem, optimálním k ceně. Náklady na případné zemní práce či na vydatnost vodního zdroje a potažmo i celková investice se tak znatelně sníží.