Разположен при границата със Северна Македония, Кюстендил е забележителен с няколко неща – чудните череши, важното транспортно значение и минералните извори. Не сме сигурни за черешите, но римляните определено оценили високо другите предимства на мястото. Скоро след като установили контрол върху региона, край изворите се появила Пауталия.
Към 106 г. Пауталия била натрупала значимост и император Траян я издигнал в ранг на град. Градът благодарил по обичайния начин – добавил името на императора Улпий към своето.
Няколко десетилетия по-късно, при управлението на Антонин Пий, Улпия Пауталия започнала да сече собствени монети. Те свидетелстват не само за развитата икономика и амбицията на града – изображенията на тях дават информация и за религиозния живот и архитектурата му. Местните монети изобразявали храмовете на богове като Асклепий, Сабазий, Зевс, Хера, Аполон, Хермес и други, както и копия на прочути антични статуи. В Римската империя било много модерно градовете да слагат на обществени места копия на известна скулптура на отдавна покойния гръцки скулптор Праксител, например. Жителите на Пауталия не правели изключение – определено можели да си го позволят.
Пауталия бил укрепен град. Стените му били подсилени след готското нашествие от 270 г., а през втората половина на IV в. на близкия хълм Хисарлъка била построена крепост. За разлика от Улпия Пауталия, чието име изчезва от историческите извори след 553 г., крепостта на Хисарлъка оцеляла до края на Античността и била използвана до османското нашествие. След това била изоставена. Обитателите ѝ се преместили да живеят долу в ниското, при останките на античната Пауталия.
Минералните извори на Пауталия са най-забележителните следи от Римската епоха, които виждате в съвременния Кюстендил. Когато е студено, те изпълват градската градина в центъра с изпаренията си, които се процеждат от порутените стени на баните към някогашното светилище на Асклепий. Основната част от античната структура обаче не може да се види. Османците построили своите бани върху нея, а в началото на ХХ в. на мястото им била издигната модерна баня. Тя работи и днес.
Късноантичната крепост на Хисарлъка също е запазена, но скорошна "реставрация" напълно изличи всички следи от автентичността ѝ.