UTF-8 ist eine Zeichencodierung, und zwar im speziellen die, die WordPress standardmäßig verwendet. Deutsche Umlaute werden hier durch eine spezielle Byte-Folge repräsentiert. Näheres findest du z.B. bei Wikipedia, falls es dich interessiert.
Ich vermute mal, du bearbeitest dein
Theme lokal mit einem speziellen Editor. In diesem Editor kannst du sicher irgendwo einstellen, mit welcher Codierung die Datei gespeichert werden soll. Hier wählst du "UTF-8" aus (wenn möglich "ohne
BOM", da hier PHP einen Bug aufweist).