В 
начале кодификации новоболгарского языка 
ѭ использовался для всех рефлексов *
jǫ, *
Cʲǫ:

Рефлексы *
ja и артикли мужского рода после исторических 
ль, 
рь, 
нь, 
ть писались через 
я, как и в современном языке.
Потом отказались от этой практики в отношении форм настоящего времени глагола из-за их частотности, и начали писать 
а, 
я на месте юсов в таких случаях, а 
ѭ вообще выбросили.
Насчет 
ьо - оно встречается только в заимствованных словах, в гипокористических формах и вокативах личных имен, а также в некоторых субстандартных словах типа 
льохман 'зевака, лох' (это экспрессивное стяжение *
lixomanŭ, если кому интересно). 
В болгарском палатализованные в конце слова бывают? До реформы 1945 г. писали царь, но произносили как сейчас пишут: цар.
Нет, все согласные (кроме 
ж и 
ш) отвердевают на конце слога: 
кон, 
зет, 
борба, 
хвалба и т. д. Ну а в диалектах бывает всякое, конечно: где-то мягкость сохраняется, где-то даже аналогизируется, где-то отвердевание происходит только в инлаутной позиции...
используется ли буква "Щ" вне случаев на месте русского "шт" в заимствованных словах
В болгарском сочетание согласных, обозначаемое этой буквой, является рефлексом праславянских *
ť и *
šč, поэтому она очень частотная.