А Вы как уменьшаете джиттер системного таймера в разработанных Вами RTOS?

Там, кстати говоря, и ответы изложены. Регистрация прерывания - в обработчике, обработка - в фоновом процессе. В Linux это называется "верхней" и "нижней" половиной.

Многабукф.
Сажайте ШИМ на программный таймер, а на системном делайте часы. ШИМ перебьётся и таким вариантом.