Ключ

Неважно. Открыт будет только один диод. Напряжение на аноде которого, выше в данный момент. Если открыт диод АКБ - она разрядится до меньшего источнику, и нагрузка включится на источник.
Только непонятно, какое напряжение нужно для устройства, 5 или 4,2В ?
Не надо огород на транзисторах городить, где не надо (без необходимости).
Надёжность - это простота.

Balaganoff: А как быть в случае, если напряжение источника не 5 В , а совсем немного отличается от напряжения аккумулятора, например 4.5 В ?

Режимы диодов зависят не только от разницы напряжений между источником и аккумулятором, но и от тока нагрузки! Чем сильнее различие этих напряжений, тем надёжнее будет закрыт диод в цепи красненького. Но под нагрузкой падение напряжения на чёрном диоде может превысить разницу напряжений источника и аккумулятора, и тогда от последнего тоже начнёт отбираться небольшой ток в нагрузку.
Это общие соображения, а конкретную ситуацию можно просчитать, зная реальные параметры элементов схемы. Но схема, предложенная aen, РАБОЧАЯ и наиболее простая!
-----------------------------------------------
Одно уточнение к smg123 и aen: на эл. схемах в СССР было принято около длинной линии гальванического элемента (эл. батареи) ставить МИНУС. По-моему, это правило ещё действует.

ВиНи: но и от тока нагрузки
Ваша правда. Как-то не учёл большую нагрузку.
Но, похоже, это ... не тот случай.
Хотя...
?
..................
Да нет, длинный +. Запомнил с детства, т.к. в + две палочки, которые, будучи расположены в одну линию - длиннее.

ВиНи: на эл. схемах в СССР было принято около длинной линии гальванического элемента (эл. батареи) ставить МИНУС. По-моему, это правило ещё действует.
это называлось ЕСКД и нарисовано правильно. Длинный - ПЛЮС. Так Splan нарисовал.

smg123: это называлось ЕСКД и нарисовано правильно. Длинный - ПЛЮС. Так Splan нарисовал.

Я запоминал так - короткий и жирный больше похож на (-) минус, чем длинный и тонкий.

Значит я неправ . Память уже подводит. Примите мои извинения за возможно причинённый моральный вред.
------------------------
Заглянул сейчас в "Радио". Короткая палочка действительно с плюсом. Ещё раз мои извинения.

Мнемоника похоже имеет корни в обозначениях анода/катода электронных ламп.
Или наоборот?
Бонч-Бруевича надо спрашивать...
..................
Да какой там вред.
Неожиданное развитие банального сюжета.

А я запомнил из детства противоречие: В батарейке плюс угольный внутри и маленький, минус-цинковый стакан и большой, а рисуют наоборот.

smg123: А я запомнил из детства противоречие:
Ага, я тоже. Только по "плоской " батарейке. Там длинный лепестоу минус а короткий — +.

А они, наверное, появление часовых батареек предвидели.