Батарейное питание GSM модуля или необычное использование диода (понижаем напряжение).

А ведь viczai прав!
Может стоит, для начала, посмотреть спецификацию на устройство, да на состав деталей?

Stog: Один литиевый элемент почти справляется с этим. Хотелось бы исключить это "почти".
ну если так то не партесь -поставте 3-4 одинаковых впаралель ESR упадет и перестанет вырубаться
можно и обычный литии(тот что в мобилы и ноуты идет) недозаряжать ограничив заряд до 3,9в это составит не менее 50-60% емкости батареи так что паралелнием добетесь нужного запаса по питалу по идее если не будете силно разряжать ниже 3,3в то долго пахать будет(раза в 2 болше циклов чем при полном заряд разряде)

Да, я тоже склонен к такому варианту. По-наставить параллельно несколько. И нагрузка на них меньше (а стало быть и просадка), и общая емкость тоже.