A princípio, achei que fosse verdade. Eu fazia muito isso quando era criança. Tinha uma boneca que andava de bicicleta, e sempre colocava a pilha no congelador para ver ela dando mais algumas pedaladas (rs), mas depois que li sobre, descobri o que realmente acontecia.

Veja a explicação do físico Cláudio Hiroyuki, da Universidade de São Paulo (USP):

Esse macete caseiro rende, no máximo, alguns minutos de sobrevida às pilhas. Elas funcionam convertendo energia química em energia elétrica, pela reação entre duas substâncias: zinco e cloreto de amônio. Esse processo acaba liberando gases de hidrogênio e amônio, em bolhas que se movimentam, dificultando a passagem de corrente elétrica no interior da pilha. Tudo o que a baixa temperatura faz é congelar esses gases, imobilizando-os em bolhas menores. Isso desobstrui o trânsito daquela carga elétrica que ainda resta, fazendo uma pilha gasta voltar a funcionar mais um pouquinho, nada além disso.

Vi aqui!