Mandada construir por D. Pedro I no segundo quartel do século XIV, com o intuito de aqui serem recolhidos no dia de S. Martinho, os tributos/impostos devidos pelos judeus e mouros. Este edifício com características manuelinas separava o velho burgo de Pombal, a nascente, em direção ao Castelo, do novo burgo, a poente, em direção ao rio Arunca, servindo de fronteira ao que ficava dentro e fora dos muros da Vila.
Em 1509, durante o reinado de D. Manuel I, foi alvo de melhorias estruturais, tendo este mandado colocar-lhe um relógio mecânico e uma sineta, para que o toque das Trindades soasse sempre a horas certas. Por volta de 1776, o Marquês de Pombal mandou transferir esta sineta para o edifício da Cadeia.
Em 2014 sofreu obras de beneficiação, com o intuito de acolher os seus visitantes dando a conhecer a sua história.