Ordføreren i en av landets minste kommuner, sier de ikke er rigget til å få en massiv økning i folketallet.