[1]​ El condado recibe su nombre en honor al Presidente de los Estados Unidos James Madison.

Según la Oficina del Censo, el condado tiene un área total de 1289 km² (497,7 mi²), de la cual 1287 km² (496,9 mi²) es tierra y 2 km² (0,8 mi²) (0.17%) es agua.

Según la Oficina del Censo en 2000,[2]​ los ingresos medios por hogar en el condado eran de $30,421, y los ingresos medios por familia eran $37,474.

Los hombres tenían unos ingresos medios de $27,670 frente a los $15,909 para las mujeres.

La renta per cápita para el condado era de $15,825.