Calender.set() не работает должным образом

Это не работает, потому что вы устанавливаете дату «31.09.2014» после ваших операций с календарем, а в сентябре 2014 года нет 31-го дня. По умолчанию java Calendar снисходительный, и будет интерпретировать эту дату как "01.10.2014" (1 октября 2014 г.).

Вот соответствующая часть Javadoc:

Когда календарь находится в мягком режиме, он принимает более широкий диапазон значений полей календаря, чем выдает. Когда Calendar повторно вычисляет значения полей календаря для возврата с помощью get(), все поля календаря нормализуются. Например, мягкий GregorianCalendar интерпретирует MONTH == JANUARY, DAY_OF_MONTH == 32 как 1 февраля.

И вот закомментированная версия соответствующих частей вашего кода, чтобы объяснить, что происходит:

Calendar calendar = new GregorianCalendar(2014, Calendar.OCTOBER, 31); // 10/31/2014
// [...]
int lastMonth = (calendar.get(Calendar.MONTH) -1); // lastMonth will be Calendar.SEPTEMBER
calendar.set(Calendar.MONTH, lastMonth); // internal value of the calendar is now 09/31/2014
// [..]
System.out.println("calendar.getActualMaximum(Calendar.DAY_OF_MONTH) : " + calendar.getActualMaximum(Calendar.DAY_OF_MONTH)); // returns 31 because this is a get() method, so 09/31/2014 will be converted to 10/01/2014, and there are 31 days in October (but the internal representation of the calendar will still be 09/31/2014)
// [...]
calendar.set(Calendar.DAY_OF_MONTH, calendar.getActualMaximum(Calendar.DAY_OF_MONTH)); // internal representation is still 09/31/2014, so this will not change the value
// [...]
return formatedDate.format(calendar.getTime()); // this is a get() method, so the value will be converted to 10/01/2014

Лучшим решением было бы установить Calendar на первый день месяца и вычесть один день:

Calendar calendar = new GregorianCalendar(2014, 9, 31);
calendar.set(Calendar.DAY_OF_MONTH, 1);
calendar.add(Calendar.DAY_OF_MONTH, -1);
System.out.println((new SimpleDateFormat("MM/dd/yyyy")).format(calendar.getTime())); // 09/30/2014

Ну, причина, по которой я вижу, что вы установили свою дату как:

Calendar calendar = new GregorianCalendar(2014, 9, 31);

Если вы посмотрите на календарь, в 9-м месяце (сентябрь) всего 30 дней. Таким образом, ваша дата автоматически устанавливается как (2014/10/1) вместо (2014,9,31)

Вы можете использовать Calendar.add(Calendar.Month, -1), чтобы перейти к предыдущему месяцу, и установить максимальный день этого месяца.

как:

public static Date getLastMonthLastDate() {
    Calendar calendar = Calendar.getInstance();
    calendar.add(Calendar.MONTH, -1);

    int max = calendar.getActualMaximum(Calendar.DAY_OF_MONTH);
    calendar.set(Calendar.DAY_OF_MONTH, max);

    return calendar.getTime();
}

Подробнее здесь