Обязательно надо, если армировать не будете, то он у вас от собственного веса просто раскрошится. Это со стороны кажется, что там нагрузок никаких нет, а если вникнуть и посчитать, то очень удивитесь результатам. На небольшое помещение надо купить арматуру в небольшом количестве, вам это не так уж и дорого обойдется. Советую вам вообще почитать, зачем армируют, посмотрите на фундамент с другой стороны.