Выражение это появилось при Петре I и было связано с фамилией купца Затрапезнова, Ярославская полотняная мануфактура которого выпускала и шелк, и шерсть, ни в чем не уступавшие по качеству изделиям заграничных фабрик. Помимо этого на мануфактуре делали и очень-очень дешёвую пеньковую полосатую ткань – пестрядь, «затрапеза» (шероховатую на ощупь), которая шла на тюфяки, шаровары, сарафаны, женские головные платки, рабочие халаты и рубахи.
И если для богатых людей такой халат был домашней одеждой, то у бедняков вещи из затрапезы считались одеждой «на выход». Затрапезный вид говорил о невысоком социальном статусе человека.