Селото е разположeно по южните склонове на рида Чернатица, високо над пътя между с. Широка лъка и Девин. Легендите разказват, че селото е основано преди три века от преселници от село Гела. Първоначално те се настанили в местността Брезово, над село Беден. Беденци обаче не били съгласни и преселниците се преместили на сегашните си земи, където през лятото се събирали юруци.

Брезе остава в пределите на Османската империя след Освобождението през 1878 г. До 1912 г. граничната линия между България и империята в Родопите минавала между Брезе и Широка лъка. Местността носи красноречивото турско име Караулдере.

През последните години голяма част от населението на Брезе - българи-мохамедани, се върна към религията на своите предци. Почти половината от брезенци вече са православни християни. През 2004 г.в селото започна градеж на църква.

Днес тук живеят над 750 души. Управата на селото е ентусиазирана и прави смели проекти за бъдещето, които са свързани най-вече с развитието на еко-туризъм в Родопите. Брезе може са се използва като изходен пункт за няколко дестинации:
1. Брезе – Беденски бани – местност “Свети Павел” – “Свети Никола” – Ловна хижа в местността Перелийца – Ченгене кьошк. Засега маркировка няма, но това е стар римски път и не е трудно да се следва.
2. Брезе – крепостта Беаднос.
3. Брезе – Беденски бани – Катраница (изоставено село) – пещера Ледницата – с .Мугла.