Místní část Olší
Tato obec vznikla na místě porostlém olšemi a patřila v roce 1285 Demeteru z Bukové, který 15. února toho roku věnoval patronátní právo kostela v Olší doubravnickému klášteru. V polovině 14. století přešlo Olší k panství meziříčskému a později k tišnovskému klášteru. V roce 1482 se zde připomíná tvrz s dvorem. K jeho rozparcelování došlo v roce 1786.
Kostel sv. Jiří z 15. století byl zcela přestavěn v roce 1784 a upraven v roce 1905. Kostelní zvon od Adama Zvonaře z Velkého Meziříčí pochází z 16. století. Mramorový kříž pod kostelem pochází z roku 1890. K farnosti patří ještě Drahonín a dále Moravecké Pavlovice, Litava, Klokočí, Skryje a Bor.
V letech 1959-89 se v okolí Olší těžila uranová ruda.
Místní část Litava
V polovině 14. století patřila Litava Adamovi a majetek zde držela jeho dcera Anna z Litavy. Podle údaje z roku 1365 zapsal v Litavě lán své manželce Filip ze Zhoře.
Ve 14. století se připomíná vladycký rod Vojnů z Litavy, kteří zde měli zřejmě tvrz (u čp. 2). Otec Jana Vojny, Ctibor z Litavy, se připomíná v roce 1377. Vojnové drželi ves s tvrzí a pustý hrad Víckov i po většinu 15. století, aby nakonec přešlo k panství pernštejnskému prodejem v roce 1490. Pojmem litava se dříve označovala lítá, zákeřná, bystrá říčka.
Jako zajímavá stavební památka se zde zachoval bývalý barokní zájezdní hostinec s představěným loubím z roku 1734 (čp. 26, částečně přestavěn 1929). Na návsi je kaple sv. Anny a hned vedle mramorový křížek (1901) a pomník padlým v 1. sv. válce. Mramorový křížek z roku 1900 stojí u silnice vlevo před křižovatkou na Klokočí.
V Litavě nechybí ani požární zbrojnice. U obce rostou vzrostlé topoly. Dne 17. 5. 1950 byl Bohuslav Pavlů z Litavy zastřelen členy Lidové milice v Račicích.
Místní část Rakové
Osada měla dostat název podle množství raků v potoce Rakovci. Patří mezi nejstarší osady v okolí, protože už v roce 1235 patřila k Doubravnickému újezdu a byla majetkem kláštera.
V roce 1582 zde měl dva lány Musil. Podle pověsti tu držel právě rytíř Musil hamry i mlýn a z okolních vsí vymáhal desátky. Proto ho Pernštejnové uvěznili na svém hradě, kde Musil zemřel. Hamry a mlýn pak měla zničit povodeň. Pravděpodobně však šlo pouze o šrotovací mlýn a puchýrnu, kde se drtila železná ruda pro štépanovské železárny. Ta se těžila v trati „V rudných dolech“ naposledy v letech 1860-63.
V letech 1850-1964 bylo Rakové osadou obce Klokočí, od roku 1964 osadou a nyní část obce Olší.
V Rakovém se zachovaly zbytky Šiborovy továrny na marmeládu, která zpracovávala plody z blízkých lesů. Hynek Šibor (1908-87) ji založil před 2. světovou válkou. Na návsi je kaplička sv. Anny s dřevěnou vížkou, u níž se každoročně koná pouť. Mramorový kříž v osadě pochází z roku 1870.
Místní část Klokočí
Jméno obce vzniklo od keře, který zde hojně rozkvétal narůžovělými květy. Klokočí už v roce 1235 náleželo k Doubravnickému újezdu a bylo majetkem kláštera. Poté přešlo přímo pod správu Pernštejnů. V roce 1415 upsal Lev z Náchoda 50 hřiven grošů Bernardovi z Klokočí a jeho dědicům. V roce 1487 byli zdejší obyvatelé zbaveni povinnosti konat hlásku na hradě Pernštejně. Zachovala se starobylá pečeť s nápisem „Klokočská rychta“.
Počátkem 19. století zde řádila cholera, její oběti byly pochovány pod vsí ve směru na Doubravník. Ještě v polovině 19. století se v okolí dobývala železná ruda pro štépánovské železárny (do roku 1863). Klokočí je od roku 1964 součástí Olší.
Na návsi stojí kaple z konce 19. století, u ní v parčíku mramorový kříž (1920) a pomník padlých s plaketami prezidentů Masaryka a Beneše. Plakety byly za války ukryty před Němci v kapli, v roce 1945 byly opět osazeny a pak přečkaly komunistickou snahu o jejich likvidaci.