След пожар през 1834 г. настоящият Уестминстърски дворец е построен през следващите 30 години по проект на сър Чарлз Бари (1795-1860) и неговия асистент Огъстъс Уелби Пюджин.
През 1836 г. след проучване на 36 съперничащи си предложения Кралската комисия избира плана на Чарлс Бари за дворец в готически стил. Основният камък е положен през 1840 г.; Залата на лордовете е завършена през 1847 г.; Залата на общините през 1852 г., при което Бари и удостоен с рицарски сан. Въпреки че повечето работа е свършена до 1860 г., строежът не е завършен до десетилетие по-късно. Бари разчита в голяма степен на Огъстъс Пюджин за пищните и отличителни интериори, включително тапети, резби, стъклописи и мебелировка, като кралския трон и балдахини.
Местоположението на Уестминстърския дворец е стратегическо важно по време на Средновековието, тъй като е разположена на бреговете на р. Темза. На мястото е имало постройки поне от англо-саксонски времена. Едуард Изповедник, предпоследният англо-саксонски крал, построява кралски дворец на Торни Айлънд, съвсем близо западно от Сити ъв Лондон и почти по същото време, когато построява Уестминстърското абатство. Торни Айлънд и окръжаващия район скоро стават известни като Уестминстър.
След Норманското нашествие крал Уилям I се установява в Кулата на Лондон, но по-късно се премества в Уестминстър.
Уестминстър остава основната кралска резиденция до 1512 г., когато пожар унищожава част от сградата. През 1530 г. крал Хенри VIII придобива Йоркския дворец от кардинал Томас Уолси, могъщ министър, загубил благоразположението на краля. Преименувайки го на дворец Уайтхол, той става основна резиденция на краля. Въпреки че Уестминстърски дворец официално остава кралска резиденция, той е използван от двете камари на парламента и като съд.
Днес той е седалище на двете камари на Парламента на Обединеното кралство (Камарата на общините и Камарата на лордовете). Дворецът е разположен на северния бряг на р. Темза в лондонския район Сити ъв Уестминстър, близо да правителствените сгради в Уайтхол.
Дворецът съдържа 1100 стаи, 100 стълби и 5 км коридори. Въпреки че сградата основно датира от 19 в., останали елементи от първоначалните исторически сгради включват Уестминстърската зала, използвана днес за големи обществени церемониални събития и Кулата на скъпоценностите. Най-високата кула на двореца - Виктория Тауър, квадратна кула в югозападния му край, е висока 98,5 м. Октагоналната Централна кула е висока 91,4 м. Часовниковата кула, известната като Биг Бен, е висока 96,3 м.
Контрол на Уестминстърския дворец и околностите му в продължение на векове се упражнява от представителя на монарха Лорд велик шамбелан. Съгласно споразумение от 1965 г. контролът преминава към Камарата на общините. Някои церемониални стаи продължават да се контролират от Лорда велик шамбелан.
Любопитен факт е, че през 1812 г. в Уестминстърския дворец е застрелян министър-председателя Спенсър Пърсивал от ливърпулския търговец-авантюрист Джон Белингам. Пърсивал е единственият британски министър-председател, който е убит.
