Na tablicy informacyjnej ustawionej przy drodze, niedaleko ruin zamku można poczytać o zabytku. W dawnych kronikach rybnicki zamek nazywano Laudis Palatium. Budowla stoi na zalesionym, kamiennym wzgórzu , na południowy zachód od centrum wsi.
O powstaniu zamku nic pewnego nie wiadomo. Być może w XIII w. istniał tu zamek za wałem drewniano-ziemnym. Powszechnie sądzi się, że do jego budowy w latach 1364-1369 przyczynił się cesarz Karol IV, który w 1365 r. miał tu przebywać z krótką wizytą. Zamek zniszczono na początku XV w. Wkrótce jednak został odbudowany i powiększony.
Podczas prac renowacyjnych w 1750 r., na jednej ze ścian odsłonięto datę 1234 rok. Być może jest to data budowy najstarszej części budowli. Niestety, podczas prac remontowych w 1750 r. napis został zniszczony. Zamek ponownie poddano przebudowie i renowacji w 1786 r. i 1794 r., ale już w pierwszej połowie XIX w. został ostatecznie opuszczony i zaczął popadać w ruinę. Jeszcze do początków XX w. jego zdewastowane budynki służyły jako obiekty gospodarcze pobliskiego folwarku.
Pierwotny zamek był niewielki, miał zaledwie 15x25 m. Na wysokości pierwszego pietra w części północnej znajdował się wykusz. Elewacje pokryte były dekoracjami sgraffitowymi, co świadczy o rozbudowie zamku zapewne w XVI-XVII w. Od strony południowo-zachodniej stała wysoka okrągła wieża.
Główną bryłę stanowił dwukondygnacyjny budynek na planie prostokąta z przybudówką przy krótszym boku, nakryty dwuspadowym dachem. Na parterze znajdowały się niegdyś, poza wąskim korytarzem: klatka schodowa, kuchnia i dwie-trzy izby. Na piętrze był także korytarz, duża izba i podobnie, jak niżej dwie lub trzy izby. Okna były stosunkowo duże, prostokątne z kamiennymi obramieniami. Do dziś zachowała się jedynie północna ściana głównego dwukondygnacyjnego domu mieszkalnego i fragment ściany zachodniej z łamanego granitu i cegły wokół okien. Zauważyć można jeszcze resztki prostych, kamiennych obramowań. Piwnice o sklepieniach kolebkowych są zasypane. Przy zamku znajdował się niewielki, jednohektarowy park.
Warto dodać, że z Rybnicy wywodzi się szlachecka rodzina von Reibnitz. Znany jest poświadczony w dokumencie z 1288 r. Henricus de Reibnicz. Rodzina ta mieszkała we wsi do 1423 r. i prawdopodobnie w tym czasie zamek do niej należał. Dokumenty wymieniają następujących przedstawicieli rodziny: Hans von Reibnicz i Diprand de Reibnicz (1311 r.), Peter von Rybnicz (świadek w Kamiennej Górze 1317 r.), Conrad von Reibnicz (dziedziczny majątek rodowy w Kubicach w 1335 r. i w dokumencie klasztoru w Kamieńcu w 1342 r. jako Cunrado dieto de Reybenicz), Nicol von Reybnicz (ławnik sądu w Świdnicy w 1342 r.). Bracia Hentschel, Conrad, Nicol, Henrich, Diprand i Thyme von der Rybnicz (w dokumentach z 1372 i 1373 r.). Ostatnim z rodu poświadczonym w dokumencie właścicielem Rybnicy był Nicol von der Rybnicz.
