Podsystem klastra wysokiej dostępności OPNsense

1. Historia. Plany jego budowy sięgają lat 2005-2008 (nie podam dokładnej daty), wtedy odpowiednim systemem związanym z FreeBSD był pfSense (pfSense wytartowało w 2004 r.), przy czym w chwili, gdy udało mi się zorganizować wolny komputer - plany przerodziły się w próby realizacji sprzętowego firewalla/routera. Eksperymenty uruchomienia tej wersji systemu - na moim ówczesnym sprzącie - nie powiodły się. A opcja HA była niedostępna, pomijam, że CARP został przeniesiony z OpenBSD do FreeBSD znacznie później. Plany pozostały, tkwiły na wysokiej pozycji listy spraw do wykonania, jednak realizacja wymagała wolnego czasu i co ważniejsze - doskonałego przygotowania. Chodzilo o to, by serwery zachowały w trakcie przełączenia pełną funkcjonalność / widoczność w Internecie, zatem przełączenie musiało być wykonane w jednym, krótkim rzucie.

2. W roku 2015 - powstało odgałęzienie pfSenese - system OPNsense. Oczywiście pfSense nadal jest wydawane i ma lepszą dokumentację, ale najczęściej stawiam na projekty społecznościowe.

3. Wraz z tzw. "chwilą wolnego czasu" - dokonałem zakupu dedykowanych komputerów (grudzień 2019) i przystąpiłem do realizacji klastra HA (lipiec 2020) z wykorzystaniem OPNsense. Przełączenie zostało wyprzedzone zestawieniem sieci eksperymentalnej na dwóch dodatkowych komputerach symulujących Internet i komputery dostępowe z ważnymi w tym przypadku usługami. Po ok. miesiącu eksperymentów, wykonałem 3 czy 4 godzinne testy przełączeń, a w ciągu tygodnia następiło całkowite przełączenie na nową konfigurację sieci. Przełączenie ostateczne trwało względnie długo, bo konieczne było przemapowanie portów z odbiciem (port forward with reflection), załączenie odpowiednich reguł firewalla, wreszcie solidne przestestowanie funkcji HA.

Należy zwrócić uwagę, że każdy komputer wymaga aż 6 połączeń kabla Ethernetowego. Opis - można znaleźć w części dotyczącej konfiguracji sieciowej całego systemu.


Serwerownia składa się z następujących części:
    O. Modemy ISP (to dla mnie część "eksterytorialna", zarządzana przez ISP).
    A. Komputery dostępowe (OPNsense w wersji wysokiego dostępu HA master/slave + CARP), m.in.:
            - NAT,
            - firewall, router,
            - mapowanie portów z odbiciem (port forward with reflection).
    B. Switche: zarządzalny i niezarządzalny w trybie LAGG failover (przełączenia awaryjnego) z bezprzewodowym punktem dostępowym.
    C. Serwerownia główna - zdublowane komputery usług z szybkimi łączami LAGG LACP 2 * 1 Gb/s, w kilku przypadkach CARP, serwery m.in.:
            - www, poczty, ftp itp.,
            - plików: system moosefs,
            - baz danych,
    D. Komputery osobiste / personalne użytkowników domowych oraz inne domowe urządzenia sieciowe.


3. Zdjęcie poniżej pokazuje obydwie jednostki klastra HA - przednie ścianki. Podłączone tylko kable do przełącznika KVM. Diody wskazują na obsadę wszystkich portów Ethernetu.


4. Zdjęcie - po prawej tylne ścianki obu komputerów klastra HA. Widoczne gniazda Ethernetu oraz zasilanie.


5. Widok "górnego" komputera klastra HA.
 

6. Widok "dolnego" komputera klastra HA.


6. Poniżej zdjęcia nocne (przód, tył).

OPNsense high availability cluster subsystem

1. History. Plans for its construction date back to 2005-2008 (I will not provide the exact date). At that time, the appropriate FreeBSD-related system was pfSense (pfSense started in 2004). However, when I finally managed to obtain a spare computer, the plans evolved into attempts to build a dedicated hardware firewall/router. The experiments with running that version of the system on my hardware at the time were unsuccessful. The HA option was also unavailable. Not to mention that CARP was ported from OpenBSD to FreeBSD much later. The plans remained and stayed high on my to-do list, but implementation required free time and, more importantly, thorough preparation. The goal was to ensure that the servers would maintain full functionality and Internet visibility during failover, so the switch had to be performed in a single, short operation.

2. In 2015, a fork of pfSense was created: OPNsense. Of course, pfSense is still being developed and has better documentation, but I usually prefer community-driven projects.

3. When I finally found some "free time," I purchased dedicated computers (December 2019) and began implementing the HA cluster (July 2020) using OPNsense. The migration was preceded by the deployment of an experimental network using two additional computers simulating the Internet and client systems with important services. After approximately one month of experiments, I carried out 3-4 hour failover tests, and within a week the complete migration to the new network configuration took place. The final migration took a relatively long time because it required reconfiguring port forwarding with reflection, enabling the appropriate firewall rules, and finally thoroughly testing the HA functionality.

It should be noted that each computer requires as many as 6 Ethernet cable connections. A description can be found in the section covering the network configuration of the entire system.


The server room consists of the following parts:
    O. ISP modems (for me this is an "extraterritorial" part, managed by the ISP).
    A. Access computers (OPNsense in high availability HA master/slave mode + CARP), including:
            - NAT,
            - firewall, router,
            - port forwarding with reflection.
    B. Switches: managed and unmanaged operating in LAGG failover mode with a wireless access point.
    C. Main server room - duplicated service servers with high-speed LAGG LACP 2 * 1 Gb/s links and, in several cases, CARP, including servers for:
            - web, mail, FTP, etc.,
            - file services: MooseFS system,
            - databases,
    D. Personal computers of home users and other household network devices.


3. The photo below shows both HA cluster units - front panels. Only the KVM switch cables are connected. The LEDs indicate that all Ethernet ports are populated.


4. Photo - on the right, the rear panels of both HA cluster computers. Visible are the Ethernet ports and power connectors.


5. View of the "upper" HA cluster computer.
 

6. View of the "lower" HA cluster computer.


6. Night photos below (front, rear).