Strona domowa Zbigniewa Kuleszy

PL Tekst

Podsystem zasilania zjk.pl

Dzisiaj jest: 2026-06-25 Aktualizacja dnia: 2026-06-22 16:56:00

Od 06.09.2023 podsystem zasilania serwerowni składa się z następujących elementów:

1. Zasilacze awaryjne/rezerwowe UPS.

    W serwerowni stosowane są jednocześnie pięć urządzeń:
    a. UPS Fideltronik Inigo KI 2000J Pro o mocy 2000 VA, 4 akumulatory łączone szeregowo 12 V 9 Ah, pełny sinus, line interactiv 432 VAh. Czas podtrzymania obciążenia 250 VA to ok. 40 minut. Zakup 26.02..2019 (produkjca 2018).
b. Drugi UPS Fideltronik Inigo KI 2000J Pro o mocy 2000 VA, 4 akumulatory łączone szeregowo 12 V 9 Ah, pełny sinus, line interactiv 432 VAh. Czas podtrzymania obciążenia 250 VA to ok. 40 minut. Zakup 06.09.2023 (produkcja 2020).
    c. Moduł baterii do Fideltronika - MB Pro 4818 (48 V / 18 Ah) tj. 864 VAh. Wykorzystuje 8 akumulatorów 12 V 9 Ah wbudowanych następująco: dwa równoległe obwody po 4 szeregowo łączone akumulatory. Jego dołączenie do zasilacza awaryjnego ostatecznie tworzy wynikowy obwód: 3 równoległe gałęzie po 4 szeregowe akumulatory (łącznie 27 Ah przy 48 V). Zakup 27.05.2019.
d. 3 * UPS APC Smart UPS SURT1000 o mocy 1000 VA, 4 akumulatory łączone szeregowo 12 V 9 Ah (każdy!). W praktyce wykorzystywany jest tylko jeden z nich, natomiast dwa znich mają akumulatory połączone szynami ze złączami Anderson z KI 2000 Pro, jeden jest rezerwą. Zakupy sierpień 2023 r.
e. Przełącznik zasilania rezerwowoego - opisany niżej,

Sumaryczna pojemność akumulatorów zestawu zasilaczy awaryjnych wynosi 6*9 Ah = 54 Ah (6*4=24 akumulatory), tj. 2592 VAh, w tym 1296 VAh dla całego pakietu w parze KI2000/MB4818, a drugie 1296 VAh w drugim KI2000 + 2*RT1000.
    Typowy pobór mocy całości serwerowni wynosi nocą ok. 330 VA, w dzień 475 VA (pracują monitory i komputery osobiste domowników).
    Jak wynika z podanych parametrów i z uwzględnieniem typowych charakterystyk rozładowania akumulatorów - pozwala to na podtrzymanie systemu przez ok. 90-150 minut.
    Testowe rozładowanie dla UPS bez dodatkowego pakietu akumulatorów i poboru mocy 300 VA wykazało czas podtrzymania 45 minut - co jest zgodne z szacowaniem.

Poprzednia konfiguracja do 09.2023 - podsystem zasilania serwerowni składa się z następujących elementów:

1. Zasilacze awaryjne/rezerwowe UPS.

    W serwerowni stosowane są jednocześnie trzy urządzenia:
    a. Fideltronik UPS-F650Pro o mocy 650 W, mocy 650 VA, 2 akumulatory łączone szeregowo 12 V 7,2 Ah (aktualnie stosuję akumulatory 9 Ah o tych samych rozmiarach co 7,2 Ah) standardowo 172,8, aktualnie 216 VAh, line interactiv. Czas podtrzymania obciążenia 250 VA to ok. 20 minut. Rok produkcji prawdopodobnie 1998.
    b. Fideltronik Ares 1000 o mocy 1000 VA, 2 akumulatory łączone szeregowo 12 V 7,2 Ah (aktualnie stosuję akumulatory 9 Ah o tych samych rozmiarach co 7,2 Ah) standardowo 172,8, aktualnie 216 VAh, line interactiv. Czas podtrzymania obciążenia 250 VA to ok. 20 minut. Rok produkcji prawdopodobnie 2004.
    c. Fideltronik Inigo KI 2000J Pro o mocy 2000 VA, 4 akumulatory łączone szeregowo 12 V 9 Ah, pełny sinus, line interactiv 432 VAh. Czas podtrzymania obciążenia 250 VA to ok. 40 minut. Zakup luty 2019.
    d. Moduł baterii do Fideltronika - MB Pro 4818 (48 V / 18 Ah) tj. 864 VAh. Wykorzystuje 8 akumulatorów 12 V 9 Ah wbudowanych następująco: dwa równoległe obwody po 4 szeregowo łączone akumulatory. Jego dołączenie do zasilacza awaryjnego ostatecznie tworzy wynikowy obwód: 3 równoległe gałęzie po 4 szeregowe akumulatory (łącznie 27 Ah przy 48 V).

    Sumaryczna pojemność akumulatorów zestawu 3 zasilaczy awaryjnych wynosi 1728 VAh, w tym 1296 VAh dla całego pakietu w KI2000/MB4818.
    Typowy pobór mocy całości serwerowni wynosi nocą ok. 250 VA, w dzień 375 VA (pracują monitory i komputery osobiste domowników), po ostatnich zmianach i dodaniu sprzętu jest to odpowiednio 300 VA i 450 VA.
    Jak wynika z podanych parametrów i z uwzględnieniem typowych charakterystyk rozładowania akumulatorów - pozwala to na podtrzymanie systemu przez ok. 60-120 minut.
    Testowe rozładowanie dla UPS bez dodatkowego pakietu akumulatorów i poboru mocy 300 VA wykazało czas podtrzymania 45 minut - co jest zgodne z szacowaniem.

Aktualna wersja bloku zasilania od 2023 r.:

Poprzednia wersja bloku zasilania do 2023 r.:

2. Przełącznik zasilania rezerwowego - projekt i wykonanie autora.

    Przełącznik realizuje automatyczne, bezprzerwowe przełączenie zasilania w przypadku zaniku zasilania z jednej linii na następną. Standardowo jest integralnym elementem UPS typu off-line, gdy zaniknie zasilanie linii głównej realizuje przełączenie na przetwornicę.

    W układzie wykorzystałem dostępne handlowo przełączniki zasilania rezerwowego - po zakupie i testach niestety kompletnie nie spełniały zdefiniowanych wymagań, konieczne było ich przeprojektowanie i przeróbka. Krytycznym parametrem, który nie był spełniany w komercyjnym przełączniku to czas przełączenia. Zamiast deklarowanych kilkunastu milisekund w praktyce wynosił ponad 40 do 50 ms. Jest to niezgodne ze standardem ATX, ktory pośrednio definiuje ten czas na maksymalnie 15 ms (właściwie jest to 16 ms). Po modyfikacjach czas skrócił się do 4-10 ms, nie więcej niż 15 ms.

    System zaprojektowano jako kaskadę dwóch zmodyfikowanych przełączników dla trzech linii zasilania. Układ połączeń przewiduje 3 linie wejściowe o priorytetach kolejno od najwyższego I1, I2, I3 oraz dwa wyjścia O1 i O2. O1 jest zasilane z wszystkich wejść, O2 - z wyjścia pierwszego przełącznika czyli wejść I2 i I3.

    Uzupełnieniem systemu jest wewnętrzna listwa uziemienia łącząca wszystkie gniazda/wtyki oraz jak widać na fotografii - diody sygnalizacyjne pracy każdego z wejść/wyjść.

3. Programowy nadzór nad zasilaniem.

    NUT - Network UPS Tools - jako program służący do tego celu jest standardem. Jednak dodam kilka własnych spostrzeżeń z jego uruchomienia i użytkowania.
    a. Instalacja: w systemie FreeBSD bez problemów, konfiguracja i uruchomienie była trudniejsza:
        - w przypadku UPS Fideltronika serii KI 2000J Pro - który dysponuje złączem EIA232, USB i gniazdem Intelligent SLOT dla SNMP managera z gniazdem Ethernet: najprościej jest podłączyć kabel USB i w ustawieniach NUT wybrać driver "blazer_usb" z protokołem "megatec" (stosowanie tego protokołu wynika z długiej współpracy z tą firmą i nadal oferowanymi kartami rozszerzeń), wykrywanie urządzenia może być przyspieszone przez podanie w ustawieniach USB symbolu firmy i typu urządzenia
        - UPSy F650Pro i Ares 1000 dysponują tylko interfejsem stykowym, wykorzystującym gniazdo i elektryczne wyprowadzenia portu szeregowego (ale nie samej transmisji szeregowej). Konieczne jest korzystanie z drivera "genericups", wspiera on w sposób jawny urządzenia Fideltronika typami 19 i 6. Natomiast konieczne podanie jest portu szeregowego: opcja port. Niestety: sama instalacja nie powoduje prawidłowego działania drivera:
            i. schemat połączeń kabla jest pokazany poniżej, istotna jest modyfikacja w postaci dodania tranzystora, obwodu eliminującego wyłączanie komputera poczas podłączania UPS (jest to błąd firmware-u)
            ii. porty szeregowe we współczesnych komuterach są rzadkością - aby wykonać takie podłączenie wykorzystałem konwertery USB-EIA232. Daleko idąca miniaturyzacja spowodowała, że są one dostępne w postaci kabla z konwerterem umieszczonym w obudowie wtyku. Wypróbowałem dwa konwertery:
                * konwerter najtańszy na rynku ok. 7 zł: z układem CH341 i driverem FreeBSD "uchcom -- WinChipHead CH341/CH340 serial adapter driver". Niestety układ po dłuższych testach wykazywał brak reakcji (raportowania po stronie komputera) na zmiany stanów w kablu stykowym. Konieczna była rezygnacja z tych konwerterów. Dlatego nie podaję producenta, ale ponieważ zastosowanie było niestandardowe i faktycznie bez komunikacji samym łączem szeregowym - nie neguje jakości pracy samego układu CH341.
                * konwerter o cenie ok. 4 razy wyższej Unitek Y-105: z układem PL-2303 i driverem FreeBSD "uplcom -- USB support for Prolific    PL-2303/2303X/2303HX serial adapters driver". Znacznie droższe rozwiązanie, ale też nie obyło się bez problemów. Pierwszy zakup i podłączenie dwóch konwerterów wykazał, że jeden z nich działa świetnie, natomiast drugi systematycznie co kilka godzin odłącza się od komputera (choć potem następuje ponowne automatyczne podłączenie - niestety nie gwarantuje prawidłowego podpięcia pod ten sam uchwyt blokowany przez poprzednie połączenie - uniemożliwia to poprawne działanie NUT). Zakup dodatkowego konwertera rozwiązał skutecznie problem.

            Ze stwierdzeniem o skutecznej pracy konwerterów - nie jest w pełni słuszne, występują bowiem następujące niepożądane efekty:
            i. bardzo częste autotesty UPS 650 i 1000 (nie obserwowałem ich przed podłączeniem kabli komunikacyjnych). Zanotowałem ich do ponad 100 na dobę. Bardzo łatwo udało się je ograniczyć do kilku na dobę przez zwiększenie odstępu odpytywania z 2 s do 5 s (czas ten będzie jeszcze modyfikowany). Oczywiście wydłużenie czasu jest niekorzystne dla systemu NUT, ale to jedyne rozwiązanie. Sytuacja tym bardziej dziwna, ze komputer z serwerem NUT ma wydajny procesor i trudno obarczyć winą maszynę.
            ii. sporadyczne - ale jednak występujące rozłączania komunikacji. Dotyczy UPS 2000, choc zaobserwowałem pojedyncze także dla pozostałych: podejrzewam, że pojawiające się zakłócenia sieci energetycznej wypływają na pracę wrażliwego protokołu USB. Można rozważyć przełączenie na klasyczne łącze szeregowe EIA232, szczególnie po zastosowaniu kabla z ekranem, ale niewykluczone, że mimo dobrego połączenia uziemienia urządzeń, mogą być to efekty prądów płynących między UPS (i napięcia odkładające sie na cienkich przewodach kabli USB).
            iii. niezależnie od systemu NUT - nowoczesny UPS lepiej reaguje - a raczej nie reaguje nadmiernie na zakłócenia w sieci energetycznej. Obydwa starsze modele - mają regulację "wrażliwości" na zakłócenia, ale pomimo ustawienia na większą tolerancję zakłóceń dosyć często przełączają się na krotką chwilę na baterię. Pomijam sytuację remontu u sasiadów, którzy używali najpewniej uszkodzonej wiertarki - wówczas wyłączenia były tak częste, jak często wiertarka była załączana.


            Ciekawostką jest konieczność odróżniania informacji z dwóch identycznych konwerterów odbierających informacje od dwóch różnych UPS. Kable adapterów USB/EIA232 oraz USB do KI 2000J zostały podpięte do wspólnego huba USB, wystarczyło tylko zweryfikować w jakiej kolejności odpytuje on gniazda - jest to wewnętrznie narzucone i pozwala na uporządkowanie kabli tak, aby dojścia sterowników odpowiadały za adekwatne urządzenia UPS.
            iii. należy uporządkować uprawnienia dla plików i katalogów: najważniejsze to wybranie odpowiedniego użytkownika - we FreeBSD optymalne jest wybranie pesudoużytkownika "uucp" (jako "właściciela" portów szeregowych) - zamiast zalecanego użytkownika "nut".
            iv. absolutnie konieczne jest włączenie prawidłowej reakcji demona urządzeń devd na podłączenie portu szeregowego - automatycznego nadania prawidłowych uprawnień i użytkownika dla dojść w katalogu /dev/cuaU(*, *.init, *.lock) /dev/ttyU(*, *.init, *.lock). Odpowiedni skrypt dla devd jest dostępny w źródłach NUT, jednak i tak konieczne jest jego zmodyfikowanie.

    b. uruchomienie NUT. Konfiguracja mojego systemu jest bliższa konfiguracji serwerowni niż typowego domowego serwera. Zasilanie składa się bowiem z 3 UPS pracujących na wspólne listwy gniazd zasilających. Ponadto NUT jako serwer uruchomiony jest tylko na jednym komputerze - a nadzorowanych jest ok. 10 maszyn.
        i. NUT w pełni wspiera takie konfiguracje (i wiele innych niestandardowych).

4. Skrypt własny.

    NUT jest bardzo dobrym oprogramowaniem, jednak wsparcie dla niestandardowych ustawień zarządzania zasilaniem jest ograniczone. Według mojej opinii brakuje czegoś w rodzaju "planów zasilania" - każdy administrator ma inne wymagania, każdy system - inne właściwości. Ogólne założenie jest następujące: nie należy dopuszczać do nagłego wyłączenia komupterów - a sama obecność UPS temu nie zapobiega, jeśli nie uruchomiony zostanie mechanizm automatycznego, kontrolowanego wyłączenia komputerów (np. poleceniem shutdown).
    A. Zasadniczo bez modyfikacji NUT przewiduje niemal natychmiastowe wyłączenie komputerów po zaniku zasilania i przełączeniu na UPS. Jest to słuszne - przecież typowy czas podtrzymania UPS liczony jest zazwyczaj w pojedynczych minutach.
    A.bis. Plan bardzo podobny do powyższego - ale z obecnością własnego, rezerwowego generatora (spalinowego). Duża pojemność akumulatorów / długi czas podtrzymania - nie są wymagane, ponieważ konieczne jest zasilanie systemu tylko w krótkim okresie potrzebnym do rozruchu i ustabilizowania się pracy generatora.
    B. W następnym planie czas podtrzymania można wydłużyć proporcjonalnie do pojemności akumulatorów UPS - a raczej przewidywanego czasu podtrzymania danego systemu przez posiadane UPS-y.
    C. Czasem przewiduje się inny plan zasilania - podtrzymanie aż do ostatniego momentu tuż przed wyłączeniem UPS (czyli stanu przejścia w tryb LOW BATTERY), tak aby komputery pracowały najdłużej jak to możliwe.
    B/C.uwagi. Czas pracy UPS można w tych planach modelować w szerokim zakresie: najrozsądniejszą jest oczywiście dokładna analiza częstości i długości przerw zasilania występujących na danym terenie (gałęzi sieci energetycznej).
    D. Po zaniku zasilania część komputerów można wyłączyć (usługi na nich działające nie są niezbędne) w celu oszczędzania akumulatorów UPS, a tym samym dłuższej pracy tych komputerów, które powinny pracować jak najdłużej i wyłączyć się dopiero tuż przed wyczerpaniem baterii.

    Plan A wydaje się być najrozsądniejszy - zwykle z brakiem zasilania zanika także sieć internetowa, ale jeśli jest inaczej plan C jest oczywiście korzystniejszy. Ale wadą planu A jest typowy problem z przywróceniem wszystkich usług do prawidłowego działania po uruchomieniu komputera. Wydłużając czas pracy komputerów na bateriach zwiększamy szanse, że główne zasilanie powróci i nie trzeba będzie ich w ogóle wyłączać.

    Moim priorytetem jest działanie komputerów według planu D - mniej ważne komputery powinny działać pewien czas na baterii (w "nadziei", że wyłączenie jest tylko chwilowe i nie wyłączać się niepotrzebnie szybko), ale potem wyłączyć się po to, by wydłużyć czas pracy pozostałych komputerów, które powinny się wyłączyć "w ostatnim momencie".

    Podkreślanie, że każdy administrator będzie kierował się innymi priorytetami jest zbędne, tym bardziej jednak uzasadnia to uzupełnienie NUT o ustawienia wpływające na warunki decydujące o wyłączaniu komputerów.

    Wielką pomocą w NUT jest tzw. upssched, program z pakietu pozwalający na zarządzanie zdarzeniami czasowymi - np. opóźnieniem wyłączenia komputerów. Jednak postanowiłem wykonać to po swojemu według własnych potrzeb. Ponadto zamiast bazować na specjalnych licznikach wbudowanych w upssched - wykorzystać czasomierz wbudowany w polecenie shutdown, a w razie potrzeby jego skasowania użyć polecenia killall (w odniesieniu do shutdown).

    Zatem główny mechanizm czasu pracy działania komputerów polega na wydaniu im komendy shutdown w momencie zaniku zasilania głównego i przejścia na baterie - ze zróżnicowanymi czasami wyłączenia zależnymi np. od priorytetu ważności komputera. Oczywiście jeśli nastąpi wyczerpanie akumulatorów - uruchomione zostaną dodatkowe komendy shutdown z odpowiednio mniejszymi czasami do wyłączenia. Powrót zasilania spowoduje wykasowanie poleceń shutdown poleceniem killall.

    Skrypt jest prócz realizacji powyższych funkcji jeszcze bardziej rozbudowany. Wspiera on m.in.:
    - zróżnicowane czasy wyłączeń dla różnych komputerów
    - obliczenie stanu całego systemu UPS-ów jako składającego się z kilku niezależnych urządzeń (patrz niżej)
    - logowanie do pojedynczych plików, wielu plików (każdy oddzielnie dla danego zdarzenia), wysyłanie maila z powiadomieniem (zależnie od przypisanych indywidualnie dla każdego komputera ustawień)
    - detekcja dodatkowych stanów jak zanik komunikacji, brak połączenia, polecenie szybkiego zamknięcia komputerów

    Obliczenie stanu całego systemu UPS-ów (jako zestawu kilku niezależnych urządzeń, ale połączonych wspólnymi liniami zasilania) - polega na wypracowaniu sumarycznej informacji. W systemie pracuje kilka UPS-ów, a dzięki automatycznemu przełącznikowi rezerwowego zasilania (opisane wyżej), stan całego systemu nie jest jedynie indywidualnym stanem pojedynczego UPS-a. Przyjąłem następującą zasadę:
    - jeśli choć jeden UPS jest na zasilaniu z sieci - system jest w pełni ONLINE (zasilany z sieci energetycznej),
    - w przeciwnym wypadku: jeśli choc jeden UPS pracuje na baterii - system jest na bateriach,
    - ponownie jeśli nie jest spełniony poprzedni warunek - jeśli choć jeden UPS pracuje na wyładowanych bateriach - system jest traktowany jako pracujący na wyładowanej baterii.

    Przy tak zdefinowanych warunkach - nawet jeśli np. robimy konserwację (odłączenie) lub choćby przełączenie między gniazdami zasilania dwóch UPS-ów, podczas gdy trzeci zapewnia awaryjne zasilanie - system traktuje to jako pełne zasilanie z sieci energetycznej.

5. Zdublowane zasilanie dla obwodów krytycznych.

W warunkach umieszczenia serwerowni w bloku nie było możliwości zastosowania zasilania z różnych faz sieci energetycznej (tym bardziej z oddzielnych linii zasilania). W blokach lat 70 były co prawda montowane tzw. "dwufazowe gniazda siły" (gniazd dwóch faz do zasilania np. dawnych cykliniarek), istnieje takie w sąsiednim mieszkaniu, ale u mnie od dawna zlikwidowane przez remonty poprzednich właścicieli. Dlatego zostało zastosowane inne rozwiązanie. Wybrano kilka urządzeń, których działanie jest absolutnie niezbędne dla zachowania podstawowych funkcji całej serwerowni. Za niezbędne funkcje przyjęto: podtrzymanie połączenia internetowego, filtrowanie i rozprowadzanie pakietów. Natomiast w sytuacji awarii rezygnuje się np. z działania serwerów stron www lub poczty.
Przyjęto rozwiązanie z dodatkowym zasilaczem o mocy (wersja 1: 120 W, wersja 2: 300 W) oraz pokazanym na zdjęciu przełącznikiem diodowym zasilania. Diody Schottky'ego - podwójna ze wspólną katodą dla linii zasilania głównego i rezerwowego. Bardzo niski spadek napięcia wynosi ok. 0,3 V i gwarantuje małe straty mocy, a przełączenie jest natychmiastowe. Rezerwowym zasilaniem są objęte m.in. modemy, komputery dostępowe HA OPNsense i switche z punktem dostępowym wi-fi. Drobnym uzupełnieniem są diody świecące pokazujące obecność zasilania w linii głównej i rezerwowej.

6. Koncepcja i realizacja zasilania niskonapięciowego 12 V.

    Jeszcze kilka lat temu klasyczne zasilanie w serwerowni było dominujące: jeden komputer - jeden zasilacz komputerowy, jedno dodatkowe urządzenie pomocnicze (switch, router) - jeden dodatkowy zasilacz wtyczkowy.

    W czasach, gdy stosowałem bardzo drogie komputery "subminiaturowe" (sucharki - biscuit) już pojawił się problem z takim zasilaniem. Miniaturowy specjalny zasilacz - świetny, ale bardzo drogi - wystarczał na jeden, ale nie więcej niż dwa komputery wraz z dyskami itp. Dodanie trzeciego komputera wymusiło przejście na "zwykły" zasilacz komputerowy z rozgałęźnikiem przewodów niskiego napięcia (tylko 5 i 12 V, bez pozostałych napięć produkowanych przez zasilacz jak np. 3,3 V).

    To z kolei wywołało problem dostarczenia zasilania "za" rozgałęźnikiem, komputerowe gniazda i wtyki (jak do dawnego dysku 3,5 cala) były za słabe, rozginały się, przegrzewały, iskrzyły. Dopiero przejście na złącza samochodowe (blaszki - wsuwki), a jeszcze później na okrągłe gniazda zasilania rozwiązały ostatecznie tę kwestię.

    Jednak nastąpił moment, gdy i miniaturowych niesamowicie drogich płyt głównych trzeba było zrezygnować. Całość systemu wraz z unikalnymi równie drogimi obudowami, brakiem miejsca na dyski, spowodował konieczność przejścia na "coś bardziej standardowego".

    Płyty mini-ITX są doskonałym standardem: łączą w sobie niemal pełną funkcjonalność pełnowymiarowej płyty głównej i nieduże rozmiary (17x17 cm), a tym samym dużą dostępność elementów w tym wygodnych i estetycznych obudów. Jednak te obudowy już nie mieszczą typowego zasilacza komputerowego.

    Widać zbieżność faktów: ograniczone wymiary obudowy mini-ITX, możliwość zastosowania ujednoliconych linii zasilania. Pojawił się też dodatkowy argument - podam przykład liczbowy.

    5 komputerów (po 20 W) ze zwykłymi zasilaczami sprawności 80% i własnymi stratami 5 W + 15 urządzeń (niestety miałem taką właśnie sytuację z tak dużą liczbą dodatkowych urządzeń) po 5 W z zasilaczami sprawności 85% i stratami własnymi 1 W uwzględniając sprawność i straty własne: 120+25 oraz 88+15 = 248 W. Dla mocy użytecznej 175 W sprawność wynosi 70,5%, niemal 75 W tracimy jedynie na ciepło.
    Do tego dochodzi niewiarygodny bałagan w przewodach i listwach zasilania.

    Ta sama konfiguracja z jednym wspólnym, dobrze dobranym zasilaczem o dużej sprawności rzędu 90% i stratami własnymi 5 W (stosuję zasilacz 80-PLUS Gold), zasilającym wymieniony zespół urządzeń: 194,5+5 = 200 W. Dla tej samej mocy użytecznej 175 W sprawność wynosi 87,5%, tylko 25 W tracimy jedynie na ciepło.

    Bardzo istotną rolę odgrywają w tej konfiguracji przetwornice na płytach głównych generujące napięcia zgodne ze standardem ATX. Stosuję od lat miniaturowe układy picoPSU wpinane w gniazdo zasilania ATX 20 pin. Oczywiście i one mają ograniczoną sprawność oraz pobór własny mocy: jest to rzędu ponad 90-95% oraz ok. 1 W, jednak są to wartości korzystniejsze niż w przypadku zasilacza ATX (o ile można porównywać te konstrukcje).

    Główny dystrybutor to układ podłączony bezpośrednio pod wyjścia z zasilacza - gniazda ATX, PCI-E, EUX. Z niego są rozprowadzane główne linie zasilające do komputerów. Podwójna linia prowadzi do dystrybutora dodatkowego. Ze względu na fizyczną konfigurację połączeń dodatkowy dystrybutor rozprowadza prądy do mniej wymagających odbiorników. Dystrybutor dodatkowy posiada generatory napięć 9 i 5 V (5 V z przetwornicy jest zdublowane napięciem z głównego zasilacza).

    Przez pewien czas zasilanie było rozprowadzane napięciami 12 i 5 V. Aktualnie zasilacz nie dostarcza już napięcia 5 V, jest ono generowane w podwójnej przetwornicy w dystrybutorze z napięcia 12 V, podobnie jak nadal potrzebne do przełączników KVM napięcie 9 V otrzymywane z podwójnej przetwornicy z 12 V.

    Dystrybutor był już przebudowywany. Otrzymał drugą miniaturową przetwornicę na 5 V, stabilizatory ciągłe 9 V na przetwornice, dodanych kilka linii wyjściowych.

Oczywiście pewnym problemem było ujednolicenie napięć - rezygnacja z wartości niestandardowych. Ale jak się okazuje współczesne konstrukcje zewnętrznych peryferiów komputerowych dosyć dobrze dają sobie radę z rozrzutem napięć zasilania (mają wbudowane przetwornice) - np. modem sieci 15 V doskonale pracuje z napięciem 12 V. Całkowita rezygnacja z napięcia 5 V nie jest możliwa, ponieważ głównymi odbiornikami są huby USB, w dodatku wymagają one dużych wydajności prądowych (zwykle nie mniej niż 2 A).

Tekst PL

EN Tekst

Power Supply Subsystem of zjk.pl

Today is: 2026-06-25 Last update: 2026-06-22 16:56:00

Since 06.09.2023, the server room power supply subsystem has consisted of the following elements:

1. UPS emergency/backup power supplies.

    Five devices are currently used simultaneously in the server room:
    a. Fideltronik Inigo KI 2000J Pro UPS rated at 2000 VA, 4 batteries connected in series, 12 V 9 Ah, pure sine wave, line-interactive, 432 VAh. Runtime at a 250 VA load is approximately 40 minutes. Purchased on 26.02.2019 (manufactured in 2018).
b. Second Fideltronik Inigo KI 2000J Pro UPS rated at 2000 VA, 4 batteries connected in series, 12 V 9 Ah, pure sine wave, line-interactive, 432 VAh. Runtime at a 250 VA load is approximately 40 minutes. Purchased on 06.09.2023 (manufactured in 2020).
    c. Battery module for Fideltronik - MB Pro 4818 (48 V / 18 Ah), i.e. 864 VAh. It uses 8 built-in 12 V 9 Ah batteries configured as follows: two parallel circuits of 4 series-connected batteries each. When connected to the UPS, the resulting configuration becomes three parallel branches of 4 series-connected batteries (total 27 Ah at 48 V). Purchased on 27.05.2019.
d. 3 × APC Smart UPS SURT1000 units rated at 1000 VA, each with 4 series-connected 12 V 9 Ah batteries. In practice, only one of them is actively used, while two of them have their batteries connected via busbars and Anderson connectors to the KI 2000 Pro, and one unit remains as a spare. Purchased in August 2023.
e. Backup power switching unit - described below,

The total battery capacity of the UPS system is 6 × 9 Ah = 54 Ah (6 × 4 = 24 batteries), i.e. 2592 VAh, including 1296 VAh for the complete KI2000/MB4818 pair, and another 1296 VAh in the second KI2000 + 2 × RT1000 setup.
    The typical power consumption of the entire server room is approximately 330 VA at night and 475 VA during the day (monitors and household personal computers are in use).
    Based on the parameters listed above and taking into account typical battery discharge characteristics, this allows the system to operate for approximately 90-150 minutes during a power outage.
    A test discharge performed on a UPS without an additional battery pack and with a 300 VA load demonstrated a runtime of 45 minutes - which is consistent with the estimated values.

Previous configuration until 09.2023 - the server room power subsystem consisted of the following components:

1. UPS emergency/backup power supplies.

    Three devices were used simultaneously in the server room:
    a. Fideltronik UPS-F650Pro rated at 650 W and 650 VA, with 2 batteries connected in series, 12 V 7.2 Ah (currently I use 9 Ah batteries of the same dimensions as the original 7.2 Ah units), standard capacity 172.8 VAh, currently 216 VAh, line-interactive. Runtime at a 250 VA load is approximately 20 minutes. Manufacturing year probably 1998.
    b. Fideltronik Ares 1000 rated at 1000 VA, with 2 batteries connected in series, 12 V 7.2 Ah (currently I use 9 Ah batteries of the same dimensions as the original 7.2 Ah units), standard capacity 172.8 VAh, currently 216 VAh, line-interactive. Runtime at a 250 VA load is approximately 20 minutes. Manufacturing year probably 2004.
    c. Fideltronik Inigo KI 2000J Pro rated at 2000 VA, with 4 batteries connected in series, 12 V 9 Ah, pure sine wave, line-interactive, 432 VAh. Runtime at a 250 VA load is approximately 40 minutes. Purchased in February 2019.
    d. Battery module for Fideltronik - MB Pro 4818 (48 V / 18 Ah), i.e. 864 VAh. It uses 8 built-in 12 V 9 Ah batteries configured as follows: two parallel circuits of 4 series-connected batteries each. When connected to the UPS, the resulting configuration becomes three parallel branches of 4 series-connected batteries (total 27 Ah at 48 V).

    The total battery capacity of the three UPS units was 1728 VAh, including 1296 VAh for the complete KI2000/MB4818 package.
    The typical power consumption of the entire server room was approximately 250 VA at night and 375 VA during the day (when monitors and household personal computers were in use). After recent upgrades and the addition of new equipment, these values increased to approximately 300 VA and 450 VA respectively.
    As follows from the parameters provided and taking into account typical battery discharge characteristics, this allows the system to remain operational for approximately 60-120 minutes.
    A test discharge performed on a UPS without an additional battery pack and with a 300 VA load demonstrated a runtime of 45 minutes - which is consistent with the estimated values.

Current version of the power supply block since 2023:

Previous version of the power supply block until 2023:

2. Backup power switching unit - designed and built by the author.

    The switching unit provides automatic, uninterrupted transfer of power from one supply line to the next in the event of a power loss. Such functionality is normally an integral part of an off-line UPS, where loss of the primary power line triggers a switch to the inverter.

    In this design I used commercially available backup power transfer switches. After purchase and testing, they unfortunately failed to meet the defined requirements and therefore had to be redesigned and modified. The critical parameter that was not met by the commercial switch was the transfer time. Instead of the declared several milliseconds, the actual transfer time was more than 40 to 50 ms. This is incompatible with the ATX standard, which indirectly defines the maximum acceptable value as 15 ms (actually 16 ms). After modifications, the transfer time was reduced to 4-10 ms, never exceeding 15 ms.

    The system was designed as a cascade of two modified transfer switches for three power lines. The connection scheme provides three input lines with priorities from highest to lowest: I1, I2 and I3, as well as two outputs O1 and O2. O1 is powered from all inputs, while O2 is powered from the output of the first switch, i.e. from inputs I2 and I3.

    The system is complemented by an internal grounding bus connecting all sockets and plugs and, as visible in the photographs, status LEDs indicating the operation of each input and output.

3. Software-based power supervision.

    NUT - Network UPS Tools - is the standard software used for this purpose. However, I would like to add a few of my own observations from its deployment and day-to-day use.
    a. Installation: under FreeBSD there were no issues, although configuration and startup proved more difficult:
        - in the case of the Fideltronik KI 2000J Pro series UPS, which provides EIA232, USB and an Intelligent SLOT for an SNMP manager with Ethernet connectivity: the simplest solution is to connect via USB and select the "blazer_usb" driver with the "megatec" protocol in the NUT configuration. The use of this protocol results from long-term cooperation with the manufacturer and the continued availability of compatible expansion cards. Device detection can be accelerated by specifying the USB vendor and product identifiers in the configuration.
        - the F650Pro and Ares 1000 UPS units provide only a contact-closure interface using the connector and electrical signals of a serial port (but not serial data transmission itself). It is therefore necessary to use the "genericups" driver, which explicitly supports Fideltronik devices using types 19 and 6. The serial port must also be specified using the port option. Unfortunately, installation alone does not result in correct driver operation:
            i. the cable wiring diagram is shown below; an important modification is the addition of a transistor-based circuit that prevents the computer from shutting down when the UPS is connected (this is a firmware bug)
            ii. Serial ports in modern computers are rare — to implement such a connection I used USB-to-EIA232 converters. Extensive miniaturization has made them available in the form of a cable with the converter integrated into the connector housing. I tested two converters:
                * the cheapest converter available on the market, costing approximately PLN 7: based on the CH341 chip and the FreeBSD driver "uchcom -- WinChipHead CH341/CH340 serial adapter driver". Unfortunately, after extended testing the device showed a lack of response (reporting on the computer side) to state changes in the contact cable. It was therefore necessary to abandon these converters. For this reason I do not provide the manufacturer's name, but since the application was non-standard and did not actually use serial communication itself, I do not question the quality of the CH341 chip in its intended role.
                * a converter costing approximately four times more, the Unitek Y-105: based on the PL-2303 chip and the FreeBSD driver "uplcom -- USB support for Prolific    PL-2303/2303X/2303HX serial adapters driver". A significantly more expensive solution, but not without problems. The first purchase and connection of two converters showed that one worked perfectly, while the second systematically disconnected from the computer every few hours (although it later reconnected automatically — unfortunately this does not guarantee reassignment to the same device handle blocked by the previous connection, preventing NUT from operating correctly). Purchasing an additional converter solved the problem effectively.

            However, the statement that the converters operate reliably is not entirely accurate, as the following undesirable effects occur:
            i. very frequent self-tests of the UPS 650 and 1000 (I did not observe them before connecting the communication cables). I recorded more than 100 per day. It was easy to reduce them to only a few per day by increasing the polling interval from 2 s to 5 s (this value will be adjusted further). Of course, increasing the interval is disadvantageous for the NUT system, but it is the only solution. The situation is even more strange considering that the computer running the NUT server has a powerful processor, making it difficult to blame the machine itself.
            ii. occasional — but still occurring — communication disconnects. This mainly affects the UPS 2000, although I have observed isolated cases on the others as well. I suspect that disturbances appearing in the power grid affect the operation of the sensitive USB protocol. Switching to a classic EIA232 serial connection could be considered, especially when using a shielded cable, although it is also possible that despite proper grounding of the devices, the effects are caused by currents flowing between the UPS units (and voltages appearing across the thin conductors of the USB cables).
            iii. independently of the NUT system, the modern UPS reacts better — or rather does not overreact — to disturbances in the power grid. Both older models have adjustable "sensitivity" to disturbances, but even when configured for greater tolerance they still switch to battery power quite frequently for short periods. I am excluding the situation during renovation work carried out by neighbors, who were most likely using a faulty drill — in that case the switchovers occurred as often as the drill was turned on.


            An interesting issue is the need to distinguish information coming from two identical converters receiving data from two different UPS units. The USB/EIA232 adapter cables and the USB cable connected to the KI 2000J were attached to a common USB hub. It was sufficient to verify in which order the hub polls its ports — this is internally defined and allows the cables to be arranged so that the driver device paths correspond to the correct UPS units.
            iii. permissions for files and directories must be properly organized: the most important step is selecting the appropriate user — in FreeBSD it is optimal to use the pseudo-user "uucp" (as the "owner" of serial ports) instead of the recommended "nut" user.
            iv. it is absolutely necessary to enable the correct response of the devd device daemon when a serial port is connected — automatic assignment of proper permissions and ownership for device entries in /dev/cuaU(*, *.init, *.lock) /dev/ttyU(*, *.init, *.lock). An appropriate devd script is available in the NUT source code, however it still requires modification.

    b. Starting NUT. The configuration of my system is closer to that of a small data center than a typical home server. The power supply consists of 3 UPS units feeding a common set of power distribution strips. Furthermore, NUT as a server is running on only one computer, while approximately 10 machines are being monitored.
        i. NUT fully supports such configurations (and many other non-standard ones).

4. Custom script.

    NUT is very good software, however support for non-standard power management policies is limited. In my opinion, something similar to "power plans" is missing — every administrator has different requirements, and every system has different characteristics. The general principle is simple: computers should not be allowed to shut down abruptly — and the mere presence of a UPS does not prevent this unless an automatic, controlled shutdown mechanism (for example using the shutdown command) is implemented.
    A. Essentially, without modifications NUT assumes an almost immediate shutdown of computers after a power outage and a switch to battery operation. This is reasonable, since the typical UPS runtime is usually measured in only a few minutes.
    A.bis. A plan very similar to the above, but with the presence of a private backup generator (internal combustion powered). Large battery capacity / long runtime are not required because the system only needs to remain powered for the short period required to start and stabilize the generator.
    B. In the next plan, runtime can be extended proportionally to the UPS battery capacity — or more precisely, to the expected runtime provided by the available UPS units.
    C. Another possible power strategy is to keep systems running until the very last moment before UPS shutdown (that is, until the LOW BATTERY condition occurs), allowing computers to operate for as long as possible.
    B/C. Notes. UPS runtime can be modeled over a wide range within these plans. The most sensible approach is, of course, a detailed analysis of the frequency and duration of power outages occurring in a given area (or electrical distribution branch).
    D. After a power outage, some computers can be shut down (because the services they provide are not essential) in order to conserve UPS battery capacity and thereby extend the operating time of those systems that should remain available as long as possible and only shut down just before battery depletion.

    Plan A appears to be the most reasonable one — usually when mains power fails, Internet connectivity disappears as well. However, if this is not the case, Plan C is naturally more advantageous. The drawback of Plan A is the typical problem of restoring all services to proper operation after the computer is restarted. By extending the time computers operate on batteries, we increase the chances that mains power will return and the systems will not need to be shut down at all.

    My priority is to operate computers according to Plan D — less important machines should continue running on battery power for some time (in the "hope" that the outage is only temporary and that they will not need to shut down unnecessarily), but should eventually be powered off in order to extend the operating time of the remaining systems, which should continue running until the very last moment.

    Emphasizing that every administrator will follow different priorities may seem unnecessary, but it further justifies extending NUT with settings that influence the conditions determining when computers are shut down.

    A great aid within NUT is the so-called upssched utility, a component of the package that allows management of timed events — for example, delaying computer shutdowns. However, I decided to implement this according to my own requirements. Furthermore, instead of relying on special counters built into upssched, I chose to use the timer built into the shutdown command itself and, if necessary, cancel it using the killall command (targeting shutdown).

    Thus, the primary mechanism controlling computer runtime consists of issuing a shutdown command when mains power fails and the systems switch to battery operation — with different shutdown delays depending, for example, on the priority of a given computer. Naturally, if battery depletion occurs, additional shutdown commands are issued with appropriately shorter countdown times. When power is restored, all pending shutdown commands are canceled using killall.

    In addition to the functions described above, the script is even more advanced. It supports, among other things:
    - different shutdown delays for different computers
    - calculation of the overall state of the UPS infrastructure as a set of several independent devices (see below)
    - logging to a single file, multiple files (a separate file for each event), sending notification e-mails (depending on the settings individually assigned to each computer)
    - detection of additional states such as communication loss, connection failure, or a command for rapid shutdown of computers

    Determining the state of the entire UPS system (treated as a set of several independent devices connected through common power lines) requires generating a consolidated status. Several UPS units operate within the system and, thanks to the automatic backup power transfer switch (described above), the overall system state is not simply the individual status of a single UPS. I adopted the following rules:
    - if at least one UPS is powered from the utility grid, the entire system is considered ONLINE (powered from the electrical network),
    - otherwise, if at least one UPS is operating on battery power, the system is considered to be running on batteries,
    - if neither of the previous conditions is met, but at least one UPS reports a low-battery condition, the entire system is treated as operating on a depleted battery.

    With these rules in place, even if maintenance is being performed (disconnecting a UPS) or power plugs are being switched between two UPS units while a third UPS continues to provide backup power, the system still considers itself to be fully powered from the utility grid.

5. Dual-redundant power supply circuit for critical load.

Due to the server room being located in an apartment building, it was not possible to use power supplied from different electrical phases or, even less so, from separate power lines. Apartment buildings from the 1970s often featured so-called "two-phase power sockets" (using two phases to power equipment such as old floor sanders). Such a socket still exists in a neighboring apartment, but it was removed from mine many years ago during renovations carried out by previous owners. Therefore, a different solution was adopted. Several devices whose operation is absolutely essential for maintaining the basic functions of the entire server room were selected. Essential functions were defined as maintaining the Internet connection, packet filtering, and packet forwarding. In an emergency, services such as web servers or mail servers can be sacrificed if necessary.
The chosen solution consists of an additional power supply unit (version 1: 120 W, version 2: 300 W) together with the diode-based power switch shown in the photograph. It uses a dual Schottky diode with a common cathode for the primary and backup power lines. The very low voltage drop of approximately 0.3 V ensures low power losses, while switching occurs instantaneously. Devices protected by the backup power source include modems, HA OPNsense gateway systems, switches, and the Wi-Fi access point. Small indicator LEDs show the presence of power on both the primary and backup supply lines.

6. The concept and implementation of a 12 V low-voltage power system.

    Only a few years ago, traditional power distribution dominated the server room: one computer – one power supply, one additional auxiliary device (switch, router) – one additional plug-in power adapter.

    Back when I was using very expensive "subminiature" computers ("biscuits"), a problem with power distribution had already become apparent. A miniature dedicated power supply was excellent but very expensive, and it could power only one, or at most two computers with their storage devices. Adding a third computer forced a transition to a standard PC power supply combined with a low-voltage distribution harness (using only the 5 V and 12 V outputs, without other voltages such as 3.3 V generated by the power supply).

    This, in turn, created a problem with delivering power beyond the distribution point. Standard PC connectors and sockets (such as those once used for 3.5-inch hard drives) proved too weak; they would loosen, overheat, and sometimes spark. The problem was only solved after switching first to automotive connectors (blade terminals) and later to round DC power connectors.

    Eventually, however, even those miniature and extremely expensive motherboards had to be abandoned. The overall system cost, together with the equally expensive specialized enclosures and the lack of space for storage drives, made it necessary to move to something more standardized.

    Mini-ITX motherboards are an excellent standard: they combine nearly all the functionality of a full-size motherboard with compact dimensions (17 × 17 cm), which in turn ensures excellent availability of components, including practical and aesthetically pleasing cases. However, these compact cases no longer have room for a standard PC power supply.

        Widoczna jest tu wyraźna zbieżność kilku czynników: ograniczonych wymiarów obudów mini-ITX, możliwości zastosowania wspólnej magistrali zasilającej oraz dążenia do poprawy sprawności energetycznej całego systemu. Pojawił się również dodatkowy argument, który najlepiej zilustrować przykładem liczbowym.
    Załóżmy konfigurację składającą się z pięciu komputerów pobierających po 20 W każdy oraz piętnastu urządzeń pomocniczych pobierających po 5 W. Jeżeli każde z nich wyposażone jest we własny zasilacz, należy uwzględnić zarówno sprawność przetwarzania energii, jak i pobór własny samych zasilaczy.
    Dla pięciu komputerów z zasilaczami o sprawności 80% i stratach własnych około 5 W otrzymujemy pobór 120 W mocy użytecznej oraz około 25 W strat. Dla piętnastu urządzeń pomocniczych wyposażonych w zasilacze o sprawności 85% i stratach własnych około 1 W uzyskujemy odpowiednio około 88 W oraz 15 W strat. Łączny pobór energii wynosi więc około 248 W.
    Przy mocy użytecznej wynoszącej jedynie 175 W oznacza to sprawność całego systemu na poziomie około 70,5%. Innymi słowy niemal 75 W zamieniane jest wyłącznie na ciepło. Do tego dochodzi znaczny bałagan okablowania, duża liczba zasilaczy oraz konieczność zajęcia wielu gniazd sieciowych.
    Ta sama konfiguracja zasilana jednym wspólnym zasilaczem o sprawności około 90%, wyposażonym dodatkowo w certyfikat 80 PLUS Gold, daje zupełnie inne wyniki. Dla tej samej mocy użytecznej 175 W całkowity pobór energii wynosi około 200 W, z czego jedynie około 25 W stanowią straty.
    Sprawność całego układu wzrasta w takim przypadku do około 87,5%. Oprócz oszczędności energii zmniejsza się ilość wydzielanego ciepła, upraszcza się okablowanie i maleje liczba elementów mogących ulec awarii.

    Istotną rolę odgrywają w tej konfiguracji miniaturowe przetwornice generujące napięcia zgodne ze standardem ATX. Od wielu lat stosowane są układy picoPSU montowane bezpośrednio w gnieździe zasilania ATX płyty głównej. Oczywiście również one nie są idealne i posiadają własne straty energii, jednak ich sprawność przekracza zwykle 90–95%, a pobór własny wynosi około 1 W.
    W praktyce okazują się więc rozwiązaniem korzystniejszym niż stosowanie oddzielnych zasilaczy ATX dla każdego komputera, szczególnie w przypadku systemów o niewielkim poborze mocy.

    Głównym elementem systemu jest dystrybutor zasilania podłączony bezpośrednio do wyjść zasilacza. Wykorzystuje on standardowe złącza ATX, PCI-E oraz AUX, z których energia rozprowadzana jest do poszczególnych komputerów i urządzeń pomocniczych.
    Dodatkowa para przewodów prowadzi do drugiego dystrybutora zasilania. Ze względu na rozmieszczenie urządzeń przejmuje on obsługę odbiorników o mniejszym poborze mocy. Zawiera również przetwornice generujące napięcia 5 V oraz 9 V wykorzystywane przez część urządzeń peryferyjnych.

    Przez pewien okres energia była rozprowadzana równolegle napięciami 12 V i 5 V. Obecnie główny zasilacz dostarcza już wyłącznie napięcie 12 V, natomiast napięcia pomocnicze generowane są lokalnie w dystrybutorach za pomocą przetwornic impulsowych.
    Napięcie 5 V uzyskiwane jest z podwójnej przetwornicy DC/DC, podobnie jak napięcie 9 V wykorzystywane między innymi przez przełączniki KVM. Takie rozwiązanie pozwala ograniczyć liczbę przewodów oraz zmniejszyć spadki napięć występujące przy większych odległościach.
    Sam dystrybutor był wielokrotnie modernizowany. W kolejnych wersjach dodano drugą przetwornicę 5 V, zastąpiono liniowe stabilizatory napięcia 9 V przetwornicami impulsowymi oraz zwiększono liczbę dostępnych wyjść zasilających.

    Pewnym wyzwaniem okazało się ujednolicenie napięć zasilających i rezygnacja z wielu wartości niestandardowych. W praktyce jednak współczesne urządzenia sieciowe i komputerowe bardzo dobrze tolerują pewien zakres napięć wejściowych, ponieważ większość z nich wyposażona jest we własne przetwornice impulsowe.
    Przykładowo modem sieciowy nominalnie wymagający zasilania 15 V bez problemu pracuje przy napięciu 12 V. Całkowita eliminacja napięcia 5 V nie jest jednak możliwa. Głównymi odbiornikami pozostają koncentratory USB, które wymagają nie tylko napięcia zgodnego ze standardem, ale także stosunkowo dużych wydajności prądowych, zwykle nie mniejszych niż 2 A na urządzenie.

Tekst EN

Powrót na stronę główną - Informacje o stronie, prawa autorskie, legalność itd. tutaj
Informacje o przetwarzaniu i ochronie danych osobowych, kontakt i zapytania itd. tutaj
Prywatne serwery Zbigniewa Kuleszy zjk.pl. Aktualny dostawca Internetu - Vectra.pl, Wszelkie prawa zastrzeżone. Zespół redakcyjny zjk.pl: zjk7@wp.pl
W sprawie treści i działania strony oraz w sprawie funkcjonowania i udostępniania treści na serwerach zjk.pl - kontakt z administratorem: webmaster@zjk.pl lub zjk7@wp.pl

KONIEC