Prace na serwerze
Jakub: Prace na serwerze
Witam. Zmieniam ustawienia na serwerze i działanie skryptów tworzących forum. Jak z każdą
zmianą bywa, na początku są zakłócenia i błędy. Mogę różne rzeczy nie działać np.
wyszukiwarka. W zasadzie wyszukiwarka to na pewno nie będzie dzisiaj działała, bo się nie
wyrobię ze wszystkim. Ale mogą być też problemy z dodawaniem wpisów czy logowaniem. Z czasem
wszystkie błędy usunę i forum będzie chodziło jak poprzednio tylko szybciej.
Nie wprowadzam nowych funkcjonalności tylko staram się, aby strony szybciej się wczytywały.
Ostatnio były z tym problemy, co wynika generalnie z tego, że serwer ma dysk hdd a nie ssd.
Każdy kto zmienił w swoim osobistym komputerze dysk hdd na ssd, wie jak bardzo komputer
przyspiesza po takiej zmianie. Serwer niestety wciąż jest na hdd i muszę łatać to skryptami
jak potrafię.
Tak więc za wszystkie problemy przepraszam, proszę pisać co nie działa, jeśli coś będzie nie
działało. Wysyłam ten wpis i zaczynam prace na serwerze.
12 mar 18:57
Jakub: up
12 mar 19:05
Jakub: up
12 mar 19:05
Jakub: test
12 mar 20:05
Jakub: test 2
12 mar 20:06
Jakub: test 3
12 mar 20:10
Jakub:
Test rysowania
12 mar 20:35
Eta:
12 mar 20:38
mietek:
Jakubie − strony troszke się rozjechały − pierwsza lepsza,
473
12 mar 20:46
ssd ?: Zamiast zmieniać dyski na śmakie czy owakie lepiej uporządkować tematycznie posty żeby w ogóle
tu można było coś znaleźć, szybkość ładowania była very fast jak się ma szybkie łącze i
krótki ping.
12 mar 21:02
mietek:
ssd ? − prawda jest taka, że wystarczyłoby
1) zminifikować html/css/js − do 5 min
2) skompresować bezstratnie grafiki − do 5 min
3) włączyć kompresje (gzip etc.) − do 5 min
4) najczęściej pobierane dane przetrzymywać w pamięci RAM
5) ustalić wygasanie plików − 2 min
6) emotki i inne małe g.. przenieść do CDN, który liczy jedynie za transfer (wtedy prawie nie
ma kosztów), bo po co męczyć tym serwer − 15 min
7) podpiąć cloudflare − 10 min
tylko nikt tego z jakiegoś powodu nie robi...
12 mar 21:32
mietek:
... a roboty na mniej niż godzinę
12 mar 21:33
Jakub: @
mietek
Rady 1) 2) 3) sprowadzają się do zmniejszenia wysyłanych plików. Grafikę da się zmniejszyć o
jakieś 20%, html, css i inne tekstowe pliki o jakieś 60%. Jednak to nie rozwiązuje problemu.
Zobacz na numer tego wątku
319582. Mam na twardzielu 319582 plików od 1.html do
319582.html do tego dochodzi coś koło 120k plików png z rysunkami. Jak je trzymać w pamięci
RAM
Teoretycznie debian sam powinien trzymać często używane pliki w pamięci ram. W praktyce
przyjdzie więcej osób na stronę i webserwer co chwilę doczytuje jakiś plik z hdd. Nie jest
istotne jaki plik ma rozmiar. Czy ma 2k czy ma 3k. Głowica dysku hdd, musi się przesunąć i go
odczytać. Sam proces przesuwania głowicy do odczytu tyle trwa, a nie sam odczyt powodowany
wielkością pliku. Dużo osób przegląda stronę, co chwile trzeba doczytywać jakieś rzadko
wczytywane pliki i hdd nie wyrabia. Za dużo tego. Gdy hdd jest zbyt zajęte webserwer zamula.
Tak to sobie tłumaczę. Jak jest lepsze wytłumaczenia chętnie je poznam.
Pytanie jak przenieść te pliki do pamięci ram. Najprostszy sposób do zrobić ramdisk i je tam
wgrać. Tylko to nie działa. Pliki mają w sumie 1,5GB, ale każdy z nich jest bardzo mały ale
zajmuje jakiś blok. Dokładnie nie wiem, ale chyba 300kb. Tak więc te ~320k plików html + 120k
png zajmuje dużo więcej niż ich suma bajtów. Nie da się przenieść ich na ramdisk. W takim
układzie idealny byłby dysk ssd, ale go nie mam w obecnej konfiguracji.
5) Nie wiem, co to jest wygasanie plików...
6) nie po to mam własny serwer, aby wydawać kasę na inne serwery
7) to samo jak wyżej
Podejrzewam, że jakbym potrafił zrobić to co napisałeś, w czasach jakie podałeś, to bym
zarabiał jako admin tyle, że już dawno byłby serwer z ssd. 15 minut na przeniesienie do CDN
Musiałeś to robić wiele razy. Pierwszy raz na pewno nie zajmuje 15 minut.
12 mar 22:00
Metis: Jakub nie wiem czy prace trwają nadal, ale posypał się dwumian Newtona:
12 mar 22:01
Metis:
12 mar 22:09
Jakub: Poprawiłem. Dzięki za informację.
12 mar 22:09
fan ety: ale zadania Ety z planimetrii przetrwają i Mili również ? Jakubie
12 mar 22:22
5-latek : Jakub
Jak daje Dodaj nowqe zadanie to wyskauje Nie ma takiej strony
12 mar 22:29
mietek:
Rozmiar pliku ma znaczenie, bo im plik większy tym dłużej jest odczytywany, a więc dłużej
przetrzymuje głowicę.. to ma znaczenie + pod linuxem też można defragmentować dysk
Za pomocą darmowych programów można zminifikiwać/skompresować html/css/js/grafiki − sporo
poradników można na ten temat znaleźć w sieci.
Co do trzymania w ramie − miałem na myśli to, że np. /forum/index.html obrywa zapewne co
chwilę, a więc już jego trzymanie w ramie coś zmieni.
Co do wygasania plików − chodzi o browser cache.
Spokojnie całość można zrobić w 1h.. ale może i racja, że dopiero po kilku razach..
Podpięcie cloudflare jest bardzo proste, a cennik (zobacz "free"
") jest tutaj
https://www.cloudflare.com/plans/
Cloudflare weźmie na siebie naprawdę sporo zapytań, więc warto chwile poświęcić na
konfigurację..
Jeżeli można − ile ramu potrzebujesz oraz ile transferu miesięcznie strona zużywa?
12 mar 22:36
mietek:
Zapomniałem napisać o jeszcze jednej rzeczy − jeżeli męczysz się z wyszukiwarką, to może warto
skorzystać z pomocy Google?
https://cse.google.pl/cse/
12 mar 23:32
ssd: mam na myśli to , że nie trzeba by się lepiej zając tym forum w celu poprawienia jego
czytelności a nie serwerem, tematy lecą jak leci i dlatego nikt tu niczego nie może znaleźć a
po tygodniu , miesiącu czy roku dokładnie te same zadania o rozwiązanie pilne i błagalne są
zamieszczane, jak się zakłada forum to trzeba o niego zadbać i je czytelnie i w sposób
funkcjonalny zaprowadzić a to forum samo się prowadzi..to samo forum fizyczne istne cicer cum
caule, połowa odsyłaczy do teorii opracowana powierzchownie, reszta czeka od ponad 3 lat do
uzupełnienia !
Użytkownikom nie zależy na tym by strona otwierała się 5 ms czy 5 s tylko zależy na czytelności
i łatwości wyszukania jakiejkolwiek informacji !
Życzę więcej empatii i wytrwałości w kontynuowaniu tego, co się zaczęło i miało tak ciekawe
początki.
13 mar 09:30
PW: Te, mądrala!
13 mar 09:34
Kacper:
Ja bym osobiście był np za tym, żeby tematy, które nie doczekały się odpowiedzi znikły z
serwera
Zawsze to mniej o kilka tysięcy postów.
Poza tym jak pisze
ssd niektóre tematy pojawiają się kilka − kilkanaście razy.
13 mar 09:42
Kacper:
Natomiast ponieważ nie jestem informatykiem i nie mam pojęcia jak to sprawić, to będę trzymał
kciuki za
Jakuba, aby jakoś udało się problem rozwiązać
Ps. Proponuje zrzutkę każdego użytkownika po 1 zł i
Jakub będzie miał piękny nowy dysk ssd
i wszyscy będą zadowoleni
13 mar 09:44
5-latek : Czy nadal tez Wam wyswietla się komunikat Nie ma takiej strony gdy chcecie dodac nowe
zadanie ?
tak mam od wczoraj
13 mar 10:11
Metis: Dokładnie tak, 5−latku
13 mar 10:12
5-latek : Czesc
Metis
Troche mnie to denerwuje bo wczoraj była Mila na forum i chciałem żeby mi rozwiazala pewien
problem .
13 mar 10:14
Kacper:
Jakubie zgłaszam problem z obrazkami
319421
13 mar 10:46
asdf: Jakub, nie myslales o akcji na wspieramto lub polak potrafi? Banner na glownej stronie z akcja,
a na niej zbiorka na nowy ssd. mysle, ze dzieki temu bedziesz miec dosyc szybko nowy dysk ssd
13 mar 12:19
mietek:
Usunięcie wątku, który nie zawiera odpowiedzi można zrobić takim kodem:
http://pastebin.com/T8mAhTw8
można to odpalić poleceniem
g++ matpiszpl.cpp −o matpiszpl && ./matpiszpl
(gdzie w matpiszpl.cpp znajduje sie powyższy kod)
wymagany jest oczywiście g++
(sudo apt−get install g++)
Przetestowałem na Jessie dla 3 wybranych z forum wątków.
−−−
z c++ nie umiem praktycznie nic, wiec wydajność programu jest zapewne kiepska + brakuje pętli,
która przeleci po wszystkich plikach, a nie tylko 1.html.... także nie biorę odpowiedzialności
jak się coś skopie
13 mar 12:22
Mariusz:
Co do usuwania wpisów to można by usunąć wpisy Kacprów czy darasów
bo to one bardziej zaśmiecają serwer
13 mar 12:45
5-latek : Mariusz weź sobie zaparz melise
13 mar 12:47
Eta:
@
Mariusz
Dorzuć jeszcze do usunięcia wszystkie wpisy Ety
13 mar 12:48
Kacper:
Eta to zanim to nastąpi, to poproszę
Jakuba o kopię całego serwera
13 mar 12:54
Eta:
13 mar 14:57
zombi: test
13 mar 15:27
zombi: Btw. czemu nie mogę dodać nowego tematu?
13 mar 15:28
Metis: Nikt nie może
13 mar 15:31
zombi: Ehhh, a mam fajne zadanie
13 mar 15:32
Eta: Hej, jestem Eta i lubię jabłka
13 mar 15:43
Eta:
A gdzie podziałaś
"kolorek"?
13 mar 15:48
Mariusz:
Eta widziałem twoje wpisy i jak do tej pory są całkiem znośne
13 mar 16:10
Mariusz:
asdf: ale to co odróżnia tą stronę od innych to między innymi brak reklam itp
13 mar 16:15
13 mar 16:56
Eta: To ja, prawdziwa Eta
13 mar 17:02
13 mar 17:03
pipa: I najwżniejsza rzecz o którą powinien zadbac admin forum: pisanie postów WYŁACZNIE po
zarejestrowaniu choćby swojego nicka a nie pierdolenie co chwila jak komu wygodnie,
podszywanie się pod kogoś i udawanie Greka itp.
no ale żeby na to wpaśc to trzeba byc nie tylko matematykiem ale mieć trochę oleju w głowie, a
jak ktoś chce tylko zarabiac na smsach, to wychodzi tak jak widac,,
13 mar 18:55
mietek:
18:55
już o tym kiedyś było.. zwyczajnie jest niski poziom wejścia...
Ci co są tutaj od dłuższego czas wiedzą kto jest kim, a tym, którzy wpadną raz na miesiąc z
jednym zadankiem, ta wiedza jest zbędna, bo oni chcą mieć rozwiązanie i tyle...
13 mar 19:01
azeta: pipa... po co ta agresja..
13 mar 19:56
5-latek : Troche ma racje .
Ile razy napisze ktoś zadanie nie dostanie rozwiązania albo dostanie niedokończone to pisze to
samo pod innym Nickiem
Albo jest jeszcze gorzej . Naubliza (wyzwie) pomagającemu i napisze pod zmienionym to samo
zadanie
Ktos kto tego nie czytal oczywiście potem pomoze .
13 mar 20:05
b.: > Ile razy napisze ktoś zadanie nie dostanie rozwiązania albo dostanie niedokończone to pisze
to samo pod innym Nickiem
I w czym przeszkodziłaby tu rejestracja? No chyba że za rejestrację też trzeba by zapłacić
> podszywanie się pod kogoś
...zarejestrowanego nie jest możliwe. No chyba że sobie ktoś ustawi czarny kolor nicka.
13 mar 20:53
Mariusz:
Tak ale jak ktoś potrzebuje pomocy tylko w jednym zadaniu i później nie wchodzi na stronę
to po co zmuszać go do rejestracji
Poza tym niewiele jest forów które nie zmuszają do rejestracji i to was odróżnia
Nie przeszkadza wam bardziej brak texa czy czegoś podobnego
np gdy chcemy dać indeksy przy sumach (np w funkcji tworzącej) to zapis się rozjeżdza
14 mar 10:39
Mariusz:
matematyka.pisz.pl/forum/148066.html
np tutaj Basia się pomyliła bo na stronie nie można porządnie zapisać sumy
a przyznała się że pisała od razu na klawiaturze
14 mar 10:52
Jakub: Witam wszystkich. Wróciłem po niedzielnym odpoczynku i zabieram się za usuwanie braków na
forum. Dzięki mietek i pozostali za konstruktywne rady.
14 mar 11:08
5-latek : Jakub
Nie zostawia się dzieci samym sobie
Poza tym serwer nie działa dobrze w dalszym ciągu
14 mar 18:03
kotecek:
14 mar 18:07
Eta:
14 mar 18:10
pipa: Wyszukiwarka na forum
nadal nie działa,
nadal każdy może się podszywać pod każdego,
nadal pojawiają się głupawe posty...czyli nihil novi a Jakub chyba zajęty już malowaniem
jajek ?
Czy nie lepiej zamknąć forum na jakiś czas, tak jak to np zrobiło Ars Physica.pl ? i uruchomić
dopiero jak
wszystko będzie już działać
23 mar 08:01
Mila:
Gdzie Ci się spieszy pipa ?
Jednak pomoc uczniowie dostają.
23 mar 17:26
Jakub: 1. Wyszukiwarka faktycznie działa kiepsko, ale jakoś tam działa.
2. Podszywanie jest takie jak zawsze. Jak ktoś chce napisać wpis jako "pipa" to może to zrobić,
ale wyświetli się ten nick na czarno. Stali bywalcy forum znają użytkownika
pipa i
wiedzą, że ten nick wyświetla się na zielono. W każdy razie jest zarejestrowany i ma jakiś
kolor inny niż czarny. Jeżeli wpis jest z czarnym nickiem "pipa", to nie jest to pewnie "pipa"
stały bywalec forum tylko "pipa" oszust lub nieświadomy użytkownik. Sporadyczni użytkownicy i
tak nikogo nie znają to i tak nie będą się zastanawiali czy wpis pochodzi o stałego usera
"pipa" czy od kogoś innego.
Taki sposób działania forum wynika z tego, że nie chciałem, aby popularne nicki szybko znikły.
Przykładowo, ktoś sobie zarejestruje nick "Janek" i więcej się nie pojawi na forum i mam do
końca świata trzymać dla niego tego "Janka" zarezerwowanego
A teraz każdy może podpisać się
jako "Janek" i szybko dodać wpis. Stali użytkownicy sobie wybiorą np. "Janek21" i zarezerwują.
3. Usuwanie postów przez moderatorów działa, więc głupich postów jest tyle co zwykle czyli nie
za dużo.
Zatem forum działa, nie działa idealnie, ale czy doczekamy się idealnego stanu, to hmm...
zawsze można złożyć sobie to jako życzenia świąteczne
23 mar 18:08
Metis: Wyszukiwanie po nicku wcześniej działało dobrze
25 mar 13:25
kotecek : Eta czemu twój KOTecek smutny
25 mar 13:40
16 lip 22:33
bo TAK: s&g brak słów...
16 lip 22:39
16 sie 11:07
23 sie 10:05
23 sie 11:29
23 sie 11:39
14 wrz 12:33
Dziadek Mróz:
Ja proponuję zrobić starym dobrym sposobem rekrutację na moderatora. Tyle, że tutaj nie mamy
zbyt wielu informacji o osobach. Tak więc poda się informacje osobiste, a każda szkoda ze
strony moderatora dla strony będzie jego kosztem
14 wrz 13:14
b.: Na fizykę mało osób wchodzi, więc trudno o moderatora.
Nie jestem pewien, ale chyba moderatorzy z matematyki mogą też czyścić na fizyce −−
przynajmniej ja mogę.
Jakub się na co dzień nie zajmuje moderacją forów i (chyba) tego nie ukrywa, więc nie wiem o co
te pretensje.
14 wrz 13:33
daras: żadne pretensje
ale dla mnie osobiście i jeszcze chyba dla paru odwiedzających to szok
14 wrz 18:05