Centos

Поддерживаю один проект на bitrix, коробочное решение Интернет магазин + CRM. В один «прекрасный» момент вдруг заметили менеджеры, что уже несколько часов нет ни одного заказа. Проверил — так и есть, при открытии корзины где рассчитываются все доставки и оформляется заказ, страница открывается по 1-2 МИНУТЫ!!! Естественно клиенты не дожидаются и уходят. Виновник был быстро найден (один из модулей расчета стоимости доставки) и отключен. Он заработал снова, и мы его включили потом. Но это не дело-же, надо хотя бы мониторить. Все эти модули обычно написаны разными людьми / компаниями и при расчете обращаются к сторонним серверам, и если сервер лежит а в модуле не предусмотрели отлуп по таймауту — то ложится вся страница.

Начал искать, есть куча сервисов по мониторингу сайта, скорости загрузки страниц, но к сожалению, ни один из них не работает с полной отработкой javascript, ajax. Перерыл кучу старых библиотек под php, питон и кучу всего (мне надо было именно чтобы работало с linux. Потом нашел в сети несколько онлайн сервисов, которые умеют делать скриншоты сайтов. Думал уже сделать через них, но оказалось это не бесплатно да и зависеть от сторонних сервисов не хотелось. Решил тоже научится делать скрин сайта. Снова перелопатил кучу старых библиотек. Да, они работали, и обычные страницы сайта нормально скринились. Но вот корзина с добавленным в нее товаром — не отрабатывалась.

Потом нашел решение через гугл хром из командной строки. В общем вот простенькая инструкция чтобы не потерялось ну или кому будет интересно тоже.

Ставим гугл хом:

ubuntu

sudo apt-get install google-chrome-stable

centos7

wget https://dl.google.com/linux/direct/google-chrome-stable_curr...

sudo yum localinstall google-chrome-stable_current_x86_64.rpm

centos8

sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*

sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*

wget https://dl.google.com/linux/direct/google-chrome-stable_curr...

sudo yum localinstall google-chrome-stable_current_x86_64.rpm

Делаем скрин:

google-chrome-stable --allow-running-insecure-content --ignore-certificate-errors --ignore-urlfetcher-cert-requests --reduce-security-for-testing --no-sandbox --headless --disable-gpu --hide-scrollbars -screenshot="y1.png" --window-size=1200,2400 "https://yandex.ru/search/?text=test"

И соответственно через bash скрипт я уже использую эту команду для вычисления скорости ответ и полной загрузки страницы, затем уже через телеграм бота делаю аларм если что-то не так.

Одно я не смог победить. Не знаю, какой по умолчанию у гугл хрома срок ожидания ответа страницы для генерации скрина. В дополнительных ключах для его запуска этого тоже не нашел (чтобы поставить например ждать ответа не более 30 секунд).

PS: Кто надумает использовать это решение для того-же самого, не забудьте положить товар в корзину интернет магазина, и лишь затем уже дергать страницу оформления заказа.

Всем привет. Ранее я просил у вас о помощи.

Помогите выйти в интернет!

Прочитав ваши комментарии, предложения и замечания, я потихоньку начал продвигаться в этом вопросе. В итоге мне пришлось отказаться от решения пробрасывать тунель между сервером и VPS в пользу статичного IP. Наш местный провайдер предлагает статичный IP всего за 150 рублей в месяц. В октябре данная услуга уже будет активна.

Многие рекомендовали заменить raspberry pi на ноутбук, что я и сделал. На авито был куплен ноутбук Samsung np300 на процессоре i5-2430 с оперативной памятью 4 ГБ и жестким диском на 640 ГБ. Также есть возможность докинуть еще одну плашку памяти на 4 ГБ и вместо CD привода установить SSD. Это чудо техники мне вышло в 7 000 рублей из минусов, это дохлый АКБ.

Долго выбирал какую оперцаионную систему(ОС) поставить. Так как в основном работал с Debian, думал установить ее, но во многих статьях говорилось, что для серверных решений лучше ставить CentOS, а в некоторых источниках указывалось, что Ubuntu наше все. В итоге решил попробовать CentOS 8. Очень понравилась установка ОС, так как установщик предлагает большой выбор первичных настроек.

Первая преграда. Установив ОС и предварительно настроив wi-fi в установщике, я был неприятно удивлен, что интернет не работает. Вот так начался мой долгий путь по Google с запросом "Настройка wi-fi linux через терминал". Прочитав много ссылок, так и не разобрался, как это сделать. Мне пришлось подключаться черезе Ethernet. Я думал, что решил проблему и со спокойной душой запустил команду ping и не увидел ответа. Оказалось, что в конфигурациях (/etc/sysconfig/network-scripts) соединения нужно выставить флаг ONBOOT="yes". И - о чудо! Теперь на ping приходят ответы, но мой мазолистый мозг хотел wi-fi и зрелищ. Есть пакет NetworkManager, который безболезнено позволяет настроить беспроводное соединение. Запустив nmtui, я так и не нашел списка wi-fi соединенй. Оказывается также нужно установить NetworkManager-wifi.

В появившемся списке выбрал домашнюю сеть, ввел пароль и все заработало. Недалеко отложил патч-корд и начал устанавливать нужные пакеты для web-разработки. Устанавливал все по инструкции с данного источника https://www.dmosk.ru/instruktions.php?object=mega-webserver-.... После всех манипуляци было радостно видеть приветственные странички apache, nginx и конечно текст "HelloWorld!".

На некоторое время я отложил настройку сервера в дальний ящик. Когда я снова набрался сил и времени, задался вопросом "А можно ли управлять этим всем через браузер?". Да! Добрые программисты позаботились об этом и для таких, как я придумали "Панель управления веб-хостингом". Выбор пал на CentOS Web Panel. Установив ее, я увидел вместо страницы авторизации только приветственную страницу и дальше нее не смог пробиться.

Так как нахожусь в процессе обучения, было принято радикальное решение все снести и установить по новой. Но тут меня подвела память. Я не смог вспомнить, как ранее подключался к wi-fi. Через час мучений у меня получилось подключится, и на этот раз уже записал алгоритм подключения. Так как CentOS Web Panel автоматически устанавливает все нужные пакеты, я начал установку с нее. В этот раз меня уже приветствовало окно авторизации и после входа ждала приятная картинка со всей информацией о сервере.

Читая гайды по дальнейшй настройке панели, мне пришлось добавить пользователя. После этого можно было добавлять сайт через другую панель управления, которая появляется у пользователя. В этот раз.  перейдя по ссылке, которую сгенерировала панель, меня ожидал провал. У меня выходила ошибка.

И снова я откладываю этот проект в дальный темный угол.

Серия постов предназначена для отслеживания своего прогресса, самоорганизации в обучении, улучшения навыка изложения мысли и для таких же, новичков как я, которые захотели примерить на себя роль сисадмина.

Также хотелось прочитать ваши комментарии и замечания по верному пути ли я иду.

Хотелось бы узнать ваши ответы на эти открытые для меня вопросы:

Какую литературу можно почитать?

Где вы учились всему этому волшебству?

Есть ли необходимость сменить панель на другую?

Недавно столкнулся с установкой Centos 7 в необычных условиях.

Во-первых, дома. То есть имел дело с локальными компьютером, а не с сервером с IPMI.

Во-вторых, за неимением дискового привода обычно использую загрузочную флешку, которая в данном случае оказалась бесполезной, так как новый компьютер загружается только с флешек с инсталятором Windows. Проблема не новая, судя по отзывам о материнской плате.

В моем распоряжении осталась сеть. Приведу пример установки Centos 7 по PXE и iPXE

Итак, начнем.

Как установить Linux через ipxe?

Как установить Linux через pxe?

Установка через PXE

Соединим ethernet кабелем компьютер1 — на котором будут DHCP, TFTP и компьютер2 — на который должна быть установлена ОС.

Добавим статичные настройки сетевого адаптера на компьютер1. Мой адрес 192.168.1.50.

Скачаем и установим TFTP. В этой программе настроим DHCP и TFTP сервер с которого отдадим IP адрес и установочные файлы компьютеру2.

Отключим брандмауэр и запустим tftpd с правами администратора. Выставим аналогичные установки, как на картинках. Возможно потребуется перезапуск tftpd.

На компьютере2 в boot меню выберем сетевой адаптер. В окне tftpd на компьютере1 будет отображаться шкала прогресса.

После этого, на компьютере2 загрузится окно инсталлятора ОС.

Установка Linux через iPXE

Скачаем образ ipxe.iso. Rufus-ом создадим загрузочную флешку на основе этого образа.

Выложим скрипт install.ipxe на любой веб сервер. О том, как поднять веб сервер на локальном компьютере можно узнать тут. Адрес моего скрипта будет таким sitename.ru/install.ipxe

Содержимое скрипта install.ipxe для установки Centos 7

#!ipxe
set base http://mirror.centos.org/centos/7/os/x86_64
prompt -k 0x197e -t 2000 Press F12 to install CentOS... || exit
kernel ${base}/images/pxeboot/vmlinuz initrd=initrd.img repo=${base}
initrd ${base}/images/pxeboot/initrd.img
boot

По аналогии с этим скриптом для установки Centos 7, можете подготовить свой скрипт для установки другой ОС.

Соединим компьютер, на который необходимо установить Linux, и роутер ethernet кабелем. Вставим флешку и загрузимся с нее. После нажатия F12 появится ipxe консоль. Используем следующие команды для получения IP адреса и скачивания скрипта

iPXE> dhcp
DHCP (net0 52:54:00:12:34:56).... ok
iPXE> chain http://sitename.ru/install.ipxe

После этого загрузится окно инсталлятора ОС.

admintop.ru

instagram.com/admintop.ru

vk.com/4dmintop

Для попадания в список ТОП 50, 100, 500 HPC (High Performance Computing) комплексов подходят результаты тестирования, полученные с помощью бенчмарка HPL (High Performance Linpack).

Бенчмарк Linpack (Linear Algebra PACKage) реализует алгоритм решения СЛАУ методом LU разложения. Этот пакет общедоступен, прост в установке и запуске. Хорошо подходит для демонстрации производительности CPU.

Все, кто знаком с архитектурой графических ускорителей могут предположить, что еще лучше этот пакет подойдет для тестирования вычислительных устройств с архитектурой GPU. Однако, в сети доступна для скачивания версия 2011 года, с CUDA под архитектуру Fermi.

В данном руководстве я приведу пример сборки и запуска HPL для GPU.

Как управлять доступом к ПО?

Как установить CUDA?

Как установить OpenMPI?

Как установить OpenBLAS?

Как установить HPL для GPU?

Установка пакета MODULES

Для управления переменными окружения установим пакет MODULES и подготовим тестовый модуль файл.

$ yum install environment-modules
$ mcedit /etc/modulefailes/test/v1.0
#%Module1.0
proc ModulesHelp { } {
global version
puts stderr "Modulefile for test v1.0"
}
set version v1.0
module-whatis "Modulefile for test v1.0"
# Our environment
setenv MAINDIR /nfs/software/test/v1.0
prepend-path PATH $env(MAINDIR)/bin
prepend-path C_INCLUDE_PATH $env(MAINDIR)/include
prepend-path CPLUS_INCLUDE_PATH $env(MAINDIR)/include
prepend-path LIBRARY_PATH $env(MAINDIR)/lib64
prepend-path LD_LIBRARY_PATH $env(MAINDIR)/lib64

Проверка модуль файлов

Вероятность допустить ошибку при подготовке модуля довольно велика. Поэтому я провожу проверку всех путей, указанных в модуль-файле. Чтобы не проверять каждый путь вручную я подготовил скрипт. Если 0, то путь корректный.

$ cat check-modulefiles
#!/bin/sh
ModulePath=$1
MainDir=$(cat $ModulePath | grep "setenv MAINDIR" | cut -f7 -d " ")
ListOfPaths=$(cat $ModulePath | grep path | cut -f7 -d " ")
#Replace MainDir setenv in modulefile
ListOfPaths=$(echo $ListOfPaths | sed "s@\$env(MAINDIR)@$MainDir@g")
for u in $ListOfPaths; do
ls -la $u 1> /dev/null 2> /dev/null;
printf "%60s %4d\n" $u $?;
done
$ chmod +x check-modulefiles
$ ./check-modulefiles /etc/modulefiles/test/v1.0
/nfs/software/test/v1.0/bin 0
/nfs/software/test/v1.0/include 0
/nfs/software/test/v1.0/include 0
/nfs/software/test/v1.0/lib64 0
/nfs/software/test/v1.0/lib64 0

Команды управление модулями

$ module avail
$ module add cuda/v10.1
$ nvcc –version
Cuda compilation tools, release 10.1, V10.1.168
$ module switch cuda/v10.1 cuda/v9.2
$ nvcc –version
Cuda compilation tools, release 9.2, V9.2.88
$ module list
$ module rm cuda/v9.2

1. Посмотрим список доступных для подключения модулей

2. Подключим модуль

3-4. Проверим версию

5. Поменяем модуль

6-7. Проверим версию

8. Посмотрим список подключенных модулей

9. Удалим модуль из списка подключенных

Установка CUDA

Скачать CUDA 9.2 для Centos 7 можно тут.

$ chmod +x cuda_9.2.run
$ ./cuda_9.2.run
Do you accept the previously read EULA? accept
Install the CUDA 9.2 Toolkit? yes
Enter Toolkit Location: /nfs/software/cuda/v9.2
Do you want to install a symbolic link at /usr/local/cuda? no
Install the CUDA 9.2 Samples? no
$ cat /etc/modulefiles/cuda/v9.2
#%Module1.0
proc ModulesHelp { } {
global version
puts stderr "Modulefile for cuda v9.2"
}
set version v9.2
module-whatis "Modulefile for cuda v9.2"
# Our environment
setenv MAINDIR /nfs/software/cuda/v9.2
prepend-path PATH $env(MAINDIR)/bin
prepend-path C_INCLUDE_PATH $env(MAINDIR)/include
prepend-path CPLUS_INCLUDE_PATH $env(MAINDIR)/include
prepend-path LIBRARY_PATH $env(MAINDIR)/lib64/stubs
prepend-path LIBRARY_PATH $env(MAINDIR)/lib64
prepend-path LD_LIBRARY_PATH $env(MAINDIR)/lib64/stubs
prepend-path LD_LIBRARY_PATH $env(MAINDIR)/lib64
$ module add cuda/v9.2
$ nvcc --version
Cuda compilation tools, release 9.2, V9.2.148

Установка OpenBLAS

$ wget https://github.com/xianyi/OpenBLAS/archive/v0.3.6.tar.gz
$ tar -xzvf v0.3.6.tar.gz
$ cd OpenBLAS-0.3.6
$ mkdir -p /nfs/software/openblas/v0.3.6
$ make -j4
$ make PREFIX=/nfs/software/openblas/v0.3.6/ install
$ ls -la /nfs/software/openblas/v0.3.6/lib/
$ cat /etc/modulefiles/openblas/v0.3.6
#%Module1.0
proc ModulesHelp { } {
global version
puts stderr "Modulefile for openblas v0.3.6"
}
set version v0.3.6
module-whatis "Modulefile for openblas v0.3.6"
# Our environment
setenv MAINDIR /nfs/software/openblas/v0.3.6
prepend-path PATH $env(MAINDIR)/bin
prepend-path C_INCLUDE_PATH $env(MAINDIR)/include
prepend-path CPLUS_INCLUDE_PATH $env(MAINDIR)/include
prepend-path LIBRARY_PATH $env(MAINDIR)/lib
prepend-path LD_LIBRARY_PATH $env(MAINDIR)/lib
$ ls -la /nfs/software/openblas/v0.3.6/lib

Установка OpenMPI

$ wget https://download.open-mpi.org/release/open-mpi/v2.1/openmpi-...
$ tar -xzvf openmpi-2.1.6.tar.gz
$ cd openmpi-2.1.6
$ mkdir -p /nfs/software/openmpi/v2.1.6
$ module add cuda/v9.2
$ ./configure --prefix=/nfs/software/openmpi/v2.1.6/ --with-cuda --enable-static
$ make
$ make install
$ cat /etc/modulefiles/openmpi/v2.1.6
#%Module1.0
proc ModulesHelp { } {
global version
puts stderr "Modulefile for openmpi v2.1.6"
}
set version v2.1.6
module-whatis "Modulefile for openmpi v2.1.6"
# Our environment
setenv MAINDIR /nfs/software/openmpi/v2.1.6
prepend-path PATH $env(MAINDIR)/bin
prepend-path C_INCLUDE_PATH $env(MAINDIR)/include
prepend-path CPLUS_INCLUDE_PATH $env(MAINDIR)/include
prepend-path LIBRARY_PATH $env(MAINDIR)/lib
prepend-path LD_LIBRARY_PATH $env(MAINDIR)/lib
$ module add openmpi/v2.1.6
$ mpirun --version
mpirun (Open MPI) 2.1.6

Установка HPL для GPU

Настроим переменные окружения подключив модули и скачаем HPL 2.0.

$ module add openmpi/v2.1.6
$ module add cuda/v9.2
$ module add openblas/v0.3.6
$ wget https://developer.download.nvidia.com/assets/cuda/secure/Acc...
$ tar -xvf hpl-2.0_FERMI_v15.tgz
$ mv hpl-2.0_FERMI_v15.tgz hpl-2.0
$ cd hpl-2.0

Перед сборкой следует отредактировать несколько файлов. Первым будет Make.CUDA в директории hpl-2.0. Скопируем следующий код в Make.CUDA:

$ cat Make.CUDA
SHELL = /bin/sh
CD = cd
CP = cp
LN_S = ln -fs
MKDIR = mkdir -p
RM = /bin/rm -f
TOUCH = touch
ARCH = CUDA
TOPdir = /home/user/hpl-2.0
INCdir = $(TOPdir)/include
BINdir = $(TOPdir)/bin/$(ARCH)
LIBdir = $(TOPdir)/lib/$(ARCH)
HPLlib = $(LIBdir)/libhpl.a
MPdir = /nfs/software/openmpi/v2.1.6
MPinc = -I$(MPdir)/include
MPlib = -L$(MPdir)/lib -lmpi
LAdir = /nfs/software/openblas/v0.3.6
LAinc = -I$(LAdir)/include
LAlib = -L$(TOPdir)/src/cuda -ldgemm -L/nfs/software/cuda/v9.2/lib64 -lcuda -lcudart -lcublas -L$(LAdir)/lib -lopenblas
F2CDEFS = -DAdd__ -DF77_INTEGER=int -DStringSunStyle
HPL_INCLUDES = -I$(INCdir) -I$(INCdir)/$(ARCH) $(LAinc) $(MPinc)
HPL_LIBS = $(HPLlib) $(LAlib) $(MPlib)
HPL_OPTS = -DCUDA
HPL_DEFS = $(F2CDEFS) $(HPL_OPTS) $(HPL_INCLUDES)
CC = mpicc
CCFLAGS = -fopenmp -lpthread -fomit-frame-pointer -O3 -funroll-loops $(HPL_DEFS)
CCNOOPT = $(HPL_DEFS) -O0 -w
LINKER = $(CC)
LINKFLAGS = $(CCFLAGS)
ARCHIVER = ar
ARFLAGS = r
RANLIB = echo
MAKE = make TOPdir=$(TOPdir)

11. Путь до директории hpl-2.0

17. Путь до OpenMPI

21. Путь до OpenBLAS

23. Путь до CUDA lib64

Заменим в файле hpl-2.0/src/cuda/cuda_dgemm.c следующие строки:

$ mcedit src/cuda/cuda_dgemm.c
…
// handle2 = dlopen ("libmkl_intel_lp64.so", RTLD_LAZY);
handle2 = dlopen ("libopenblas.so", RTLD_LAZY);
…
// dgemm_mkl = (void(*)())dlsym(handle, "dgemm");
dgemm_mkl = (void(*)())dlsym(handle, "dgemm_");
…
// handle = dlopen ("libmkl_intel_lp64.so", RTLD_LAZY);
handle = dlopen ("libopenblas.so", RTLD_LAZY);
…
// mkl_dtrsm = (void(*)())dlsym(handle2, "dtrsm");
mkl_dtrsm = (void(*)())dlsym(handle2, "dtrsm_");

Соберем и запустим HPL на 4x GPU:

$ make arch=CUDA
$ cd bin/CUDA
$ export LD_LIBRARY_PATH=/home/user/hpl-2.0/src/cuda/:$LD_LIBRARY_PATH
$ mpirun -np 4 ./xhpl
================================================================================
HPLinpack 2.0 -- High-Performance Linpack benchmark -- September 10, 2008
Written by A. Petitet and R. Clint Whaley, Innovative Computing Laboratory, UTK
Modified by Piotr Luszczek, Innovative Computing Laboratory, UTK
Modified by Julien Langou, University of Colorado Denver
================================================================================
An explanation of the input/output parameters follows:
T/V : Wall time / encoded variant.
N : The order of the coefficient matrix A.
NB : The partitioning blocking factor.
P : The number of process rows.
Q : The number of process columns.
Time : Time in seconds to solve the linear system.
Gflops : Rate of execution for solving the linear system.
The following parameter values will be used:
N : 25000
NB : 768
PMAP : Row-major process mapping
P : 2
Q : 2
PFACT : Left
NBMIN : 2
NDIV : 2
RFACT : Left
BCAST : 1ring
DEPTH : 1
SWAP : Spread-roll (long)
L1 : no-transposed form
U : no-transposed form
EQUIL : yes
ALIGN : 8 double precision words
--------------------------------------------------------------------------------
- The matrix A is randomly generated for each test.
- The following scaled residual check will be computed:
||Ax-b||_oo / ( eps * ( || x ||_oo * || A ||_oo + || b ||_oo ) * N )
- The relative machine precision (eps) is taken to be 1.110223e-16
- Computational tests pass if scaled residuals are less than 16.0
================================================================================
T/V N NB P Q Time Gflops
--------------------------------------------------------------------------------
WR10L2L2 25000 768 2 2 16.72 6.232e+02
--------------------------------------------------------------------------------
||Ax-b||_oo/(eps*(||A||_oo*||x||_oo+||b||_oo)*N)= 0.0019019 ...... PASSED
================================================================================
Finished 1 tests with the following results:
1 tests completed and passed residual checks,
0 tests completed and failed residual checks,
0 tests skipped because of illegal input values.
--------------------------------------------------------------------------------
End of Tests.
================================================================================