Teknologisk videncenter - User contributions [en]

Cluster der kan alt

2012-04-26T08:17:30Z

Madsen353:

{{TOCright}}
=Introduktion=
At udvikle et [[Ubuntu]] cluster installationsmetode og implementere den fysisk senest den 26. april 2012 således programmelet udviklet kan afvikles.

=metode=
Installationsmetoden udvikles på [[ESXi]] og implementeres på de fysiske servere.

=Mål=
*En master
*minimum to noder
*automatiseret installation af noder. (Så godt som muligt)
*automatiseret oprettelse af brugere [[LDAP]] eller [[NIS Ubuntu|NIS]]
*[[MPI]]
==Udvikling fase 1==
#Installer [[ESXi]]
#[[/Ubuntu Master|Installer Ubuntu Master]]
#[[/DHCP server|Installer og konfigurer DHCP server]]
#[[/DNS Server|Installer og konfigurer DNS server]]
#[[/Routning og NAT|Routening og NAT gennem Master]]
#[[/LDAP eller NIS| LDAP eller NIS til user login på noder]]
#[[/PXE installation af noder|PXE installation af noder]]
#[[/NFS Server | NFS Server til netværk shares ]]
#[[/apt-cacher installation|apt-cacher installation]]
#[[/Auto SSH | Auto SSH login på noder uden at skrive pass]]
#[[/Kickstart fil til installation af noder|Kickstart fil til installation af noder]]
#[[/Overvågning med MRTG|Overvågning med MRTG]]
#[[/dsh|Distributed Shell dsh]]
#[[/mpi|Installation af openMPI og MPICH]]
#[[InfiniBand]]
=== Test af head installation på fysisk maskine===
#[[/Installation af head node|Installation af head node]]
#[[/Installation af CUDA|Installation af CUDA]]

==Udvikling fase 2==
#Tilpasning af SW og konfigurationsfiler til noder
==Udvikling fase 3==
#Installation af [[SAN]]
==Udvikling fase 4==
#Installation af fysiske maskiner
=Netværk=
*Qlogic switch
**Telnet eller http: til 172.16.4.11 (username '''admin''' password '''adminpass''')
*3550 Gb switch
**Telnet til 172.16.4.88 password '''cisco'''
=Hastighed=
Infinibands hastighed er 4.38 Gbits/sec

=Links=
*[[Weekend Projekt - Test Cluster]]
*[[NIS Ubuntu]]
[[Category:Cluster]]

Cluster der kan alt/mpi

2012-04-25T13:20:30Z

Madsen353:

brug komandoen apt-get install libopenmpi-dev openmpi-bin openmpi-doc som SUDO

For at installere på alle noder skal der bruges komandoen: dsh -f /etc/dsh/machines.list "sudo apt-get -y install libopenmpi-dev openmpi-bin openmpi-doc"

Cluster der kan alt/mpi

2012-04-25T11:54:30Z

Madsen353: Created page with "brug komandoen apt-get install libopenmpi-dev openmpi-bin openmpi-doc som SUDO"

brug komandoen apt-get install libopenmpi-dev openmpi-bin openmpi-doc som SUDO

Cluster der kan alt/Installation af CUDA

2012-04-24T11:58:36Z

Madsen353: /* Installation af cuda */

=Installation af cuda=
Først skal cuda hentes fra nvidias hjemmeside på en windows pc.
Der skal hentes 3 installations filer
Toolkit, Drivers, og SDK
Og det skal hentes fra http://developer.nvidia.com/cuda-downloads

Det skal derefter ligges over på linux maskinen via programmet pscp som kan hentes på puttys hjemmeside
- Man kører filerne over via CMD

Når filerne er på maskinen kører man en chmod +x og skriver filnavnet efter "x"et.

for at kører filerne derefter trykker man ./ og filens navn
Rækkefølgen skal være
Toolkit - Drivers - SDK

du skal bruge cuda libraries i din library path så opret /etc/ld.so.conf.d/cuda.conf aog add disse linjer:
/usr/local/cuda/lib64
/usr/local/cuda/lib

kør ldconfig som root for at få det til at virke:
sudo ldconfig

du skal også adde /usr/local/cuda/bin til din sti. du kan gøre det ved at adde
PATH="$PATH:/usr/local/cuda/bin"

Alt er gemt i standard foldersne

=Links=
*[http://forums.nvidia.com/index.php?showtopic=198030 After]

Cluster der kan alt/Installation af CUDA

2012-04-24T11:56:02Z

Madsen353: /* Installation af cuda */

=Installation af cuda=
Først skal cuda hentes fra nvidias hjemmeside på en windows pc.
Der skal hentes 3 installations filer
Toolkit, Drivers, og SDK
Og det skal hentes fra http://developer.nvidia.com/cuda-downloads

Det skal derefter ligges over på linux maskinen via programmet pscp som kan hentes på puttys hjemmeside
- Man kører filerne over via CMD

Når filerne er på maskinen kører man en chmod +x og skriver filnavnet efter "x"et.

for at kører filerne derefter trykker man ./ og filens navn
Rækkefølgen skal være
Toolkit - Drivers - SDK

You will need to have the cuda libraries in your library path so create /etc/ld.so.conf.d/cuda.conf and ad the following lines:
/usr/local/cuda/lib64
/usr/local/cuda/lib

run ldconfig as root for it to take effect:
sudo ldconfig

you also want to add /usr/local/cuda/bin to your PATH you can do it by adding
PATH="$PATH:/usr/local/cuda/bin"

Alt er gemt i standard foldersne

=Links=
*[http://forums.nvidia.com/index.php?showtopic=198030 After]

Cluster der kan alt/Installation af CUDA

2012-04-24T11:52:06Z

Madsen353:

Cluster der kan alt/apt-cacher installation

2012-04-23T11:24:33Z

Madsen353:

===Apt-cacher===
Indtast apt-getinstall apt-cacher.

Ændre i /etc/apt-cacher/apt-cacher.conf
<pre>
path_map = ubuntu de.archive.ubuntu.com/ubuntu; ubuntu-updates de.archive.ubuntu.com/ubuntu ; ubuntu-security security.ubuntu.com/ubuntu
allowed_hosts=*
</pre>
Ændre i /etc/default/apt-cacher også:
<pre>
AUTOSTART=1
</pre>
Og genstart apt-cacher:
<pre>
/etc/init.d/apt-cacher restart
</pre>

Cluster der kan alt/apt-cacher installation

2012-04-23T11:20:49Z

Madsen353:

===Apt-cacher===
Ændre i /etc/apt-cacher/apt-cacher.conf
<pre>
path_map = ubuntu de.archive.ubuntu.com/ubuntu; ubuntu-updates de.archive.ubuntu.com/ubuntu ; ubuntu-security security.ubuntu.com/ubuntu
allowed_hosts=*
</pre>
Ændre i /etc/default/apt-cacher også:
<pre>
AUTOSTART=1
</pre>
Og genstart apt-cacher:
<pre>
/etc/init.d/apt-cacher restart
</pre>
Vær opmærksom på at installations serveren hedder 10.1.2.100:3142/ubuntu/ nu

Cluster der kan alt/LDAP eller NIS

2012-04-19T11:02:46Z

Madsen353:

=Installation af master server=

Tilføj følgende linje til '''/etc/hosts.allow'''.
<source lang=cli>
portmap ypserv ypbind: 10.0.0.0/255.255.255.0
</source>
Installer NIS. Du vil blive bedt om at indtaste domænenavnet. Domænenavnet er ikke DNS-domænenavn - men et unikt navn for klyngen af maskiner deler de samme oplysninger.
<source lang=cli>
apt-get install portmap nis
</source>
*Ret '''/etc/default/nis''' og set NISSERVER linjen to NISSERVER = master
*Ret '''/etc/yp.conf''' og tilføj en linje med:
<source lang=cli>
domain dka.local server 127.0.0.1
</source>
*Ret '''/etc/ypserv.securenets''' fjern '''0.0.0.0''' linjen - insecure - og at dit eget net.

Cluster der kan alt/LDAP eller NIS

2012-04-19T10:59:29Z

Madsen353:

=Installation of the master server=
Add the following line to '''/etc/hosts.allow'''.
<source lang=cli>
portmap ypserv ypbind: 10.0.0.0/255.255.255.0
</source>
Install NIS. You will be asked to enter the domain name. The domain name is not the DNS domain name - but a unique name for the the cluster of machines sharing the same information. (I use the DNS domain name - one less thing to remember)
<source lang=cli>
apt-get install portmap nis
</source>
*Edit '''/etc/default/nis''' and set the NISSERVER line to NISSERVER = master
*Edit '''/etc/yp.conf''' and add a server line of the form:
<source lang=cli>
domain dka.local server 127.0.0.1
</source>
*Edit '''/etc/ypserv.securenets''' remove the '''0.0.0.0''' line - insecure - and add your net/nets

Cluster der kan alt/LDAP eller NIS

2012-04-19T10:59:07Z

Madsen353:

Cluster der kan alt/LDAP eller NIS

2012-04-19T10:57:48Z

Madsen353:

Cluster der kan alt/LDAP eller NIS

2012-04-19T10:57:32Z

Madsen353:

NIS or Network Information Services is a simple - and insecure - way of making [[SSO|Single Sign On]] in a cluster of UNIX/Linux machines. Very useful in a closed network.

Originally NIS was called YP - Yellow Pages - and the acronyms YP and NIS are used.

There are up to three roles in a NIS installation
;Master server:The master server - shares files to slaves and clients. For example the passwd and group file
;Slave server(s):Maintain copies of the Master Server shared files. Provides redundancy and load balancing
;Clients:Use the shared files - for example for single sign on. Users added on the master server
=Installation of the master server=
Add the following line to '''/etc/hosts.allow'''. (In this case master,slaves and clients lives in the 10.222.0.0/24 network)
<source lang=cli>
portmap ypserv ypbind: 10.222.0.0/255.255.255.0
</source>
Install NIS. You will be asked to enter the domain name. The domain name is not the DNS domain name - but a unique name for the the cluster of machines sharing the same information. (I use the DNS domain name - one less thing to remember)
<source lang=cli>
apt-get install portmap nis
</source>
*Edit '''/etc/default/nis''' and set the NISSERVER line to NISSERVER = master
*Edit '''/etc/yp.conf''' and add a server line of the form: (Note my domain-name is '''c1.local''')
<source lang=cli>
domain c1.local server 127.0.0.1
</source>
*Edit '''/etc/ypserv.securenets''' remove the '''0.0.0.0''' line - insecure - and add your net/nets
==Adding a user==
When adding a user with '''adduser''' it's necessary to rebuild the NIS maps
<source lang=cli>
root@head:~# <input>make -C /var/yp</input>
make: Går til katalog '/var/yp'
make[1]: Går til katalog '/var/yp/c1.local'
Updating passwd.byname...
Updating passwd.byuid...
Updating netid.byname...
Updating shadow.byname...
make[1]: Forlader katalog '/var/yp/c1.local'
make: Forlader katalog '/var/yp'
</source>
===Script adding user in a Cluster===
The following simple script:
*Add a user on the NIS server.
*Add a ssh key to the users '''/home''' library.
**In this cluster '''/home''' is distributed with [[NFS]] to all nodes. Logon to nodes without entering password
*Rebuilding the NIS database with the new user
<source lang=cli>
#!/bin/bash
echo -e "Adding user to cluster"
echo -e "======================\n"
echo -en "User login name: "
read NAME
adduser $NAME

echo -e "Creating keys"
su $NAME -c "ssh-keygen -t dsa"
echo -e "Distributing keys"
su $NAME -c "cat /home/$NAME/.ssh/id_dsa.pub >> /home/$NAME/.ssh/authorized_keys"
echo -e "Rebuild NIS database"
make -C /var/yp
</source>

Cluster der kan alt/LDAP eller NIS

2012-04-19T10:57:01Z

Madsen353:

Cluster der kan alt/DHCP server

2012-04-18T11:11:27Z

Madsen353: /* Konfigurer dhcpd.conf */

== Installation af DHCP-server ==

Følgende skal skrives for at installer DHCP-server på LINUX

<source lang=bash>
sudo apt-get install dhcp3-server
</source>

=== Konfigurer dhcpd.conf ===
Nedenstående linjer skal tilføjes til dhcpd.conf

{|-
| valign="top" |
<source lang=bash>
# <-- 'Author' 'date' .

option domain-name-server "10.0.0.1";
default-lease-time 600;
max-lease-time 7200;

subnet "10.0.0.0" netmask "255.255.255.0"; {
option subnet-mask "255.255.255.0";
option broadcast-address "10.0.0.255":
option routers "10.0.0.1";
range "10.0.0.10 - 10.0.0.254";
}

</source>
|
|

|}

Cluster der kan alt/DHCP server

2012-04-18T11:10:53Z

Madsen353: /* Konfigurer dhcpd.conf */

Cluster der kan alt/DHCP server

2012-04-18T11:09:30Z

Madsen353: /* Installation af DHCP-server */

== Installation af DHCP-server ==

Følgende skal skrives for at installer DHCP-server på LINUX

<source lang=bash>
sudo apt-get install dhcp3-server
</source>

=== Konfigurer dhcpd.conf ===
Nedenstående linjer skal tilføjes til dhcpd.conf

{|-
| valign="top" |
<source lang=bash>
# <-- 'Author' 'date' .

option domain-name-server "dns ip-address";
default-lease-time 600;
max-lease-time 7200;

subnet "network-address" netmask "netmask-address"; {
option subnet-mask "netmask-address";
option broadcast-address "broadcast-address":
option routers "Default gateway address";
range "IP- to IP-address";
}

</source>
|
|
[[image:dhcp_conf.png]]
|}

Cluster der kan alt/DHCP server

2012-04-18T09:24:25Z

Madsen353: Created page with "== Installation af DHCP-server == Følgende skal skrives for at installer DHCP-server på LINUX <source lang=bash> sudo apt-get install dhcp3-server </source>"

== Installation af DHCP-server ==

Følgende skal skrives for at installer DHCP-server på LINUX

<source lang=bash>
sudo apt-get install dhcp3-server
</source>