Tööstuslikud infovõrgud ja IT turvalisus

SUURTE KOHTVÕRKUDEGA SEOTUD PROBLEEMID

Mis on Suur Kohtvõrk?

Suur kohtvõrk (LAN – Local Area Network) viitab võrgule, mis ühendab suurt arvu seadmeid piiratud geograafilises piirkonnas, näiteks ettevõtte hoones, tehases või ülikoolilinnakus. Suure kohtvõrgu määratlemisel võetakse arvesse järgmisi tegureid:

1. Seadmete arv: Suure kohtvõrgu alla kuuluvad tavaliselt sajad või tuhanded seadmed, sealhulgas arvutid, printerid, serverid, turvakaamerad, nutiseadmed ja tootmisseadmed.
2. Kasutajate arv: Suure võrguga on ühendatud suur hulk kasutajaid, mis võib ulatuda sadadest tuhandeteni.
3. Võrgusegmendid ja subnetid: Suur kohtvõrk on sageli jagatud mitmeks segmendiks ja alavõrguks (subnet), et hallata liiklust ja parandada jõudlust.
4. Geograafiline ulatus: Suured kohtvõrgud võivad hõlmata mitut hoonet või osakonda ühe suure territooriumi piires.

1. Segmendihaldus

Suured kohtvõrgud (LAN-id) võivad olla keerulised ja nende haldamine nõuab hoolikat planeerimist ja haldusmeetodeid. Segmendihaldus on eriti oluline VLAN-ide puhul, kus võrgu segmenteerimine aitab suurendada turvalisust ja jõudlust. Allpool on üksikasjalik ülevaade segmendihaldusest, sealhulgas VLAN-ide haldamise keerukusest ja parimatest praktikatest.

VLAN-ide Haldamine

Keerukus

VLAN-ide haldamine suures võrgus võib olla keeruline, kuna see nõuab täpset konfiguratsiooni, pidevat järelevalvet ja kiiret reageerimist muutustele. Suure võrguga kaasnevad mitmed väljakutsed, sealhulgas konfiguratsiooni keerukus, vigade oht ja halduskulud.

• Konfiguratsiooni keerukus: Suurtes võrkudes on palju VLAN-e, seadmeid ja ühendusi, mis muudavad konfiguratsiooni keerukaks ja ajamahukaks.
  • Näide: Ettevõttes, kus on sadu lüliteid ja tuhandeid porte, võib VLAN-ide konfiguratsioon ja haldamine nõuda palju aega ja ressursse.
• Vigade oht: VLAN-ide vale konfiguratsioon võib põhjustada turvariske, jõudlusprobleeme ja võrguliikluse häireid.
  • Näide: Vale VID-i määramine või unustatud konfiguratsioon võib põhjustada andmelekkeid või võrguliikluse suunamise probleeme.
• Halduskulud: VLAN-ide haldamine nõuab pidevat järelevalvet ja auditit, mis võib suurendada halduskulusid.
  • Näide: Regulaarne konfiguratsiooni kontrollimine ja uuendamine nõuab kvalifitseeritud personali ja ajakulu.

Parimad Praktikad

Parimad Praktikad VLAN-ide haldamiseks hõlmavad täpset dokumentatsiooni ja regulaarseid auditeid, mis aitavad tagada võrgu turvalisuse ja tõhususe.

• Täpne dokumentatsioon: Kõik VLAN-id, nende konfiguratsioonid ja ühendused tuleks dokumenteerida, et tagada lihtne jälgitavus ja hooldus.
  • Näide: Kõik VLAN-id koos vastavate VID-idega, seadmete nimekirjad ja konfiguratsiooni üksikasjad dokumenteeritakse keskse süsteemi või andmebaasi abil.
• Regulaarsed auditid: VLAN-ide konfiguratsiooni ja turvalisuse regulaarne audit aitab tuvastada ja parandada võimalikke probleeme ning tagada vastavus turvanõuetele.
  • Näide: Iga kvartali või poole aasta järel teostatakse võrguaudit, et kontrollida VLAN-ide konfiguratsiooni täpsust ja turvalisust.
• Automatiseerimine: VLAN-ide haldamise automatiseerimine võib vähendada vigade ohtu ja halduskulusid.
  • Näide: Kasutades võrgu haldustarkvara, mis toetab VLAN-ide automaatset konfigureerimist ja seiret.

Näide VLAN-ide Haldamisest Suures Võrgus

Ettevõtte Võrgustruktuur:

• VLAN 10 (Turundus): IP vahemik 192.168.10.0/24, VID 10
• VLAN 20 (IT): IP vahemik 192.168.20.0/24, VID 20
• VLAN 30 (Finants): IP vahemik 192.168.30.0/24, VID 30

Dokumentatsioon:

• VLAN konfiguratsioon: VLAN 10 on määratud portidele 1-10 kommutaatoril 1, VLAN 20 on määratud portidele 11-20 ja VLAN 30 on määratud portidele 21-30. Kõik need konfiguratsioonid on dokumenteeritud keskandmebaasis.
• Seadmed: Iga VLAN-i seadmed on loetletud koos vastavate IP-aadresside ja füüsiliste asukohtadega.

Auditiprotsess:

• Regulaarsed kontrollid: Iga kvartali järel teostatakse audit, et kontrollida VLAN-ide konfiguratsiooni ja turvalisust. Audit hõlmab konfiguratsioonifailide kontrollimist, seadmete ja ühenduste ülevaatamist ning turvavigade tuvastamist.
• Automatiseerimine: Kasutatakse võrgu haldustarkvara, mis toetab automaatset VLAN-ide konfigureerimist ja seiret. See vähendab manuaalse töö mahtu ja vigade ohtu.

Kokkuvõte

Segmendihaldus suurtes kohtvõrkudes on oluline VLAN-ide tõhusaks haldamiseks ja turvalisuse tagamiseks. VLAN-ide haldamine võib olla keeruline, kuid täpset dokumentatsiooni ja regulaarseid auditeid kasutades saab tagada võrgu tõrgeteta toimimise ja turvalisuse. Parimad praktikud hõlmavad täpset dokumentatsiooni, regulaarseid auditeid ja võimalusel haldusprotsesside automatiseerimist. Näited VLAN-ide haldamisest suures võrgus illustreerivad, kuidas täpne dokumentatsioon ja auditiprotsessid aitavad tuvastada ning parandada võimalikke probleeme, tagades võrgu turvalisuse.

2. Jõudlus

VLAN-id mängivad olulist rolli võrgu liikluse optimeerimisel ja ülekoormuse vähendamisel. Samas võivad VLAN-sisene marsruutimine ja suur võrgu segmentatsioon tekitada täiendavat koormust marsruuteritele ja kommutaatoritele. Allpool on üksikasjalik ülevaade jõudlusprobleemidest ja nende lahendamisest suurtes kohtvõrkudes.

Liikluse Optimeerimine

VLAN-id ja Jõudlus

VLAN-id aitavad optimeerida liiklust ja vähendada ülekoormust, luues loogilisi võrgusegmente, mis piiravad liikluse levikut ja vähendavad ülekoormust. VLAN-ide abil saab võrguadministraatorid paremini hallata liikluse suunamist ja tagada, et liiklus liigub ainult vajalike sihtkohtadeni.

• Piiratud liiklus: VLAN-id piiravad liikluse levikut, võimaldades liikluse liikuda ainult määratud VLAN-i sees, vähendades nii kogu võrgu ülekoormust.
  • Näide: Kui turundusosakonna seadmed suhtlevad omavahel VLAN 10 sees, ei mõjuta see liiklus IT- või finantsosakonna seadmeid, mis on määratud teistesse VLAN-idesse.
• Vähendatud ülekoormus: VLAN-id võimaldavad liikluse segmentatsiooni, mis vähendab kommutaatorite ja ruuterite ülekoormust.
  • Näide: Ettevõtte võrgus, kus on sadu seadmeid, võib VLAN-ide kasutamine vähendada kommutaatorite ja ruuterite koormust, sest liiklus suunatakse ainult vajalike segmentide vahel.

Marsruutimise Koormus

Koormus Marsruuteritele ja kommutaatoritele

VLAN-sisene marsruutimine võib tekitada täiendavat koormust marsruuteritele ja kommutaatoritele, eriti suurtes võrkudes, kus on palju VLAN-e ja seadmeid. Marsruuterid ja L3 kommutaatorid peavad suutma kiiresti ja tõhusalt suunata liiklust erinevate VLAN-ide vahel, säilitades samal ajal võrgu jõudluse ja usaldusväärsuse.

• Marsruutimise koormus: L3 marsruuterid ja kommutaatorid peavad töötlema suurtes võrkudes palju liiklust, mis võib tekitada täiendavat koormust ja vähendada jõudlust.
  • Näide: Ettevõtte võrgus, kus on kümneid VLAN-e ja tuhandeid seadmeid, peab L3 kommutaator või marsruuter suutma suunata liiklust kõigi nende VLAN-ide vahel kiiresti ja tõhusalt.
• Optimeerimismeetodid: VLAN-ide ja marsruutimise optimeerimiseks saab kasutada mitmeid meetodeid, sealhulgas liikluse prioriseerimist, koondamist ja jõudluse jälgimist.
  • Näide: Kasutades QoS (Quality of Service) poliitikaid, saab võrguadministraator määrata liikluse prioriteedid, tagades, et kriitiline liiklus saab vajalikud ressursid ja prioriteedi.

Näide VLAN-ide Jõudluse Optimeerimisest Suures Võrgus

Ettevõtte võrgustruktuur:

• VLAN 10 (Turundus): IP vahemik 192.168.10.0/24, VID 10
• VLAN 20 (IT): IP vahemik 192.168.20.0/24, VID 20
• VLAN 30 (Finants): IP vahemik 192.168.30.0/24, VID 30

Liikluse optimeerimine:

• Liikluse piiramine: Turundusosakonna seadmete liiklus on piiratud VLAN 10 sees, vähendades kommutaatorite ja ruuterite ülekoormust.
• Jõudluse parandamine: Liiklus IT-osakonna ja finantsosakonna vahel suunatakse vastavalt vajadusele läbi L3 lüliti või marsruuteri, mis tagab kiire ning tõhusa suunamise.

Marsruutimise koormuse halduse näide:

• QoS poliitikad: Kasutades QoS poliitikaid, määratakse kriitiline liiklus (nt finantsandmed) kõrgema prioriteediga, tagades, et see liiklus saab vajalikud ressursid ja prioriteedi.
• Koondamine: Kasutades kommutaatorite ja ruuterite koondamist (aggregation), saab vähendada üksikute seadmete koormust ning parandada üldist võrgu jõudlust.
• Jõudluse jälgimine: Regulaarne jõudluse jälgimine ja analüüs aitab tuvastada võimalikke kitsaskohti ning optimeerida võrguressursse.

Kokkuvõte

Liikluse optimeerimine ja marsruutimise koormuse haldamine on olulised aspektid suurte kohtvõrkude (LAN-ide) haldamisel. VLAN-id aitavad optimeerida liiklust ja vähendada ülekoormust, luues loogilisi võrgusegmente. Samas võib VLAN-sisene marsruutimine tekitada täiendavat koormust marsruuteritele ja kommutaatoritele. Parimad praktikad hõlmavad liikluse prioriseerimist, koondamist ja regulaarset jõudluse jälgimist. Näited VLAN-ide jõudluse optimeerimisest suures võrgus illustreerivad, kuidas liikluse piiramine ning QoS poliitikate kasutamine aitavad parandada võrgu jõudlust ja vähendada ülekoormust.

LACP ja miks see oluline on?

Lühike ülevaade LACP-st

• Mis on LACP?
• Link Aggregation Control Protocol on IEEE 802.3ad standard, mis võimaldab mitme füüsilise võrguühenduse koondamist üheks loogiliseks lingiks, mida nimetatakse LAG-iks (Link Aggregation Group).
• LACP-d kasutatakse nii töökindluse suurendamiseks (redundantsus) kui ka võrgu läbilaskevõime parandamiseks (load balancing).
• Miks see oluline on?
• Töökindlus: Kui üks ühendus lingis katkeb, suudab LACP automaatselt suunata liikluse allesjäänud linkidele.
• Läbilaskevõime: Mitme lingi koondamine üheks loogiliseks ühenduseks suurendab ribalaiust.
• Liikluse tasakaalustamine: LACP jagab andmepaketid automaatselt linkide vahel, vähendades ummikuid.

Kasutusjuhtumid

• UPLINKid: LACP-d kasutatakse tihti lülitite vahelise ühenduse tagamiseks ja koormuse jagamiseks.
• Serverid: Suure läbilaskevõimega ühenduste loomiseks andmebaaside ja failiserverite vahel.
• Tööstusvõrgud: Reaalajas andmevahetuse puhul, kus katkestused võivad põhjustada olulisi seisakuid.

LACP seadistamine switchidel

Käsuridade näited

Cisco seadmete puhul:

1. Loo füüsiliste portide rühm (LAG):

   interface range GigabitEthernet0/1 - 2
   channel-group 1 mode active

• Mode Active: Kasutab LACP-d aktiivselt, pakkudes linkide automaatset avastamist ja haldamist.

2. Konfigureeri loogiline port (Port Channel):

   interface Port-channel 1
   switchport mode trunk

• Loogiline port ühendab VLAN-id ja mitme lingi.

HP/Dell seadmete puhul:

3. Füüsiliste portide sidumine:

   interface 1/0/1
   lacp active

4. Loogilise lingi loomine:

   interface lag 1
   description "Uplink"

Praktilised stsenaariumid

1. Kahe switchi vahel LAG loomine:

• Eesmärk: Ühenda kaks lülitit, kasutades mitut füüsilist ühendust.
• Konfiguratsioon:
  • Cisco: Kasuta channel-group ja switchport trunk.
  • HP/Dell: Kasuta lacp active ja defineeri loogiline grupp.

2. Dünaamiline vs staatiline LACP:

• Dünaamiline: Linkide automaatne avastamine ja haldamine (kasutades active režiimi).
• Staatiline: Kõik lingid on eelmääratud ja LACP protokolli ei kasutata.

Tööstusnäited

LACP tööstusvõrgus

• Reaalajas süsteemid: Tootmisliinid, kus PROFINET või Modbus TCP liiklus peab olema pidev ja katkestusteta.
• Juhtimissüsteemid: Hajusjuhtimissüsteemide (DCS) ja SCADA võrkude ühendused, kus andmete kadu võib mõjutada protsesside stabiilsust.
• Juhtumianalüüs:
• Tootmisettevõttes kasutatakse kahte gigabitise ribalaiusega ühendust andmekeskuse ja lülitite vahel, kus LACP tagab, et üksikühenduse katkestus ei peata tootmisprotsessi.

LACP peatüki lisandused

Diagrammid ja illustratsioonid:

• Näidake, kuidas LACP koondab mitu füüsilist porti üheks loogiliseks ühenduseks.
• Lisage tööstuslik näide, kus lülitid, PLC-d ja serverid on LACP-ga ühendatud.

Praktilised harjutused:

1. LACP seadistamine simulatsioonis:

LACP – viide: https://kuutorvaja.eenet.ee/wiki/LACP_kasutamine

Sissejuhatus

Ethernet interface bonding tehnika võimaldab teatud tingimustel kasutada mitut arvutisse paigaldatud füüsilist võrguseadet ühe loogilise seadmena.

Põhjus, miks läbilaskevõime ei ületa 943 Mbps, on seotud sellega, kuidas linkide koondamine (LACP) töötab.

Kui koondad kaks linki LACP abil, näiteks 2 x 1 Gbit/s, siis ei saa sa 1 x 2 Gbit/s linki, vaid saad ühe loogilise lingi, mis koosneb 2 x 1 Gbit/s füüsilisest lingist. See tähendab, et kahe hosti vahel toimuv ühendus ei saa kunagi kasutada rohkem kui 1 Gbit/s ribalaiust. Kui sul on aga kaks eraldi ühendust, võib olla võimalik kasutada kahte 1 Gbit/s linki, tingimusel, et need ühendused kasutavad LACP lingis erinevaid füüsilisi linke (see sõltub arvutusest, mis põhineb näiteks IP-aadressidel, MAC-aadressidel jne). Teisisõnu, kahe hosti vaheline ühendus ei saa kunagi kasutada rohkem ribalaiust, kui on algsete linkide individuaalne ribalaius.

LACP abil pole lihtsalt võimalik teha 1 x 2 Gbit/s linki, kasutades 2 x 1 Gbit/s linki. Selle põhjuseks on see, et kui host saadab andmeid LACP lingi kaudu, otsustab see, millist füüsilist liidest (linki) kasutada, arvutades räsi väärtuse, mis põhineb L2 ja L3 teabe kombinatsioonil. Kui sul on kaks hosti, saad iga kord sama räsi väärtuse, kuna lähte- ja sihtaadressid (MAC/IP-aadressid) ei muutu, ning andmeid saadetakse ainult ühe (sama) lingi kaudu. Kui saadetav host edastab andmeid kahele erinevale hostile, võib juhtuda, et nende vastuvõtvate hostide räsi väärtused vastavad erinevatele linkidele, mis võimaldab andmete saatmist mõlemal lingil.

Tööpõhimõte

TODO

SLM2008 lüliti

TODO

Debian GNU/Linux

Tarkvara paigaldamine

Vajalik tarkvara sisaldub operatsioonisüsteemi tuumas, juhtprogrammi ifenslave paigaldamiseks sobib öelda

# apt-get install ifenslave-2.6

Seadistamine

Bonding seadme nimeks on tavaliselt bond0 ning LACP bonding (mitte segi ajada failover-bond seadmega) seadistatakse /etc/network/interfaces sektsiooniga

auto bond0
iface bond0 inet static
  address 10.0.3.87
  netmask 255.255.255.0
  slaves eth1 eth2
  bond_mode 802.3ad
  bond_miimon 100
  bond-lacp-rate 4 

Erinevate olekute tähendused

• Round Robin – Packets are transmitted in a round robin fashion over the available slave interfaces. Provides both load balancing and fault tolerance
• Active Backup – One slave interface is active at any time. If one interface fails, another interface takes over the MAC address and becomes the active interface. Provides fault tolerance only. Doesn’t require special switch support
• Balance XOR – Tranmissions are balanced across the slave interfaces based on ((source MAC) XOR (dest MAC)) modula slave count. The same slave is selected for each destination MAC. Provides load balancing and fault tolerance.
• Broadcast – Transmits everything on all slave interfaces. Provides fault tolerance.
• 802.3ad – This is classic IEEE 802.3ad Dynamic link aggregation. This requires 802.3ad support in the switch and driver support for retrieving the speed and duplex of each slave.
• Balance TLB – Adaptive Transmit Load Balancing. Incoming traffic is received on the active slave only, outgoing traffic is distributed according to the current load on each slave. Doesn’t require special switch support
• Balance ALB – Adaptive Load Balancing – provides both transmit load balancing (TLB) and receive load balancing for IPv4 via ARP negotiation. Doesn’t require special switch support, but does require the ability to change the MAC address of a device while it is open

Vaikimisi on balance-rr (round robin) ehk 0.

Vastav seadistamine käsurealt võiks toimuda nt selliselt

 # modprobe bonding mode=802.3ad lacp_rate=1 miimon=100 xmit_hash_policy=layer3+4
 # ifconfig bond0 10.0.3.87 netmask 255.255.0.0
 # ifenslave bond0 eth1 eth2

Bonding seadme eemaldamiseks sobib öelda

# ifenslave -d bond0 eth1 eth2
# rmmod bonding

Bonding seadme omadusi saab vaadata

# cat /proc/net/bonding/bond0 
Ethernet Channel Bonding Driver: v3.2.5 (March 21, 2008)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: fast
Active Aggregator Info:
        Aggregator ID: 1
        Number of ports: 2
        Actor Key: 17
        Partner Key: 3
        Partner Mac Address: a8:b1:d4:95:a3:85

Slave Interface: eth1
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:0e:0c:ba:4b:3e
Aggregator ID: 1

Slave Interface: eth2
MII Status: up
Link Failure Count: 4
Permanent HW addr: 00:1b:21:1d:f6:06
Aggregator ID: 1

kus

• Bonding Mode: IEEE 802.3ad Dynamic link aggregation – kasutusel olev bonding režiim

Kasutamine

TODO

OpenBSD

LACP seadme moodustamiseks sobib öelda nt

# ifconfig trunk0 trunkport re1 trunkport re2 trunkproto lacp

Seadme omaduste esitamiseks

# ifconfig trunk0                 
trunk0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
        lladdr 00:0c:42:07:1a:45
        priority: 0
        trunk: trunkproto lacp
        trunk id: [(8000,00:0c:42:07:1a:45,40E4,0000,0000),
                (8000,a8:b1:d4:95:a3:85,0003,0000,0000)]
               trunkport re2 active,collecting,distributing
               trunkport re1 active,collecting,distributing
        groups: trunk
        media: Ethernet autoselect
        status: active
        inet6 fe80::20c:42ff:fe07:1a45%trunk0 prefixlen 64 scopeid 0x1c
        inet 192.168.0.1 netmask 0xffffff00 broadcast 192.168.0.255

kus

• trunk id järel on esitatud komponentide mac aadressid
• tundub, et mõlema komponendi olemasolul reeglina ühendusega seotud väljuvad paketid liiguvad läbi ühe seadme ja sisenevad läbi teise

FreeBSD

vaja seadistada rc.confi

ifconfig_em0="up"
ifconfig_em1="up"
cloned_interfaces="lagg0"
ifconfig_lagg0="laggproto lacp laggport em0 laggport em1"
ipv4_addrs_lagg0="192.168.1.3/24"

Ning ifconfig peaks seejärel teatama

em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=219b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4,WOL_MAGIC>
        ether 00:22:19:1d:7b:a8
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=389b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_UCAST,WOL_MCAST,WOL_MAGIC>
        ether 00:22:19:1d:7b:a8
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active

lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
        ether 00:22:19:1d:7b:a8
        inet 192.168.1.3 netmask 0xfffffc00 broadcast 192.168.3.255
        media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
        laggport: em0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> 

• Ametlik FreeBSD manual http://www.freebsd.org/doc/handbook/network-aggregation.html

Märkused

• Tundub, et bondinguks ettevalmistatud switchi kaudu arvutit ei õnnestu üle PXE alglaadida.

Kasulikud lisamaterjalid

• L2 redundantsus
• http://www.howtoforge.com/nic-bonding-on-debian-lenny
• http://www.wiki.cl.cam.ac.uk/rowiki/SysInfo/LinksysSwitch
• http://www.kernel.org/doc/Documentation/networking/bonding.txt

http://www.linuxfoundation.org/collaborate/workgroups/networking/bonding

• Kasutage Cisco Packet Tracerit või reaalseid seadmeid, et luua LAG kahe lüliti vahel.
• Testige ühendust, katkestades ühe lingi ja jälgige, kuidas liiklus jääb allesjäänud lingile.

2. Wiresharki analüüs:

• Kasutage Wiresharki, et jälgida LACP pakettide liiklust ja mõista, kuidas protokoll töötab.

LACP lisamine kursusele aitab tugevdada arusaamist võrgu töökindlusest ja jõudlusest. See on asendamatu teema nii IT kui ka tööstusvõrkude puhul, eriti reaalajas süsteemides. 😊