Installer Splunk på Centos 7

Til dem der ikke ved hvad Splunk er, kan jeg kort forklare det som en platform der kan fodres med ustruktureret data, og gøre det søgbart og struktureret – næsten uden at det kræver arbejde. Det kan erstatte de fleste BI og overvågnings software, samtidigt med det gøre det gør op med de fleste udviklings-omkostningen, da brugerne kan udføre det meste tilretning af data.

Men træerne vokser ikke ind i himlen – for Splunk koster en formue (gratis hvis man ikke suger mere end 500mb pr dag). Men kigger man på TCO og TTM er der ikke andre software der kan gøre det samme, hvilket gøre det til at de stærkeste alternativer på markedet i dag. Jeg vil gå så langt til at sige at ElasticSearch og Splunk er det eneste produkter man skal kigge på lige nu.

Installationsvejledning:

Som sagt er det nemt at komme i gang med, men de fleste vælger at installere det på en Windows Server, da det er det de kender bedst. For et bedre resultat ville jeg benytte Linux (i dette tilfælde Centos 7 – 64 bit). For at gøre det nemmere for nybegyndere at komme i gang, har jeg lavet denne basale instuktion.

Nedenstående afvikles i terminalen en linie af gangen:


### Installer Centos - minimum install

### Installer Wget så vi kan hente software
yum install wget

### download splunk til Centos/Redhat
wget -O splunk-7.0.2-03bbabbd5c0f-linux-2.6-x86_64.rpm 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=7.0.2&product=splunk&filename=splunk-7.0.2-03bbabbd5c0f-linux-2.6-x86_64.rpm&wget=true'

### Juster folder sikkerhed inden vi installere
chmod 744 splunk-7.0.2-03bbabbd5c0f-linux-2.6-x86_64.rpm


### Installer splunk
rpm -i splunk-7.0.2-03bbabbd5c0f-linux-2.6-x86_64.rpm 


### Splunk splunk installations fil
rm splunk-7.0.2-03bbabbd5c0f-linux-2.6-x86_64.rpm 


### Start splunk
cd /opt/splunk/bin
./splunk start --accept-license


### Check at website kører på default port 8000
./splunk show web-port


### Åben port 8000 i firewall på Centos maskine for webinterface
firewall-cmd --zone=public --add-port=8000/tcp --permanent

### Åben port 8089 i firewall for deploymentserver
firewall-cmd --zone=public --add-port=8089/tcp --permanent

### Åben port 9997 i firewall for indexers
firewall-cmd --zone=public --add-port=9997/tcp --permanent

### Åben port 514 i firewall for network/syslog
firewall-cmd --zone=public --add-port=514/tcp 
firewall-cmd --zone=public --add-port=514/udp 

### Reload Firewall
firewall-cmd --reload

### Log ind i webinterface på http://serverit:8000
Default username står på den side der loades

### Tilføj recivers så der lyttes efter data (i webinterface)
Settings -> Forwarding and receiving
Tilføj port 9997 som default


Første AI spamfilter

Er der en der kan levere et AI spamfilter/autoreply plugin til Exchange/Outlook365? Hvor er den leverandør der bliver den første til at tilbyde denne service? Hvis man kunne vælge ud fra en liste af predefinered typer/profiler i programmet – om man eks. var i kundesupport eller HR – så ville systemet behandle og lære ud fra forhåndsindkoede basis lærdom. I starten kan man jo bede programmet komme med 2-3 forslag til en besvarelse af mailen, og efterhånden spore sig ind på ens normale kommunikationsmønster.

Tilbage i 2000-2002 var der allerede Chatbot’s med AI der kunne gennemføre hele samtaler, for at narre folk til at melde sig ind på dating-sites, i den tro at den unge dame man lige havde chattet på ICQ med, var virkelig og havde kødfulde billeder profilen du skulle være medlem for at se.

Systemet findes jo i begrænset omfrang til diverse servicedesk systemer, så det må være muligt – i et eller andet omfang – at ramme tæt på et korrekt svar, som jeg blot skal godkende. Efterfølgnede kunne man sælge konceptet til diverse sociale-medie platforme, for at forhindre brugere i at skrive tankeløse kommentare til ligegyldige opdateringer.

Hvis man kigger på Microsoft Cognitive Toolkit eller Googles TensorFlow, så er der mulighed for at kaste sig ind i kampen, hvis man eks. kan lidt Python eller C++ programmering – hvilket man efterhånden har fornemmelsen af bliver pensum for 2-klasse i folkeskolen anno. 2020

Formålet med dette indlæg er at anbefale kunder i hostingbranchen tilsikre leverandøren ikke kun kører ITIL processer på det papir kontrakten skrives på.

Stil krav til jeres hostingpartner:
Sørg for det konkret fremgår at kontrakten hvor ofte systemet gennemgås for fejl og hvordan man sikre et system ikke sander til, ved at have definerede kvalitetsmål for ydelsen på serveren. Der skal foreligge detaljeret beskrivelse af Capacity Management og Continual Service Improvement procedure.

Med en fortid som både senior-tekniker og driftschef i en anerkendt hostingvirksomhed, samt mange år som enten leverandør eller kunde i top10 inden for hosting i danmark, skal jeg være en af de første der lægger sig fladt ned og erkender mit medansvar. For de fleste kunder der betaler for Managed Service, ofte står tilbage med en løsning der ligger tættere på Infrastructure as a service (IaaS), efter systemet først er leveret og ibrugtaget.

Problem #1: Hovedparten af kundernes forventning til leverancer inden for hosting, står ikke mål med det de ønsker at betale – så hvor skal pengene til continual service improvement komme fra?
Problem #2: Leverandøren tør ikke bede om det beløb det koster at drive et dynamisk og frugtbart samarbejde med kunden.

ITIL hosting

En Continual Service Improvement Plan er en procedure der sikre services man køber hos leverandøren, løbende tilpasses kundes behov. En leverandør slår sig ofte på at være dynamisk, agil og skalerbar. I hverdagen sker det oftest kun på kundens opfordring, eller efter kundens installation er revideret af ekstern konsulent.

Eksempel #1
I 2017 henvendte en tidligere kunde sig personligt over Linkedin, for at få mig til at revidere deres nuværende MS-SQL løsning. En Løsning de fik leveret som en Managed Service hos en hostingpartner der slog sig på at køre på højeste klinge inden for ITIL og best-practice. Kundens oplevelse var at især at deres Navision var langsom. Ofte var det den første time om dagen der var værst, hvor selv de mest basale oprettelser eller kørsler tvang serveren i knæ. Leverandøren påstod der ikke var noget at komme efter, for der var massere af RAM, CPU og Disk kapacitet.

Efter en hurtig gennemgang af serveren viser det sig at opsætningen er 100% default. Det betyder bla.
– Autogrowth er sat til 1MB
– Temp database ligger på samme volume som OS, Data og Logfiler
– Max degree of parallelism var sat til 1, på trods af serveren havde 16 CPU cores tilgængeligt

Med under 10 minutters arbejde (ikke automatiseret) blev ydelsen i Navision hævet med over 180% – resultat = glad men uforstående kunde.

Eksempel #2
En kunde vil gerne bede mig kigge på en IIS løsning med ca. 2500 samtidige brugere i dagtimerne. Serveren løb hele tiden tør for plads, og løsningen blev mere og mere omkostningstung at holde kørende. Årsagen var IIS-logs ikke blev slettet, selv om kunden kun skulle bruge de sidste 30 dage. I stedet for at leverandøren brugte 10 minutter på at finde årsagen til det voksende behov for plads, blev kunden blodt bedt om at købe mere kapacitet. Kunden har købt en Managed Service, men hostingleverandøren skubber vedligeholdet retur på kunden. Hvorfor så opsige sin egen driftafdeling, og betale dyrt for ISO certificeret hosting efter de bedste ITIL principper?

Mit spørgsmål til jer:
– Hvordan skal de to partner kunne mødes, hvis kunden ikke ved hvad “continual service improvement” er, men leverandøren i øvrigt ikke mener kunden betaler for det og derfor ikke bringer det på banen?
– Hvordan får vi forankret ITIL i den daglige drift og ikke kun benytter det til at slå pressede driftstekniker i hovedet når de har lave udokumenterede ændringer?

Vælg den rigtige Linux distro. Er det arbejde eller fritid? spil eller programmering? – man kan gøre det nemmere for sig selv, ved at afdække behovet inden man begyder at installere en af de mange forskellige versioner af Linux. Personligt startede jeg i sin tid med Ubuntu pga. det store community, hvor man kunne få kvalificeret hjælp til alle problemer. På et tidspunkt løb jeg ind i nogle driftsstabilitetsproblemer og var ikke glad for de reklamer der blev vist, så jeg skiftede til Fedora.

Lifecycle:
Windows 8.1 -> Ubuntu 12 -> Windows 10 -> Fedora 26 64bit -> Ubuntu 16.04LTS
Hardware: HP z440 Xeon E5-1620v3 3.5 GHz – 16GB RAM – Intel SSD Raid 1+0

Fedora kan ses som en form for frontrunner for RedHat Linux, der bla. er et at de mest anvendte OS’er til det armerikanske forsvar og offentlige instanser. Det gør der også er fokus på at få drivers til at virke ordenligt. En anden årsag var det var nemt for mig at installe Nagios Log server, da deres installationsscript er udviklet bla til RedHat og Fedora.

En uforudset udfordring for mig (fordi jeg ikke havde undersøgt det ordenligt) var de hyppigere updates og versions upgrades. Det kræver meget tid at vedligeholde – især hvis man har mange workstations.

Derfor er det de sidste måneder blevet mere åbenbart for mig, at jeg må tilbage til Ubuntu, da deres LTS version er blevet mere stabil og sikker. De udfordringer der var med 3.part. drivers tidligere, siges (jf. største forums)at være væk.

Læs mere om de forskellige Linux versioner her: https://distrowatch.com

Tips:
Wine giver brugere af Linux mulighed for at installere og afvikle windows applikationer – bla. spil og office. Det er ikke en emulator, men et kompatibilitetslag, der gør det muligt at afvikle Windows programkoder på en Linux, Mac eller BSD kerne.
Læs mere her: https://www.winehq.org/

Omkring hosting er min anbefaling til danske virksomheder er stadig den samme; Benyt altid en dansk hosting-leverandør, der som minimum er ISO27001 certificeret og gør kontrakten betinget af en gyldig ISAE 3402-erklæring

Flere benytter i dag cloud-hosting giganter som Amazon AWS, Google og Azure. Men samme flertal glemmer ofte at læse det der står med småt i betingelserne. Et eksempel på dette er Amazon AWS, som de fleste tror er sikker og at man som kunde overholder den EU-retsligt gældende persondataforordning – der tolker jeg betingelserne hos Amazon AWS anderledes!

Kilde: Amazon AWS betingelser
Opdateret 2017-12-08: AWS har opdateret deres betingelser. Men AWS er et amerikansk selskab, og skal derfor efterleve pågældende statslige retsplejelov, der i sidste ende diktere hvor meget slutkunden informeres og hvad der sker med data. (ie: FISC or FISA Court)

Access: We do not access or use customer content for any purpose other than as legally required and for maintaining the AWS services.

Storage: We will not move or replicate customer content outside of the customer’s chosen region(s), except as legally required and as necessary to maintain the AWS services.

Disclosure of customer content: We do not disclose customer content unless we’re required to do so to comply with the law or a valid and binding order of a governmental or regulatory body. Unless prohibited from doing so or there is clear indication of illegal conduct in connection with the use of Amazon products or services, Amazon notifies customers before disclosing customer content so they can seek protection from disclosure.

Med andre ord; Vi garantere dine data ligger sikkert hos os, der hvor du har bedt os om at placere det, indtil en domstol eller et efterretningsvæsen beder os om at udlevere det, eller vi har behov for at genskabe dine servere i et andet datacenter, hvis det du ligger i nu bryder sammen. Og vi har mulighed for at gøre det uden at informere dig.

Nyt EU rubber stamp:
Det nye tiltag kaldet “EU-US Privacy Shield” er en måde hvorpå man kan sende data fra EU til en lokation i USA, men samtidigt på papiret overholde EU’s persondataforordning – som sagt; “på papiret”. For i det sekundt data lander i USA, er det deres regler der gælder, og det kræver ikke at kunden er informeret omkring udleveringen af data. Personligt opfatter jeg det udelukkende som en skrivebordsmanøvre der skal sikre kunder stadig kan benytte services som Amazon AWS, Azure og Google.

Ikke et personligt vendetta:
Amazon AWS, Azure og Google er fantastiske services, og jeg er sikker på en stor del af fremtiden bliver baseret på ryggen af deres services, da komplexiteten i at opretholde en robust it-infrastruktur har overhalet den hastighed og de budgetter man tidligere har driftet lokale servere og services. Men det ændre ikke ved, at lovgivningen konflikter med services der er tilgængeligt i dag. Valget er derfor om man ændre eller bryde loven. Historisk set kan jeg ikke få øje på hvornår menneskeheden har været i stand til at stoppe udviklingen pga. juridiske bump på vejen… dvs. lige bortset fra Über og deleøkonomi 🙂



Hvis man har ødelagt NTFS rettighederne på Folderredirection sharet, er man i en ulykkelig situation, hvis man har mere end 10 brugere. Men har fundet dette powershell-script jeg godt vil dele.

For hver undermappe (%username%) udføre dette Powershell script følgende:
– Sætter Administrators som Ejer af folder (undermapper og filer)
– Sætter mappe til at nedarve rettigheder, og sletter tidligere settings
– Sætter bruger (baseret på foldernavn) og giver fuld adgang til folder, filer og undermapper
– Retter ejer af folder til bruger (baseret på foldernavn)



<#
Script to reset user folder permissions.
Uses: icacls.exe and takeown.exe

For all folders in base folder:
1. Recursively resets owner to Administrators
2. Reset folder to inherit permissions and apply to subfolders/files, clearing any existing perms
3. Add user (based on folder name) with full control and apply to subfolders/files
4. Recursivley reset owener to user (based on folder name)
#>

$mainDir = "D:\FolderRedirection"
write-output $mainDir
$dirs = gci "$mainDir" |? {$_.psiscontainer}
foreach ($dir in $dirs){
write-output $dir.fullname
takeown.exe /F $($dir.fullname) /R /D Y |out-null
icacls.exe $($dir.fullname) /reset /T /C /L /Q
icacls.exe $($dir.fullname) /grant ($($dir.basename) + ':(OI)(CI)F') /C /L /Q
icacls.exe $($dir.fullname) /setowner $($dir.basename) /T /C /L /Q
}


Når man tilgår servere via. RDP, er det en pest at en ny server kommer med fading vinduer og menuer.
Men det er nemt at rette det med den regkey, på enten bruger eller server level.

For hele Serveren:

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\VisualEffects]
"VisualFXSetting"=dword:00000002

For enkelt bruger:

Windows Registry Editor Version 5.00

[HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\VisualEffects]
"VisualFXSetting"=dword:00000002

RegDword = VisualFXSetting

Decimal værdi
0 = Let Windows choose what’s best for my computer.
1 = Adjust for best appearance.
2 = Adjust for best performance.
regkey windows best performance

En af mine nye farvoritter, er Elastic Stack (også kaldet ELK stack) til syslog og alerts reaktion. Man kan bruge syslog og alerts på mange måde, og personligt bruger jeg det som et ekstra værktøj oven på de andre overvågnings værktøjer vi har.

Hvorfor ELK eller nogen anden form for Event/Syslog server?
Styrken i denne form for event correlation, er man kan se sammenhængen i fejl eller adfærd på tværs af alle systemer samtidigt.

Fordele:
– Alarmer er live. Sker det på maskinen, ses det på skærmen med det samme.
– Du ser alt, uden at skulle definere målepunkter i din overvågning.
– Søgninger på tværs af eventlogs, logfiler og alle enheder samtidigt.
– Billigt (ELK – Elastic Stack er gratis opensource).
– Skalerbart til det uendelige.

Installation
Hvis man ikke er erfarren Linux-bruger, fandt jeg en nem genvej igennem Nagios Syslog Server [link], for det er en kommerciel release af ELK stacken.

Som styresystem benytter jeg nyeste CentOS på Hyper-V server 2016. Installationen af Nagios Syslog serveren installeres blot ved en enkelt kommando:

curl https://assets.nagios.com/downloads/nagios-log-server/install.sh | sh

Yes – jeg tager ikke pis på jer! det er virkeligt det eneste du skal gøre for at du har en komplet Event/Syslog installation. Men jeg kommer til at skrive mere om denne løsning de næste par uger, men mens i venter vil jeg anbefale at se denne video.

Flere dage med hjælp til oprydning efter diverse Cryptoware angreb, blev summeret perfekt af et citat fra filmen Doctor Strange, der passer på både IT-sikkerhed og alle vores andre dæmoner.
dr strange

We never lose our demons, we only learn to live above them

Der altid vil være hackere, virus, utilfredse medarbejdere, spionage og nedbrud – Så hvis man ikke vil slås med det, må man hæve sig over problemet.

Identificer -> Begræns -> Fjern -> Lær

Både Linkedin og IT-relaterede nyheds sites, flyder over med indlæg omkring vigtigheden af en moden IT-sikkerhedspolitik og hvordan trusselsbilledet har ændret sig de sidste år. Men sjældent er de efterfulgt af konkrete forslag til værktøj der kan benyttes til at hæve sikkerheden i sin infrastruktur. Derfor kommer her mine forslag til hvilken IT-sikkerhedsprodukter man med fordel kan benytte.

Hardening er en betegnelse man ofte bruger, når man gør noget hårdere – også IT-sikkerhed.

  • Sørg for at brugere ikke har adgang til foldere de ikke har behov for. Det kan gøres ved at køre en rollebaseret adgang til foldere. Det betyder alle hovedmapper er tilknyttet en sikkerhedsgruppe og medarbejdere skal være medlem af denne gruppe for at få adgang til mappen. En gratis sidegevinst ved dette, er det bliver nemmere at vedligeholde adgang og udføre en Audit til IT-revisionen.
  • Sørg for brugere ikke kan se mapper de ikke har adgang til. Det kaldes “Access-based enumeration” og er en funktion man aktivere på et netværks-share.
  • Patch er vigtige for sikkerheden og det gælder ikke kun for styresystemet. Alle applikationer i dag en sikkerheds-risiko. Derfor skal man sørge for de altid er opdateret og der ikke er installeret software der ikke er behov for. Programmer som Heimdal sikre en række programmer bliver automatisk opdateret.
  • Sørg for du har et overblik over alt udstyr og software. Lansweeper er gratis for de først 100 maskiner, og giver dig komplet inventory over alle maskiner og versioner af software installeret.
  • Applocker er en indbygget funktion fra Microsoft (via. en GPO). Det sikre der ikke afvikles andre programmer end det der er godkendt i forvejen. Man bestemmer selv hvor restriktiv politik der benyttes, men selv den laveste setting, giver et fantastisk filter mod utilsigtet afvikling af software.

Antivirus og malware har de fleste langt om længe forstået vigtigheden af, men det er ikke unormalt at valget af antivirus software er baseret på pris, og ikke funktion.

  • Cloud og Antivirus XaaS løsninger bliver bedre og bedre. I dag ville jeg anbefale Bitdefender (cloud) eller Symantec (on-prem.) da de begge er robuste løsninger, med gode muligheder for at blokere Cryptolocker og Zero-day exploits. Især Bitdefender GravityZone til erhverv, er en utrolig sikker og alsidig løsninger, der både sikre Windows, Mac og Linux maskiner – Alt sammen fra samme interface.
  • Min kollega nævnte han altid anbefaler man bruge forskelligt antivirus på hhv. server og endpoints. På den måde skulle malware potentielt forbi to forskellige systemer inden det kunne udrette skader. Det er ikke en tosset ide hvis der er økonomi til det.

DNS

  • Secure DNS og OpenDNS DNSCrypt er to produkter at en type der kommer til at være lige så normalt som antivirus i den fremtidige IT-infrastruktur. Sikker DNS forhindre maskiner i at kunne afvikle/loade de sites der er identificeret som usikre. Din klient kan simpelthen ikke få lov til at downloade indholdet, for den pågældende URL kan ikke loades.

Audit af filadgang på alle servere og konfigurations-ændringer på serverne må ikke undervurderes.

  • AdAudit sikre du ved nøjagtigt hvem ændrede/slettede/oprettede/flyttede en fil eller folder på en server. Programmet er bygget til at overvåge AD og server konfiguration, men har plugins til filservere, så den også kan benyttes. Det er især vigtigt, hvis man vil identificere “ground-zero” ved et crypto-locker angreb, for der fortæller programmet dig nøjagtigt hvem der krypterede den første fil og fra hvilken PC det skete.

Backup og Restore

  • Overvej hvilken Backup- og restore politik i har. Hvor længe vil i være om at restore alle servere? At man kan restore en server på 2 timer, er ikke det samme som man kan restore alle servere på samme tid.
  • Hvilken rækkefølge skal jeres IT genskabe applikationer? og hvordan er sammenhængen? En korrekt dokumentation giver svaret på dette, men hvis det ikke bliver trænet regelmæssigt er proceduren værdiløs.

Overvågning er mit hvertebarn, men hvad er en tidssvarende type af overvågning?

  • SIEM eller generel Syslog overvågning, giver et billede af alle events på serverne. Bliver der pludseligt flyttet/slettet/krypteret mange filer på en server, så dukker det op i overvågningen med det samme. Den slags overvågning sikre der hurtigere kan sættes ind for at forhindre et problem vokser. Samtidigt er det et audit trail når der efterfølgende skal dokumenteres hvad der er sket. Der findes mange løsninger i dag og behovet afgøre hvad det bedste produkt til situationen er. Generelt kan jeg dog anbefale SyslogNG, Correlog. Alienvault og Splunk. Microsoft OMS er ved at være et godt produkt, men mangler stadig lidt modning.
  • Ønsker man det hele(meste) i et, så kig på Newrelic.

Awareness

  • Træn jeres medarbejdere
  • Dyrk en ærlig omgangstone
  • Træn jeres medarbejdere
  • Træn jeres medarbejdere
  • Træn jeres medarbejdere