Analysing gigapixel images online is possible with Cytomine

We have a collaborating project between Norway, Moldova, Armenia and Belarus in Oral Pathology. In order to view slides online we installed a software called Cytomine. This software, or multiple combined software/applications, is developed in Belgium by a cooperating team. All about Cytomine can be read here: https://cytomine.coop/

This is an open source software. It is installed on a Linux Ubuntu 16.04 LTE server with Docker CE. The server has 96GB memory, 2TB storage and 24 VCPU’s. It is located in University of Bergen, hosted by the UH-Iaas project group (http://iaas.readthedocs.io/en/latest/getting_started/index.html)

This application gives the user to view slides (pictures) of multiple gigabyte online and almost without any download time. For instance we have tested it with a 5GB large slide, and it could be viewed immidiately online through a 4G mobile phone in Yerevan, Armenia through the Internet with the servers located in Norway, Bergen.

The Cytomine software can be used by students, teachers, pathologist for viewing, annotating, discussing tissue slides (or any picture actually).

Our server is located here:

https://cytomine-core.app.uib.no

In order to install Cytomine you need to have a basic understanding of Linux Ubuntu, bash scripting, Docker and general web-server technology.

I have created a short video that shows how the software works:

Upgraded to 3.4.2, finally!

Finally we have upgraded our WP multisite to 3.4.2!

In this upgrade we also upgraded around 30 plugins and 8 themes. Also we installed a new theme: TwentyTwelve. Hopefully some of the admin-users will like it.

The greatest challenge we had was to be able to do real testing on plugins, themes and blogs on our system, before upgrading the main system. We wanted to test everything 100% so that none of our users would notice any problem.

We solved this by establishing another server, with a setup exactly like the production server. (We are running our systems on Linux Redhat Enterprise).

On this Test server we installed the software/middleware similar to the main production system like: MySQL, Apache with PHP and more.

Second we imported all the MySQL data from the production system to this new Test system, and also all the “blogs.dir” data.

Because of DNS names, which are also clogged into the database, we had to edit both the Test server “hosts” file and client “hosts” file with all the blog-domain names:

Example:
192.168.127.145 blogname1.ourblog.uib.no
192.168.127.145 blogname2.ourblog.uib.no
192.168.127.145 blogname3.ourblog.uib.no

And so on, for 194 of them.

Now, when we tested the different sites, one by one, we could see how the core, plugin and theme upgrade affected the individual sites one by one. This testing was done manually by my colleague.

We also used a bash script that went through the list of 194 blog domain names, downloading the html code for each of them, calculating the number of bytes downloaded. All the sites with a 0 bytes download were sites that we could look deeper into to, to see what went wrong.

There were no big problems; some plugins could not be upgraded, because they locked the system after being upgraded. These plugins we just kept on their current release.

Also in our upgrade we installed a new plugin called: WP Better Security.
Which we really recommend.

Today I got attempts from 5 different people trying to guess the admin password. With the 5 failed password-login attempt, they were successfully locked out. The plugin looks promising and we are stilling digging into this security enhancement to our multisite WP site.

We also closed the self-registration. From now on, only administrators of each Blog can add users. We had too many spam-users, actually on present date; we had 1800 spam users, and 800 real users.

The way to lock the users created by spammers, we only set the ‘spam’ field in the wpusers table to ‘1’ in the Mysql database.

Final word 1: In order to make the sites none-writeable. We used a plugin called code-freeze to close everything, in order for us to work, take backup of the Mysql database and more, being assured that it was not possible for users to add and change the system. This was done before we stopped the HTTPD deamon, mentioned above.

Final word 2: before doing any of the core, plugin and theme upgrade on the main production site, we did a full Mysql dump of the database while Apache HTTPD server was stopped. (This to make sure that no UPDATE,INSERT,DELETE or other SQL statements were performed during backup.)
The Mysql backup/snapshot was done with the: automysqlbackup. See my links where to find it.

 

bbPress

bbPress is a WordPress plugin that enable you as an WordPress administrator to add a full Forum server to your site.

I am testing it out now, and will install it soon on our Multisite WordPress solution.

bbPress is promising, and because it can be used in a WordPress context, you can benefit regarding spam issues if you have Akismet spam control enabled.
Also, if you already are an WordPress administrator, creating Forums and Topics is like making Pages and Posts.

I had a problem to get the bbPress Forum to work. I only got: “Can’t find the page 404” and “Sorry, this is embarrising”.
The solution was to go to:
Setting – Permalinks

That was it 🙂 Nothing more to it. Just the visit fixed the problem.

You can check the usage Forum here:

http://helge.w.uib.no/forums/
Or click on one of the Forums on the right sidebar

Slette alle data på en harddisk

Forfatters kommentar: Teksten under skrev jeg 3. april 2007 så verdenen kan ha endret seg siden den gang.

Hvordan kan man fjerne alle dataene på en harddisk, og være sikker på at ingen kan rekonstruere dataene?

Dessverre tror mange at det å formatere en harddisk fjerner dataene på disken. Formatering sletter kun referansene til filene og ikke selve innholdet i filene. Det er forholdsvis enkelt å hente fram data fra en harddisk som er blitt formatert eller reinstallert.

For at en skal være sikker på at dataene ikke kan hentes fram igjen, må en sørge for at filenes innhold også overskrives. Dette innebærer at alle databiter tilhørende filene på harddisken overskrives.

En kan gjøre dette ved å sette alle harddiskens databiter til 1 eller 0, eller benytte rutiner som generer tilfeldige bit-verdier.

Det diskuteres hvorvidt dette i seg selv er nok, og om det er mulig å hente ut data fra en harddisk hvor alle filene er overskrevet på overnevnte måte.

Peter Gutman framførte i 1996 metode som skal kunne på en sikker måte slette data på et lagringsmedia. Les her: http://en.wikipedia.org/wiki/Gutmann_method#_note-0

Gutman mente at selv om en overskriver alle data på en harddisk, vil det likevel være teknisk mulig å hente ut informasjonen. Han introduserte sin metode som skulle sikre at data ikke kunne rekonstrueres.

Les Gutman’s “Secure Deletion of Data from Magnetic and Solid-State Memory” på: http://www.cs.auckland.ac.nz/~pgut001/pubs/secure_del.html

Ikke alle er enige med Gutman:

Daniel Feenberg er uenig. Les hans meninger her: http://www.nber.org/sys-admin/overwritten-data-guttman.html

Det er en uenighet om hva som er sikker metode for å fjerne data på et lagringsmedia. Likevel synes det klart at mange er enige om at filer som er overskrevet på en harddisk, er vanskelig, om ikke umulig, å hente fram igjen.

Det er faktisk ingen firmaer i dag (inkludert norske IBAS) som hevder at de kan rekonstruere data fra filer som er blitt overskrevet.

Spørsmålet er: Hvilke prosedyrer og programmer kan benyttes for å være sikker på at data er fjernet fra en harddisk?

En god framgangsmåte kan være å følge standarden DOD 5220.22M som er utgitt av USA sitt forsvarsdepartment (sist oppdatert 28. feb. 2006): Department of Defense, Under Secretary of Defense for Intelligence: http://www.dss.mil/files/pdf/nispom2006-5220.pdf

IBAS i Norge refererer også til denne standarden og deres verktøy retter seg etter disse retningslinjene: http://www.ibas.no/datasletting/faq#two

Les også denne siden om standarden Dod 5220.22-M: http://www.killdisk.com/dod.htm

Dod 5220.22-M metoden innebærer at data overskrives 3 ganger: “Overwrite all addressable locations with a character, its complement, then a random character and verify”

Nå til den praktiske delen
Et program som støtter US DoD standarden, og som også kan kjøre under BART PE heter Secure DriveEraser.

Secure DriveEraser kan nyttes for å fjerne alle spor på en harddisk eller partisjon. http://vaiosoft.com/download/Default.html
Hold tunga beint i munnen. Når du bruker denne metoden, så forsvinner dataene for godt!

Finn en datamaskin du kan bruke.
Sett inn den harddisken du skal fjerne alle dataene på.
Sørg for at det ikke er andre harddisker koplet til. (Det skal altså kun være én harddisk tilknyttet én IDE kabel). Dersom du har flere harddisker tilkoplet, kan du ved et uhell fjerne dataene på feil harddisk!
Start maskinen, og boot maskinen med NIC/PXE. (hint: Trykk F12, velg Boot from NIC.)
Start BART PE som du vanligvis gjør ved Ghosting av maskiner.
Når dette er gjort, start et command shell. Map til serveren XXXXXX ved å skrive i CMD-shellet:
NET USE K: \\XXXXXX\SHARE /user:domene\navnekonto

skift til K:, og gå til katalogen: DRIVE-ERASE
Start programmet:
DriveEraser.exe
Programmet starter:
BILDE MANGLER

Marker den disken eller partisjonen du ønsker å fjerne ALLE dataene på, og velg ‘Erase’ fra Tools på menyen.

BILDE MANGLER

Velg ‘Full Partition Area Erase”, ‘Erase Type’ = US DoD:

BILDE MANGLER

Trykk så på knappen ERASE.

Nå MÅ DU være helt sikker på hvilken disk du sletter dataene på! Om du har flere harddisker koplet opp i maskinen din, må du kanskje tenke deg om et par ganger.
Når dataene er ‘eraset’ fra harddisken, så er de faktisk borte for godt. Du må også være 100% sikker på at dataene som er på denne disken faktisk skal fjernes.
Om du ‘Eraser’ en harddisk som du absolutt ikke skulle ha fjernet dataene på, bør du ha gode venner i CIA, eller en god kompis som har et elektron-mikroskop 🙂
Alternativt: flybillett til Brasil

Om du nå er helt sikker, så kan du sette i gang. Hver tålmodig, for sikker sletting av en harddisk kan ta mange timer, __24 timer __er ikke uvanlig.

Et siste ord:

I standarden Dod 5220.22-M er det oppgitt en regel at dersom innholdet på et lagringsmedia kan defineres som ‘TOP SECRET’, så er det ikke nok å gjennomføre DoD metoden.

Da finnes kun et alternativ:

“m. Destroy – Disintegrate, incinerate, pulverize, shred, or melt.”
På norsk:

Ødelegg – Bryt ned – brenn til aske – pulveriser – skjær i strimler – smelt 🙂