Σύμφωνα με την IBM, το 90% των data που υπήρχαν στον κόσμο το 2013 είχαν δημιουργηθεί τα δύο προηγούμενα χρόνια. Ολόκληρη η πληροφορία που είχε παράξει το ανθρώπινο είδος τα προηγούμενα δεκάδες χιλιάδες χρόνια της ιστορίας του, αποτελούσαν μόλις το 10% του συνόλου. Η ανθρωπότητα σήμερα παράγει δεδομένα με ιλιγγιώδεις ρυθμούς και, πλέον, το ποσοστό αυτών που είναι αποθηκευμένο σε αναλογική μορφή είναι απειροελάχιστο. Οι άνθρωποι και οι τεχνολογίες που χρησιμοποιούν παράγουν αχανείς  ποσότητες από ψηφιακά data, οι οποίες συσσωρεύονται ολοένα και δημιουργούν νέες ευκαιρίες, μετασχηματίζοντας παράλληλα ολόκληρες αγορές και, κατά μία έννοια, την ίδια τη ζωή στον πλανήτη.

Η μεγάλη τεχνολογική και επιχειρηματική πρόκληση της εποχής είναι η αποτελεσματική διαχείριση του τεράστιου όγκου δεδομένων που πλέον βρίσκεται στην διάθεση εταιρειών και καταναλωτών. Θα έχετε, ασφαλώς, ακούσει τον όρο «Big Data». Eίναι ένας αρκετά γενικός και ασαφής όρος που περιγράφει κάθε συλλογή δεδομένων που έχει μεγάλο μέγεθος και περίπλοκη διάρθρωση. Κατά κανόνα ως “big data” νοούνται τα datasets που είναι υπερβολικά μεγάλα και περίπλοκα για να τα διαχειριστούν οι συνήθεις υπολογιστικές λύσεις του εμπορίου. Η διαχείριση αυτού του όγκου δεδομένων είναι ένα έργο δύσκολο υπολογιστικά, που όμως μπορεί να δώσει πολλά και πολύτιμα αποτελέσματα με τη σωστή επεξεργασία.

Όλα τα βίντεο που ανεβαίνουν στο YouTube, όλα τα γεωγραφικά δεδομένα που στέλνουν τα κινητά τηλέφωνα στους παρόχους κινητής τηλεφωνίας, όλες οι αναζητήσεις του Google, όλες οι συναλλαγές στο Amazon, όλες οι αποφάσεις της Διαύγειας, όλες οι μυστικές καταγραφές των metadata τηλεφωνικών κλήσεων από την NSA, κι αμέτρητα άλλα σύνολα δεδομένων που παράγονται από τις αμέτρητες και ηλεκτρονικές συσκευές που διαθέτουν εταιρείες, κυβερνήσεις και πολίτες σήμερα και διακινούνται μέσω του διαδικτύου, αποτελούν datasets που πριν από λίγα χρόνια όχι απλώς δεν υπήρχαν –η ανθρωπότητα δεν είχε καν την τεχνολογία για να αποθηκεύσει, πόσο μάλλον να τα δημιουργήσει.

Υπάρχει η εντύπωση ότι η επεξεργασία τέτοιων datasets αφορά μόνο μεγάλες επιχειρήσεις και οργανισμούς που συνήθως διαχειρίζονται τεράστιους όγκους δεδομένων και έχουν τους πόρους να αναπτύξουν ή να αγοράσουν τεχνολογίες επεξεργασίας τους. Αυτό ισχύει σε μεγάλο βαθμό: μόνο ένα γιγάντιο, διεθνές και πανάκριβο project μπορεί να αναλάβει τη διαχείριση των δεδομένων του Large Hadron Collider στην Ελβετία, για παράδειγμα. Εταιρείες όπως η Amazon, η eBay και η Google επενδύουν τεράστια ποσά για την ανάπτυξη τεχνολογιών που επεξεργάζονται τα διαθέσιμα δεδομένα τους, πράγμα που τους βοηθά να αναπτύσσουν νέα προϊόντα και στοχευμένες υπηρεσίες για τους πελάτες τους. Μια πρόσφατη έρευνα της Microsoft υπολόγισε την αξία της αγοράς που διαμορφώνεται από τα Big Data στα $1,6 τρις τα επόμενα τέσσερα χρόνια.

Μια τόσο μεγάλη αγορά όμως, ασφαλώς χωράει κι άλλους, μικρότερους παίκτες. Η διαχείριση των Big Data κρύβει επιπλέον ευκαιρίες για τεχνολογικά startups που αναπτύσσουν τεχνογνωσία και προσφέρουν υπηρεσίες και software σε μεγαλύτερες επιχειρήσεις που έχουν γιγάντια datasets και δεν μπορούν να τα επεξεργαστούν. Ένα τέτοιο παράδειγμα είναι η Cloudera (http://www.cloudera.com/content/cloudera/en/home.html), η οποία ιδρύθηκε από τρεις πρώην μηχανικούς της Google της Yahoo! και του Facebook και έναν πρώην executive της Oracle το 2009. Σήμερα έχει περίπου 600 υπαλλήλους, έχει εξασφαλίσει χρηματοδότηση ύψους $1 δις και το software και τις υπηρεσίες της χρησιμοποιούν εταιρείες όπως η Expedia, η Monsanto και η Samsung.

Αλλά και ακόμα μικρότερες επιχειρήσεις, μπορούν να εκμεταλλευτούν τα Big Data, πιο έμμεσα. Στον δυτικό κόσμο όλο και περισσότερα datasets ψηφιοποιούνται και προσφέρονται ελεύθερα και υπάρχουν πολλές ευκαιρίες για ανάπτυξη προϊόντων και υπηρεσιών που χρησιμοποιούν αυτά τα datasets, σε κλάδους όπως το real estate, τα logistics ή το εμπόριο. Επιχειρήσεις που δεν χρειάζονται την επεξεργασία μεγάλων όγκων δεδομένων για την ανάπτυξη της κεντρικής δραστηριότητάς τους, μπορούν να επωφεληθούν από λύσεις που χρησιμοποιούν τα Big Data, από εξαιρετικά ώριμα εργαλεία analytics, μέχρι λύσεις digital marketing, για να αναλύσει συμπεριφορές και ανάγκες των πελατών της και να τις ικανοποιήσει με τρόπους που στο παρελθόν ήταν ανέφικτοι.