„Големите данни“ са проблемни не само заради обема си (видео)

Септември 20, 2013 от Александър Главчев

Едни от основните двигатели на прогреса в сферата на ИТ, като мобилността и социалните медии, водят до допълнително ускоряване на информационния ръст. Това, в комбинация с факта, че от една страна самите big data се смятат за един от стълбовете на развитието на дигиталния свят, а от друга технологиите за съхранение сериозно изостават по отношение процентното нарастването техния обем, загатва нуждата от специални технологии за управление големи потоци от информация. Това сподели Нели Вачева, управител на IDC България по време на откриването на форум, посветен на големите данни и бизнес аналитиката.

„Big data са свързани с цял един набор от технологии, които не включват само аналитични решения – обясни Вачева. – Те са предназначени да успяват да прихващат информация от различни източници, да я анализират и да доставят резултатите за употреба и за взимане на решения.”

Наистина, обемът е основното и нещото, което най-много се набива на очи, когато става дума за големи данни. На лице е обаче и друга промяна при информацията, която подлежи на анализ. Данните, които идват от социалните мрежи са неструктурирани, например текстови и видео файлове. Друг проблем е желанието на бизнеса данните да бъдат обработвани и достъпвани почти в реално време.

По думите на Вачева пазарът на технологии за управление на големи обеми от данни не консолидиран, като са на лице голям брой нишови играчи. Организациите трябва да се замислят кой от наличните варианти е подходящ за тях.

Не трябва да се забравя и че големите данни водят до други изисквания към ИТ инфраструктурата. Те трябва да бъдат обменяни през мрежата с висока скорост, и да бъдат съхранявани, което често води след себе си до нуждата от изграждане на сложни системи.

Александър Марков, основател и собственик на фирма Yactor описа някои от проблемите и потенциалните решения, свърани с големите данни. По негови думи един от най-сериозните проблеми в тази област е скоростта на твърдите дискове, които могат да извършват около 120 млн. пъти по-малко операции в секунда от един съвременен процесор. „Дисковете са най-бавното нещо в една съвременна система – посочи той. – Големите данни се спъват най-вече от системите за съхраняване на информация.“ Точно затова телекомите и финансовите институции обработват данните си часове наред през нощта, за да са готови за следващия работен ден.

Един от начините за ускоряване на производителността в реално време, който се прилага от гиганти като Google, e събирането на обработката на информация и сториджа на едно място. При т.нар. soft storage се постига доста по-високо бързодействие, благодарение на използването на вътрешни за компютъра интерфейси, а не външни като FibreChannel например. Въпре, че оптичната технология предлага 8-гигабитова връзка, вътре в машината дисковете мгат да обменят данни с гигабайти в секунда – т.е. десетки пъти по-бързо. Недостатък на този подход е усложняването на цялостното решение, тъй като се работи на ниво локални дискове, които съдържат едно малко парче от цялата база данни. Чрез софтуерни приложения се осигурява правилото разпределение на информацията, така че да няма забавяния при достъпването до нея.