کلان داده، داده عظيم، Big Data، داده کاوي

داده هاي بزرگ يا عظيم داده ترجمه اصطلاح Big Data مي باشد که معمولا به مجموعه از داده ها اطلاق مي شود که اندازه آنها فراتر از حدي است که با نرم افزارهاي معمول بتوان آنها را در يک زمان معقول اخذ، دقيق سازي، مديريت و پردازش کرد مفهوم «اندازه» در داده هاي بزرگ بطور مستمر در حال تغيير است و به مرور بزرگتر مي شود

داده هاي بزرگ Big Data مجموعه از تکنيک ها و تاکتيک هايي است که نيازمند شکل جديدي از يکپارچگي هستند تا بتوانند ارزش هاي بزرگي را که در مجموعه هاي بزرگ، وسيع، پيچيده و متنوع داده پنهان شده اند، آشکار سازند

از اين رو با رشد روز افزون داده ها و نياز به بهره برداري و تحليل از اين داده ها، بکارگيري زيرساخت هاي Big Data از اهميت ويژه اي برخوردار شده است اين شرکت نيز در سال هاي اخير با درک اين موضوع، توانسته است گام هاي موثري در راستاي تسلط به اين حوزه بردارد و افتخار دارد که يکي از موسسات پيشرو در اين زمينه در کشور باشد

عبارت Big Data مدت‌ها است که براي اشاره به حجم‌هاي عظيمي از داده‌‌ها که توسط سازمان‌هاي بزرگ، کارخانجات، سازمان هاي دولتي و ذخيره و تحليل مي‌شوند مورد استفاده قرار مي‌گيرد اما به تازگي، اين عبارت بيشتر براي اشاره به مجموعه‌هاي داده‌اي بزرگي استفاده مي‌شود که به قدري بزرگ و حجيم هستند که با ابزارهاي مديريتي و پايگاه‌هاي داده سنتي و معمولي قابل مديريت نيستند مشکلات اصلي در کار با اين نوع داده‌‌ها مربوط به برداشت و جمع‌آوري، ذخيره‌سازي، جست‌وجو، اشتراک‌گذاري، تحليل و نمايش آن‌ها است اين مبحث، به اين دليل هر روز جذابيت و مقبوليت بيشتري پيدا مي‌کند که با استفاده از تحليل حجم‌هاي بيشتري از داده‌ها، مي‌توان تحليل‌هاي بهتر و پيشرفته‌تري را براي مقاصد مختلف، از جمله مقاصد تجاري، پزشکي‌ و امنيتي، انجام داد و نتايج مناسب‌تري را دريافت‌کرد بيشتر تحليل‌هاي مورد نياز در پردازش داده‌هاي عظيم، توسط دانشمندان در علومي مانند هواشناسي، ژنتيک، شبيه‌سازي‌هاي پيچيده فيزيک، تحقيقات زيست‌شناسي و محيطي، جست‌وجوي اينترنت، تحليل‌هاي اقتصادي و مالي و تجاري مورد استفاده قرار مي‌گيرد حجم داده‌هاي ذخيره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌ خاطر توليد و جمع‌آوري داده‌‌ها از مجموعه بزرگي از تجهيزات و ابزارهاي مختلف مانند گوشي‌هاي موبايل، حسگرهاي محيطي، لاگ نرم‌افزارهاي مختلف، دوربين‌ها، ميکروفون‌ها، دستگاه‌هاي تشخيص RFID، شبکه‌هاي حسگر بي‌سيم وغيره با سرعت خيره‌کننده‌اي در حال افزايش است در اين مقاله ضمن بررسي مفاهيم پايه اي در بزرگ داده، به بررسي راه حل هاي موجود براي مديريت و بهره برداري از اين نوع داده ها خواهيم پرداخت

براي ايجاد يک ديد مناسب در خصوص کلان داده و اهميت آن، جامعه اي را تصور کنيد که در آن جمعيت بطور نمايي در حال افزايش است، اما خدمات و زيرساخت هاي عمومي آن نتواند پاسخگوي رشد جمعيت باشد و از عهده مديريت آن برآيد چنين شرايطي در حوزه داده در حال وقوع است بنابراين نيازمند توسعه زيرساخت هاي فني براي مديريت داده و رشد آن در بخش هايي نظير جمع آوري، ذخيره سازي، جستجو، به اشتراک گذاري و تحليل مي باشيم دستيابي به اين توانمندي معادل است با شرايطي که مثلا بتوانيم amp quot هنگامي که با اطلاعات بيشتري در حوزه سلامت مواجه باشيم، با بازدهي بيشتري سلامت را ارتقا دهيم amp quot ، amp quot در شرايطي که خطرات امنيتي افزايش پيدا ميکند، سطح امنيت بيشتري را فراهم کنيم amp quot ، amp quot وقتي که با رويدادهاي بيشتري از نظر آب و هوايي مواجه باشيم، توان پيش بيني دقيقتر و بهتري بدست آوريم amp quot ، amp quot در دنيايي با خودروهاي بيشتر، آمار تصادفات و حوادث را کاهش دهيم amp quot ، amp quot تعداد تراکنش هاي بانکي، بيمه و مالي افزايش پيدا کند، ولي تقلب کمتري را شاهد باشيم amp quot ، amp quot با منابع طبيعي کمتر، به انرژي بيشتر و ارزانتري دسترسي داشته باشيم amp quot و بسياري موارد ديگر از اين قبيل که اهميت پنهان کلان داده را نشان مي دهد

چالش هاي حوزه کلان داده
در بحث کلان داده، ما نياز داريم که داده ها را به منظور استخراج اطلاعات، کشف دانش و در نهايت تصميم گيري در خصوص مسائل مختلف کاربردي به صورت صحيح مديريت کنيم مديريت داده ها عموما شامل 5 فعاليت اصلي ميباشد

جمع آوري
ذخيره سازي
جستجو
به اشتراک گذاري
تحليل

تاکنون چالشهاي زيادي در حوزه کلان داده مطرح شده است که تا حدودي از جنبه تئوري ابعاد مختلفي از مشکلات اين حوزه را بيان ميکنند اين چالش ها در ابتدا سه بعد اصلي حجم داده، نرخ توليد و تنوع به عنوان 3V’s مطرح شدند ولي در ادامه چالش هاي بيشتري در ادبيات موضوع توسط محققان مطرح شده است

حجم داده Volume حجم داده ها به صورت نمايي در حال رشد مي باشد منابع مختلفي نظير شبکه هاي اجتماعي، لاگ سرورهاي وب، جريان هاي ترافيک، تصاوير ماهواره اي، جريان هاي صوتي، تراکنش هاي بانکي، محتواي صفحات وب، اسناد دولتي و وجود دارد که حجم داده بسيار زيادي توليد مي کنند

نرخ توليد Velocity داده ها از طريق برنامه هاي کاربردي و سنسورهاي بسيار زيادي که در محيط وجود دارند با سرعت بسيار زياد و به صورت بلادرنگ توليد مي شوند بسياري از کاربردها نياز دارند به محض ورود داده به درخواست کاربر پاسخ دهند ممکن است در برخي موارد نتوانيم به اندازه کافي صبر کنيم تا مثلا يک گزارش در سيستم براي مدت طولاني پردازش شود

تنوع Variety انواع منابع داده و تنوع در نوع داده بسيار زياد مي باشد که در نتيجه ساختارهاي داده اي بسيار زيادي وجود دارد مثلا در وب، افراد از نرم افزارها و مرورگرهاي مختلفي براي ارسال اطلاعات استفاده مي کنند بسياري از اطلاعات مستقيما از انسان دريافت ميشود و بنابراين وجود خطا اجتناب ناپذير است اين تنوع سبب ميشود جامعيت داده تحت تاثير قرار بگيرد زيرا هرچه تنوع بيشتري وجود داشته باشد، احتمال بروز خطاي بيشتري نيز وجود خواهد داشت

صحت Veracity با توجه به اينکه داده ها از منابع مختلف دريافت ميشوند، ممکن است نتوان به همه آنها اعتماد کرد مثلا در يک شبکه اجتماعي، ممکن است نظرهاي زيادي در خصوص يک موضوع خاص ارائه شود اما اينکه آيا همه آنها صحيح و قابل اطمينان هستند، موضوعي است که نميتوان به سادگي از کنار آن در حجم بسيار زيادي از اطلاعات گذشت البته بعضي از تحقيقات اين چالش را به معناي حفظ همه مشخصه هاي داده اصلي بيان کرده اند که بايد حفظ شود تا بتوان کيفيت و صحت داده را تضمين کرد البته تعريف دوم در مولدهاي کلان داده صدق ميکند تا بتوان داده اي توليد کرد که نشان دهنده ويژگي هاي داده اصلي باشد

اعتبار Validity با فرض اينکه ديتا صحيح باشد، ممکن است براي برخي کاربردها مناسب نباشد يا به عبارت ديگر از اعتبار کافي براي استفاده در برخي از کاربردها برخوردار نباشد

نوسان Volatility سرعت تغيير ارزش داده هاي مختلف در طول زمان ميتواند متفاوت باشد در يک سيستم معمولي تجارت الکترونيک، سرعت نوسان داده ها زياد نيست و ممکن است داده هاي موجود مثلا براي يک سال ارزش خود را حفظ کنند، اما در کاربردهايي نظير تحليل ارز و بورس، داده با نوسان زيادي مواجه هستند و داده ها به سرعت ارزش خود را از دست ميدهند و مقادير جديدي به خود مي گيرند اگرچه نگهداري اطلاعات در زمان طولاني به منظور تحليل تغييرات و نوسان داده ها حائز اهميت است افزايش دوره نگهداري اطلاعات، مسلما هزينه هاي پياده سازي زيادي را دربر خواهد داشت که بايد در نظر گرفته شود

نمايش Visualization يکي از کارهاي مشکل در حوزه کلان داده، نمايش اطلاعات است اينکه بخواهيم کاري کنيم که حجم عظيم اطلاعات با ارتباطات پيچيده، به خوبي قابل فهم و قابل مطالعه باشد از طريق روش هاي تحليلي و بصري سازي مناسب اطلاعات امکان پذيري است

ارزش Value اين موضوع دلالت بر اين دارد که از نظر اطلاعاتي براي تصميم گيري چقدر داده حائز ارزش است بعبارت ديگر آيا هزينه اي که براي نگهداري داده و پردازش آنها ميشود، ارزش آن را از نظر تصميم گيري دارد يا نه معمولا داده ها ميتوانند در لايه هاي مختلف جابجا شوند لايه هاي بالاتر به معناي ارزش بيشتر داده مي باشند بنابراين برخي از سازمانها ميتوانند هزينه بالاي نگهداري مربوط به لايه هاي بالاتر را قبول کنند

تحليل و مديريت داده هاي عظيم Big data
با ورود به عصر اطلاعات و ارتباطات و آغاز استفاده از داده ها و اطلاعات به عنوان سرمايه هاي اصلي در حرکت علمي، اقتصادي، اجتماعي و فرهنگي جوامع، سازمان ها و شرکت هاي مختلف و توسعه مشارکت افراد در جهان اينترنت و ارتباطات شبکه اي در دنيا، دغدغه اي بروز پيدا کرد که از جنس همين داده هايي بود که همه روز و با سرعت وحشتناک در دنيا و در عرصه هاي مختلفي که فناوري اطلاعات ورود پيدا کرده بود، توليد مي شود و آن اينکه چگونه اين حجم بزرگ و متنوع داده ها و اطلاعات را با توجه به ساختار هايي که در فضاي فناوري اطلاعات وجود دارد، مي توان مديريت، کنترل و پردازش کرد و از آن در جهت بهبود ساختارها و سودآوري بيشتر بهره جست؟

شرکت رايان نت نمايندگي رسمي آي تي ريسرچز در ايران، ارايه دهنده طيف وسيعي از خدمات پردازش داده مبتني بر فناوري هاي Big Data و فريمورک فدرتمند Hadoop مي باشد

اين مجموعه با در اختيار داشتن نيروهاي کارآمد و متخصص جوان و مجرب در امر توسعه و توليد نرم افزار با استفاده از آخرين دانش و تکنولوژي روز سعي نموده است تا با ارائه خدمات حرفه اي به شرکتها ، موسسات و اشخاص حقيقي و حقوقي در جهت رفع نيازهاي نرم افزاري و ايجاد بستر مناسب IT قدم بردارد اين شرکت با تکيه بر اصول مهندسي نرم افزار و با استفاده از جديدترين و مناسبترين روشها آمادگي دارد طراحي ، برنامه نويسي و اجرائي نمودن پروژه هاي نرم افزاري را طبق نيازهاي واقعي مشتري بعهده گيرد

معرفي شرکت
اين مجموعه در سال 1386 با اخذ نمايندگي رسمي مرکز تحقيقات و شرکت بين المللي آي تي ريسرچز IT Researches فعاليت خود را در ايران آغاز نمود، شرکت بين المللي و مرکز تحقيقات IT researches يک کمپاني فعال در فناوري اطلاعات و تحقيقات علوم کامپيوتر مستقر در انگلستان است که با شعبه هاي متعدد در کشور هاي مختلف پهناي وسيعي از خدمات تجاري و علمي را بر پايه هوش مصنوعي به شرکتها و سازمانها در سراسر جهان ارائه مي نمايد اين شرکت همکاري هاي گسترده اي را به عنوان همکار تجاري با شرکت هاي مطرح فناوري اطلاعات از جمله مايکروسافت، آي بي ام، آمازون و بيش از 30 شرکت بزرگ ديگر دارد

اطلاعات بيشتر www itresearches co uk

در طي سال هاي 1386 تا 1394 توسعه مجموعه با روند رو به رشدي همراه بود به نحوي که اين مجموعه در حال حاضر با 5 شخصيت حقوقي مستقل در ايران، ارمنستان و انگلستان و با نام هاي تجاري IT Researches , Talee و رايان نت مشغول به فعاليت مي باشد، براي اطلاع از جزئيات بيشتر مي توانيد به وبسايت انگليسي زبان شرکت و يا بخش ارتباط با ما مراجعه نماييد

خدمات اين شرکت طيف وسيعي از راهکار هاي فناوري اطلاعات مبتني بر هوش مصنوعي را شامل مي شود، هوش مصنوعي به سيستم‌هايي گفته مي‌شود که مي‌تواند واکنش‌هايي مشابه رفتارهاي هوشمند انساني از جمله درک شرايط پيچيده، شبيه‌سازي فرايندهاي تفکري و شيوه‌هاي استدلالي انساني و پاسخ موفق به آنها، يادگيري و توانايي کسب دانش و استدلال براي حل مسايل را داشته باشند

برخي از تخصص ها و تکنولوژي هاي مورد استفاده شرکت در انجام پروژه ها به شرح زير است شبکه هاي عصبي ، الگوريتم ژنتيک، سيستم هاي فازي، يادگيري ماشيني، داده کاوي، کلان داده، پردازش تصوير، پردازش زبان طبيعي، پردازش صدا، هوش تجاري، سيستم هاي خبره و

براي اطلاعات بيشتر با ما تماس بگيريد

اطلاعات تماس
وبسايت www itresearches ir

دفتر تهران اقدسيه – نرسيده به ميني سيتي – جنب بانک پاسارگاد – پلاک 113 – طبقه 4
اصفهان چهارباغ بالا مجتمع پارسيان طبقه 3 واحد 511
لندن، خيابان ونلاک، شماره 20 22 کد پستي N1 7GU
20 22 Wenlock Road, London, N1 7GU
ارمنستان ايروان مرکز تجاري سيتادل واحد 205
105 1 Teryan St, Yerevan 0009, Armenia

وبسايت انگليسي www talee co uk

شماره هاي تماس
دفتر لندن 00442035198382
دفتر ايروان 0037460640221
مرکز پاسخگويي 021284282

بخش محصولات مايکروسافت 02128429090
بخش پشتيباني 02128429091
دفتر اصفهان 03195014947
بخش خدمات هوش مصنوعي 02188627521

فکس
02189781659
02128429386

ايميل مديريت Iran itresearches co uk
ايميل پشتيباني support itresearches ir
ايميل ارتباطات info itresearches ir

لينک مستقيم
https www itresearches ir کلان داده داده عظيم يا big data