آشنایی با طراحی Data Warehouse

آشنایی با طراحی Data Warehouse

در این مقاله از بخش مدیریت داده و Data Warehouse پس از اینکه با مقاله آشنایی با معماری Data Warehouse آشنا شدیم می خواهیم با طراحی Data Warehouse (انبار داده) آشنا شویم.

عملیات طراحی Data Warehouse (انبار داده) برای پیاده‌سازی سیستم‌های Data Warehouse (انبار داده)، جریان چرخه عمر Life Cycle توسعه خاص خود را دارد.

این شامل مراحل اساسی مانند تجزیه و تحلیل مورد نیاز Requirement Analysis، شناسایی منبع داده Data Source Identification، پردازش ETL،مدل سازی داده Data Modeling برای انتخاب مدل داده بر اساس نیاز و منابع داده، و رویکرد طراحی برای انتخاب رویکرد طراحی بر اساس آن Data Warehouse (انبار داده) است که قرار است اجرا شود.

یعنی یا (“رویکرد از بالا به پایین” top-down approach) یا (“رویکرد پایین به بالا” bottom-up approach) Data Warehouse (انبار داده) دو مفهوم عمده دارد:

  • OLAP: پردازش تحلیلی آنلاین (Online Analytical Processing)
  • OLTP: پردازش معاملات آنلاین (Online Transactional Processing)

هر دو سیستم بالا که عنوان شد پردازش آنلاین هستند اما تفاوت هایی با هم دارند.

OLTP برنامه های تراکنشی (transactional application) مانند ATM را مدیریت می کند،

OLAP برای پردازش های تحلیلی مانند گزارش، پیش بینی (reporting, forecasting) و غیره استفاده می کند.

طراحی Data Warehouse (انبار داده) چه کاربردی دارد؟

عملیات طراحی Data Warehouse (انبار داده) برای پیاده‌سازی سیستم‌های Data Warehouse (انبار داده)، جریان چرخه عمر Life Cycle کاربرد دارد.

جمع آوری نیازمندی های برای طراحی Data Warehouse

  • جمع آوری نیازمندی ها یک مرحله در طراحی Data Warehouse (انبار داده) است. نیاز به تعیین معیارها و اجرای موفقیت آمیز آنها دارد. بنابراین، دو استراتژی برای طراحی Data Warehouse (انبار داده) استفاده می شود: business و technical.
  • استراتژی کسب و کار بر دیدگاه بلند مدت کسب و کار تمرکز دارد و به افزایش سود برای رشد کمک می کند. الزامات استراتژی فنی بر اساس گزارش کاربر، تجزیه و تحلیل، انتخاب سخت افزار، روش توسعه، تکنیک تست، محیط پیاده سازی و آموزش کاربر است.
  • وقتی استراتژی business و technical را تعیین کردیم، باید طرح BCP (Disaster Recovery) را نیز طراحی کنیم. هنگامی که یک فاجعه توسط انسان یا به طور طبیعی رخ می دهد، باید برنامه ای برای بازیابی سریع داده ها داشته باشیم و اطمینان حاصل کنیم که داده ها از دست نمی روند. تدوین طرح بازیابی disaster recovery plan یکی از چالش های مهم و باعث ایجاد اعتماد برای سازمان می شود.

راه اندازی محیط Data Warehouse

  • هنگامی که داده ها را برای طراحی Data Warehouse (انبار داده) جمع آوری کردیم، باید یک محیط مناسب برای توسعه development، آزمایش testing و تولید production ایجاد کنیم. ترجیحاً باید یک سیستم جداگانه برای برنامه کاربردی، پایگاه داده و جداگانه برای گزارش reporting/ETL نیز وجود داشته باشد.
  • هنگامی که ما در حال ساختن یک محیط مجزا برای هر یک هستیم، اطمینان حاصل می شود که می توان همه تغییرات را توسعه developed و آزمایش tested کرد و سپس به سمت تولید production حرکت کرد.
  • اگر یک محیط واحد single environment داشته باشیم که برای همه این فعالیت ها طراحی شده باشد، ممکن است منجر به مشکل و از دست رفتن داده ها شود. به عنوان مثال، هنگامی که یک حادثه در سیستم رخ می دهد، ما نمی توانیم مسیریابی کنیم و راه حل آن را پیدا کنیم و این موضوع آن را پیچیده تر می کند.

مدل سازی داده ها (Data Modelling) در طراحی Data Warehouse

  • هنگامی که جمع آوری نیازمندی ها و محیط تنظیم شد، مرحله بعدی طراحی نحوه اتصال منبع داده data source، پردازش process و ذخیره سازی در Data Warehouse (انبار داده) است. این تکنیک را اصطلاحا مدل سازی داده data modelling نامیده می شود. می تواند تحلیلی از یک object  و رابطه بین آنها باشد.
  • هنگام طراحی Data Warehouse (انبار داده)، مهندسان طراحی کردند که داده ها چگونه و در کجا باید ذخیره شوند. به همین مناسبت، باید راه ممکن برای بازیابی داده ها از Data Warehouse (انبار داده) را نیز تعریف کنیم. هنگامی که منبع شناسایی شد، تیم می تواند منطق را بسازد و یک نمای structure schema ایجاد کند.

انواع مدل داده (Data Model)

سه نوع مدل داده (Data Model) وجود دارد:

  • مفهومی (Conceptual)
  • منطقی (Logical)
  • فیزیکی (Physical)

سه نوع مدل داده (Data Model) در زیر توضیح داده شده است:

  1. مفهومی (Conceptual): می گوید WHAT یعنی سیستم شامل چه چیزی است، و توسط معماران کسب و کار طراحی شده است تا محدوده استراتژی کسب و کار را تعریف کند.
  2. منطقی (Logical): این تعریف می کند که چگونه HOW منطقی می تواند در DBMS ایجاد شود. توسط یک تحلیلگر تجاری Business Analyst و معمار داده Data Architect طراحی می شود تا مجموعه ای از قوانین برای ذخیره/بازیابی داده ها ایجاد کند.
  3. فیزیکی (Physical): این تعریف می کند که چگونه HOW سیستم می تواند پیاده سازی شود.
مدل سازی داده ها (Data Modelling) در طراحی Data Warehouse
مدل سازی داده ها (Data Modelling) در طراحی Data Warehouse

استفاده از طراحی Data Warehouse

طراحی Data Warehouse (انبار داده) خوب می تواند هنگام بازیابی داده ها زمان بر باشد.

هر مرحله باید به طور موثر دنبال شود تا سیستم به یک مرحله خوب تبدیل شود.

این به سازمان کمک می کند تا انواع پیچیده داده ها (complex types of data) را مدیریت کند و بهره وری را بر اساس تحلیل روند بهبود بخشد.

بنابراین هر مرحله در طراحی معماری (data warehouse)DWH در روش انتخاب مهم و آگاهانه تر است. سازمان متعاقباً وارد هر جریان می شود و منجر به اجرای موفقیت آمیز انبار داده می شود.

طراحی Data Warehouse
طراحی Data Warehouse

چند کاربرد مهم در استفاده از Data Warehouse (انبار داده) وجود دارد:

  1. صنعت بانکداری: اکثر بانک ها از Data Warehouse (انبار داده) برای ذخیره حجم زیادی از داده های تراکنش و توانایی بازیابی داده های پرس و جو بسیار سریعتر استفاده می کنند. می توان آن را مانند داده های مشتری، روند بازار، گزارش ها، تجزیه و تحلیل و غیره مدیریت کرد.
  2. صنعت مالی: شبیه بانکداری است، اما تنها تمرکز بر بهبود تغییرات مالی با تجزیه و تحلیل داده های مشتریان است.
  3. دولت: امروزه دولت داده های زیادی را به صورت آنلاین مدیریت و در پایگاه داده رابطه ای ذخیره می کند. هر داده مانند Aadhaar رابطه ای با یکدیگر دارند. PAN به منابع زیادی مرتبط است.
  4. مراقبت های بهداشتی: مدیران و خدمات بهداشتی و درمانی اطلاعات بسیار زیادی دارند. جزئیات بالینی، سوابق مشتریان را حفظ می کند و به آنها کمک می کند تا نتایج را پیش بینی کنند، بازخوردها را تجزیه و تحلیل کنند و گزارش تولید کنند.
  5. بیمه: شرکت بیمه در درجه اول برای الگوهای داده، روند مشتری و نگهداری سوابق استفاده می شود.
  6. صنعت تولید و توزیع: بیشترین کاربرد را در تمام صنایع برای ذخیره اطلاعات اقلام دارد و به آنها در پیش بینی اقلام تقاضا برای ساخت و فروش کمک می کند. تجزیه و تحلیل کالای فروخته شده که تکنیک های تصمیم گیری بهتری را ارائه می دهد.
  7. خدمات خرده فروشان: خرده فروشان واسطه بین تولیدکننده و مشتری هستند. Data Warehouse (انبار داده) به آنها در تبلیغات و روند خرید اقلام کمک می کند.
  8. صنعت تلفن: صنایع تلفن، داده های تاریخی زیادی را مدیریت می کنند، که به روند داده های مشتری کمک می کند و هدف قرار دادن کمپین های تبلیغاتی را افزایش می دهد.

مزایا و معایب Data Warehouse

در زیر به مزایا و معایب Data Warehouse (انبار داده) اشاره شده است:

مزایا Data Warehouse

  • هوش تجاری Business Intelligence پیشرفته را ارائه می دهد.
  • کیفیت و سازگاری داده ها (Data Quality and Consistency) را تضمین می کند.
  • موجب صرفه جویی در زمان و هزینه می شود.
  • داده های هوشمند (از گذشته تا الان) را ردیابی می کند.
  • ROI بالایی ایجاد می کند.

معایب Data Warehouse

  • تولید گزارش های اضافی
  • انعطاف ناپذیری و همگن سازی داده ها.
  • نگرانی های مالکیت روی داده ها.
  • تقاضا برای درخواست مقادیر زیادی از منابع.
  • مسائل پنهان و دیده نشده زمان زیادی می برد.

در ادامه می توانید مقاله آشنایی با فرآیند پیاده سازی Data Warehouse را مطالعه بفرمایید.

من در انتهای بعضی مقالاتم به جهت تنوع و دوست داشتن و رفع خستگی (مطالعه مقالات) موزیکایی که دوست دارم رو میزارم که گوش کنید و حالش رو ببرید. مسلما مطالعه مستمر خیلی مفید و کاربردی نیست و لازم هستش یه مواقعی از موسیقی لذت ببرید.

امیدوارم موزیکای که میزارم رو دوست داشته باشید و اگر شما هم موزیکی دوست داشتید و به سبک من میخورد بگین که حتما در انتهای مقالات بعدی قرار بدم 🙂

موزیک Turn The Page از Metallica

محسن زمانی هستم، برنامه نویس و طراح وب ، سئو هم بلدم . به هدف تفریح و سرگرمی این وب سایت رو طراحی کردم تا مطالبی که دوست دارم رو اینجا به اشتراک بزارم.

دیدگاه خود را بنویسید:

آدرس ایمیل شما نمایش داده نخواهد شد.