علم داده

علم داده

شناسنامه
نام‌های دیگر	دانش داده، علوم داده، داده‌شناسی
حوزه	علوم رایانه، آمار، ریاضیات کاربردی، هوش مصنوعی، علم اطلاعات، مهندسی داده
خاستگاه	آمار، تحلیل داده، علوم رایانه، پایگاه‌های داده، روش علمی و پژوهش‌های میان‌رشته‌ای
اندیشه و تاریخ
مفاهیم کلیدی	داده، مجموعه‌داده، گردآوری داده، پاک‌سازی داده، تحلیل اکتشافی، استنباط آماری، مدل‌سازی، پیش‌بینی، مصورسازی، اعتبارسنجی، بازتولیدپذیری و حکمرانی داده
جریان‌های مرتبط	تحلیل داده، داده‌کاوی، یادگیری ماشین، یادگیری عمیق، کلان‌داده، هوش مصنوعی، هوش تجاری، محاسبات علمی
تأثیرپذیرفته از	آمار ریاضی، نظریهٔ احتمال، روش علمی، علوم رایانه، پایگاه‌های داده، نظریهٔ اطلاعات و پژوهش عملیاتی
تأثیرگذار بر	پزشکی، اقتصاد، صنعت، آموزش، حمل‌ونقل، ارتباطات، علوم اجتماعی، سیاست‌گذاری عمومی، محیط‌زیست و هوش مصنوعی
نقد و ارزیابی

علم داده (به انگلیسی: Data Science)، حوزه‌ای علمی و میان‌رشته‌ای است که با بهره‌گیری از روش‌های آمار، ریاضیات، علوم رایانه، یادگیری ماشین و دانش تخصصی حوزه‌های مختلف، به گردآوری، سازمان‌دهی، پردازش، تحلیل و تفسیر داده‌ها می‌پردازد. هدف علم داده، استخراج اطلاعات و دانش معتبر از داده‌ها، شناخت الگوها و روابط، پیش‌بینی پدیده‌ها و کمک به حل مسائل و تصمیم‌گیری مبتنی بر شواهد است.

علم داده از مهم‌ترین حوزه‌های علمی و فناورانهٔ عصر دیجیتال به شمار می‌رود. گسترش اینترنت، سامانه‌های ارتباطی، تلفن‌های هوشمند، حسگرهای دیجیتال، پایگاه‌های اطلاعاتی و فناوری‌های هوش مصنوعی موجب شده است حجم و تنوع داده‌های تولیدشده در فعالیت‌های انسانی و فرایندهای طبیعی به‌شدت افزایش یابد. علم داده مجموعه‌ای از روش‌ها را برای تبدیل این داده‌ها به شناخت قابل استفاده فراهم می‌کند.

این حوزه تنها به تحلیل مجموعه‌های عظیم داده محدود نیست. حتی مجموعه‌ای کوچک از داده‌های دقیق و مناسب می‌تواند موضوع یک پژوهش علم داده باشد. آنچه اهمیت دارد، تعریف درست مسئله، کیفیت داده‌ها، انتخاب روش معتبر، ارزیابی نتایج و تفسیر آنها در زمینهٔ واقعی است.

مؤسسهٔ ملی استاندارد و فناوری آمریکا (NIST) علم داده را روشی برای ترکیب و تولید دانش سودمند از داده‌ها از طریق کشف، صورت‌بندی فرضیه و آزمون آن معرفی کرده است. در این برداشت، علم داده بخشی از فرایند تجربی تولید دانش است و صرفاً به اجرای الگوریتم‌ها یا ساخت مدل‌های پیش‌بینی محدود نمی‌شود.

علم داده در حوزه‌هایی مانند پزشکی، اقتصاد، کشاورزی، صنعت، علوم اجتماعی، آموزش، محیط‌زیست و سیاست‌گذاری عمومی کاربرد دارد. بااین‌حال، استفاده از داده‌ها همواره به نتیجهٔ درست منجر نمی‌شود. خطاهای اندازه‌گیری، نمونه‌گیری نامناسب، سوگیری داده‌ها، تفسیر نادرست همبستگی‌ها و ضعف روش‌های ارزیابی می‌توانند نتایج پژوهش را مخدوش کنند.

ازاین‌رو، علم داده علاوه بر مهارت‌های فنی، به روش‌شناسی علمی، تفکر انتقادی، شناخت عدم‌قطعیت، رعایت اخلاق پژوهش و مسئولیت‌پذیری اجتماعی نیاز دارد.

تعریف و ماهیت علم داده

علم داده را می‌توان مجموعه‌ای از اصول، روش‌ها و فناوری‌ها دانست که برای تبدیل داده‌های خام به اطلاعات و دانش قابل اعتماد به کار گرفته می‌شوند.

در این فرایند، پژوهشگر یا متخصص علم داده ابتدا مسئله‌ای مشخص را تعریف می‌کند. سپس داده‌های مرتبط را گردآوری یا شناسایی می‌کند، کیفیت آنها را بررسی می‌کند و با استفاده از روش‌های آماری و محاسباتی به تحلیل می‌پردازد.

نتیجهٔ این فرایند ممکن است یک گزارش علمی، مدل پیش‌بینی، سامانهٔ تشخیص الگو، ابزار تصمیم‌گیری یا مجموعه‌ای از یافته‌های تجربی باشد.

برای مثال، یک پژوهشگر ممکن است داده‌های مربوط به آلودگی هوا، شرایط جوی و میزان تردد خودروها را بررسی کند تا عوامل مرتبط با تغییرات آلودگی را شناسایی کند.

در این نمونه، گردآوری داده، بررسی خطاهای اندازه‌گیری، تحلیل روابط آماری، ساخت مدل و ارزیابی نتایج همگی بخشی از فعالیت علم داده هستند.

علم داده ماهیتی میان‌رشته‌ای دارد؛ زیرا تحلیل معتبر داده‌ها بدون شناخت موضوع مورد مطالعه ممکن است به نتیجه‌گیری‌های نادرست بینجامد.

برای مثال، تحلیل داده‌های پزشکی به دانش پزشکی و تحلیل داده‌های اقتصادی به شناخت مفاهیم و سازوکارهای اقتصادی نیاز دارد.

جایگاه علم داده در علوم معاصر

علم داده در مرز چند حوزهٔ علمی قرار دارد.

از یک‌سو، به سنت آمار و استنباط از نمونه‌ها وابسته است. از سوی دیگر، از ابزارهای علوم رایانه برای ذخیره‌سازی، پردازش و تحلیل اطلاعات استفاده می‌کند.

همچنین در بسیاری از کاربردها از روش‌های یادگیری ماشین برای پیش‌بینی یا شناسایی الگوهای پیچیده بهره می‌گیرد.

برخلاف تصور رایج، علم داده با یادگیری ماشین یکسان نیست. یادگیری ماشین یکی از مجموعه ابزارهای علم داده است، اما بسیاری از مسائل علم داده را می‌توان با روش‌های آماری کلاسیک، تحلیل اکتشافی یا مصورسازی بدون استفاده از مدل‌های پیچیدهٔ یادگیری ماشین بررسی کرد.

پیشینهٔ تاریخی علم داده

ریشه‌های آماری و ریاضی

ریشه‌های علم داده را می‌توان در تاریخ طولانی گردآوری و تحلیل اطلاعات جست‌وجو کرد.

از دوران باستان، حکومت‌ها و جوامع برای ادارهٔ امور اقتصادی، محاسبهٔ مالیات، سرشماری و برنامه‌ریزی از داده‌های عددی استفاده می‌کردند.

با گسترش ریاضیات و نظریهٔ احتمال در سده‌های هفدهم و هجدهم، ابزارهای نظری لازم برای تحلیل عدم‌قطعیت و بررسی پدیده‌های تصادفی توسعه یافتند.

در سده‌های نوزدهم و بیستم، روش‌های آماری پیشرفته‌تر شدند و کاربرد آنها در پزشکی، علوم طبیعی، اقتصاد و علوم اجتماعی گسترش یافت.

پژوهش‌های کارل پیرسون، رونالد فیشر و دیگر آماردانان در توسعهٔ استنباط آماری، طراحی آزمایش و تحلیل روابط میان متغیرها نقش مهمی داشتند.

جان توکی و آیندهٔ تحلیل داده

جان توکی، ریاضی‌دان و آماردان آمریکایی، از پیشگامان فکری علم دادهٔ معاصر به شمار می‌رود.

او در سال ۱۹۶۲ مقاله‌ای با عنوان «آیندهٔ تحلیل داده» (The Future of Data Analysis) منتشر کرد.

توکی در این مقاله بر اهمیت تحلیل داده به‌عنوان فعالیتی علمی تأکید کرد که تنها به اثبات قضیه‌های آماری محدود نیست.

او توجه به روش‌های گردآوری، بررسی، تفسیر و نمایش داده‌ها را ضروری دانست.

این دیدگاه بعدها از مبانی مهم گسترش علم داده شد.

گسترش علوم رایانه و پایگاه‌های داده

در نیمهٔ دوم سدهٔ بیستم، گسترش رایانه‌های دیجیتال موجب تحول در ذخیره‌سازی و پردازش داده‌ها شد.

پایگاه‌های داده، زبان‌های برنامه‌نویسی، سامانه‌های مدیریت اطلاعات و ابزارهای محاسبات آماری امکان تحلیل مجموعه‌های بزرگ‌تر و پیچیده‌تر را فراهم کردند.

در همین دوره، روش‌های داده‌کاوی و تشخیص الگو توسعه یافتند.

این تحولات زمینهٔ فنی شکل‌گیری علم دادهٔ معاصر را تقویت کردند.

ویلیام کلیولند و صورت‌بندی علم داده

ویلیام کلیولند، آماردان آمریکایی، در سال ۲۰۰۱ مقاله‌ای با عنوان «علم داده: برنامه‌ای عملی برای گسترش حوزه‌های فنی آمار» منتشر کرد.

او پیشنهاد کرد حوزهٔ آمار توجه گسترده‌تری به فرایندهای واقعی تحلیل داده، محاسبات، مدل‌سازی و ارائهٔ نتایج داشته باشد.

این مقاله از آثار مهم در صورت‌بندی علم داده به‌عنوان حوزه‌ای علمی و آموزشی به شمار می‌رود.

لئو بریمن و دو فرهنگ مدل‌سازی

لئو بریمن در سال ۲۰۰۱ مقاله‌ای با عنوان «مدل‌سازی آماری: دو فرهنگ» منتشر کرد.

او میان رویکردهایی که بر مدل‌های احتمالاتی ازپیش‌تعیین‌شده تأکید دارند و رویکردهایی که بر الگوریتم‌های پیش‌بینی مبتنی بر داده متکی هستند، تمایز گذاشت.

این بحث در تحول رابطهٔ آمار، یادگیری ماشین و علم داده اهمیت داشت.

دیدگاه بریمن به گسترش توجه به ارزیابی تجربی مدل‌ها و عملکرد آنها بر داده‌های تازه کمک کرد.

گسترش علم داده در سدهٔ بیست‌ویکم

از دههٔ ۲۰۰۰، رشد اینترنت و سامانه‌های دیجیتال موجب افزایش چشمگیر داده‌های قابل گردآوری شد.

شرکت‌ها، دانشگاه‌ها و مراکز پژوهشی به روش‌هایی نیاز پیدا کردند که بتوانند داده‌های متنوع را تحلیل کنند.

در دههٔ ۲۰۱۰، رشته‌ها و برنامه‌های دانشگاهی علم داده گسترش یافتند.

دیوید دونوهو، استاد آمار دانشگاه استنفورد، در مقالهٔ «پنجاه سال علم داده» به ریشه‌های تاریخی این حوزه و ضرورت بررسی علمی خودِ فرایند تحلیل داده پرداخت.

علم داده در دههٔ ۲۰۲۰

در دههٔ ۲۰۲۰، توسعهٔ یادگیری عمیق، مدل‌های زبانی بزرگ و هوش مصنوعی مولد بر روش‌های تحلیل و پردازش داده تأثیر گذاشت.

ابزارهای جدید امکان پردازش داده‌های متنی، تصویری و صوتی را گسترش دادند.

در همین دوره، مسائل مربوط به کیفیت داده، حریم خصوصی، امنیت، شفافیت و مسئولیت‌پذیری سامانه‌های مبتنی بر داده اهمیت بیشتری پیدا کردند.

مبانی علمی علم داده

علم داده بر چند پایهٔ اصلی استوار است: آمار، ریاضیات، علوم رایانه، روش علمی و شناخت حوزهٔ کاربرد.

هر یک از این پایه‌ها نقش متفاوتی در فرایند تولید دانش دارند.

آمار برای بررسی عدم‌قطعیت و استنباط از داده‌ها استفاده می‌شود.

ریاضیات ابزارهای لازم برای مدل‌سازی و بهینه‌سازی را فراهم می‌کند.

علوم رایانه امکان پردازش، ذخیره‌سازی و اجرای محاسبات را ایجاد می‌کند.

روش علمی چارچوبی برای طرح پرسش، آزمون فرضیه و ارزیابی یافته‌ها فراهم می‌سازد.

شناخت حوزهٔ کاربرد نیز به تفسیر درست نتایج کمک می‌کند.

داده و انواع آن

داده (Data) به مشاهدات، اندازه‌گیری‌ها، ثبت‌ها یا بازنمایی‌هایی گفته می‌شود که می‌توان از آنها برای تحلیل و تولید اطلاعات استفاده کرد.

داده‌ها ممکن است عددی، متنی، تصویری، صوتی یا ترکیبی از چند نوع باشند.

برای مثال، سن افراد، میزان بارندگی، تصاویر ماهواره‌ای، متن اسناد و داده‌های حسگرهای صنعتی همگی می‌توانند موضوع تحلیل علم داده باشند.

داده‌های ساخت‌یافته

داده‌های ساخت‌یافته (Structured Data) اطلاعاتی هستند که بر اساس قالبی مشخص سازمان‌دهی شده‌اند.

برای مثال، جدولی شامل نام کالا، قیمت، تعداد فروش و تاریخ معامله از داده‌های ساخت‌یافته تشکیل شده است.

این داده‌ها معمولاً در پایگاه‌های دادهٔ رابطه‌ای یا فایل‌های جدولی ذخیره می‌شوند.

داده‌های نیمه‌ساخت‌یافته

داده‌های نیمه‌ساخت‌یافته (Semi-structured Data) دارای برخی قواعد سازمان‌دهی هستند، اما الزاماً در قالب جدول‌های ثابت قرار نمی‌گیرند.

فایل‌های JSON و XML از نمونه‌های شناخته‌شدهٔ این نوع داده‌اند.

این قالب‌ها در تبادل اطلاعات میان سامانه‌های نرم‌افزاری کاربرد گسترده دارند.

داده‌های بدون ساختار

داده‌های بدون ساختار (Unstructured Data) اطلاعاتی هستند که ساختار جدولی ثابت ندارند.

متن آزاد، تصویر، صدا و ویدئو از نمونه‌های رایج این داده‌ها هستند.

پردازش آنها ممکن است به روش‌های پردازش زبان طبیعی، بینایی ماشین یا تحلیل سیگنال نیاز داشته باشد.

داده‌های کمی و کیفی

داده‌های کمی مقادیری هستند که به‌صورت عددی بیان می‌شوند و عملیات آماری مشخصی بر آنها قابل انجام است.

برای مثال، دما، وزن و میزان درآمد می‌توانند داده‌های کمی باشند.

داده‌های کیفی ویژگی‌ها یا دسته‌هایی را بیان می‌کنند که الزاماً مقدار عددی پیوسته ندارند.

برای مثال، نوع وسیلهٔ نقلیه یا گروه شغلی از داده‌های کیفی دسته‌ای محسوب می‌شوند.

باید میان «دادهٔ کیفی» به معنای متغیر دسته‌ای و «پژوهش کیفی» به‌عنوان یک روش‌شناسی پژوهشی تمایز گذاشت.

داده‌های مقطعی و سری زمانی

داده‌های مقطعی اطلاعات مربوط به واحدهای مختلف در یک مقطع زمانی یا بازهٔ مشخص هستند.

داده‌های سری زمانی مشاهداتی‌اند که به‌ترتیب زمان ثبت شده‌اند.

برای مثال، میزان بارندگی روزانه در یک شهر طی چند سال، سری زمانی محسوب می‌شود.

تحلیل سری‌های زمانی در اقتصاد، هواشناسی و پیش‌بینی مصرف انرژی کاربرد دارد.

کلان‌داده

کلان‌داده (Big Data) به مجموعه‌داده‌هایی اشاره دارد که ویژگی‌هایی مانند حجم زیاد، سرعت بالای تولید یا تنوع گستردهٔ قالب‌ها، پردازش آنها را با ابزارهای سنتی دشوار می‌کند.

مؤسسهٔ ملی استاندارد و فناوری آمریکا در چارچوب خود بر ویژگی‌های حجم، سرعت و تنوع داده‌ها تأکید کرده است.

کلان‌داده و علم داده یکسان نیستند.

کلان‌داده به ویژگی‌های داده و چالش‌های پردازش آن مربوط است، در حالی که علم داده حوزه‌ای گسترده‌تر برای استخراج دانش از داده‌هاست.

چرخهٔ علم داده

چرخهٔ علم داده (Data Science Lifecycle) به مراحل اصلی انجام یک پروژهٔ علم داده اشاره دارد.

این چرخه معمولاً شامل تعریف مسئله، گردآوری داده، آماده‌سازی، تحلیل، مدل‌سازی، ارزیابی، ارائهٔ نتایج و پایش است.

مراحل یادشده همیشه به‌صورت خطی اجرا نمی‌شوند. ممکن است یافته‌های یک مرحله موجب بازگشت به مراحل قبلی و اصلاح پرسش پژوهش شوند.

تعریف مسئله

نخستین مرحلهٔ یک پروژهٔ علم داده، تعریف روشن مسئله است.

پژوهشگر باید مشخص کند چه پرسشی مطرح است، چه داده‌هایی موردنیازند و موفقیت پروژه چگونه سنجیده می‌شود.

برای مثال، پرسش «چگونه می‌توان خدمات درمانی را بهبود داد؟» بسیار کلی است.

اما پرسش «کدام عوامل با افزایش زمان انتظار بیماران در یک بیمارستان ارتباط دارند؟» مشخص‌تر است و می‌توان برای بررسی آن داده‌های مناسب گردآوری کرد.

گردآوری داده

گردآوری داده (Data Collection) به فرایند به‌دست‌آوردن اطلاعات موردنیاز از منابع مختلف گفته می‌شود.

این منابع ممکن است شامل پرسش‌نامه، آزمایش، حسگر، پایگاه داده، اسناد اداری یا خدمات اینترنتی باشند.

روش گردآوری بر کیفیت نتایج اثر مستقیم دارد.

برای مثال، اگر داده‌های یک نظرسنجی فقط از گروه محدودی از جامعه گردآوری شده باشند، تعمیم نتایج آن به کل جمعیت ممکن است نامعتبر باشد.

ذخیره‌سازی و مدیریت داده

داده‌ها باید به شیوه‌ای ذخیره شوند که دسترسی، پردازش و حفاظت از آنها امکان‌پذیر باشد.

پایگاه داده، انبار داده و سامانه‌های ذخیره‌سازی توزیع‌شده از ابزارهای رایج هستند.

مدیریت داده شامل تعیین قالب، ثبت فراداده، کنترل دسترسی، پشتیبان‌گیری و نگهداری سوابق تغییرات است.

پاک‌سازی داده

پاک‌سازی داده (Data Cleaning) به شناسایی و اصلاح مشکلات موجود در داده‌ها گفته می‌شود.

این مشکلات ممکن است شامل مقادیر گمشده، ثبت‌های تکراری، خطاهای تایپی، ناسازگاری واحدها یا مقادیر غیرمعمول باشند.

برای مثال، اگر در یک مجموعه‌داده، سن یک فرد به‌اشتباه ۲۵۰ سال ثبت شده باشد، لازم است علت این مقدار بررسی شود.

پاک‌سازی داده نباید به معنای حذف خودسرانهٔ مشاهداتی باشد که با انتظار پژوهشگر سازگار نیستند.

یکپارچه‌سازی داده

یکپارچه‌سازی داده (Data Integration) به ترکیب اطلاعات منابع مختلف در قالبی سازگار اشاره دارد.

برای مثال، ممکن است اطلاعات فروش، موجودی کالا و داده‌های حمل‌ونقل در سامانه‌های جداگانه ذخیره شده باشند.

ترکیب این داده‌ها می‌تواند تحلیل جامع‌تری فراهم کند.

در این فرایند، تطبیق شناسه‌ها، هماهنگی زمان و واحدهای اندازه‌گیری و جلوگیری از ثبت‌های تکراری اهمیت دارند.

تحلیل اکتشافی داده

تحلیل اکتشافی داده (Exploratory Data Analysis) به بررسی اولیهٔ داده‌ها برای شناخت توزیع‌ها، الگوها، روابط و ناهنجاری‌ها گفته می‌شود.

در این مرحله از شاخص‌های آماری و نمودارهای مختلف استفاده می‌شود.

برای مثال، میانگین، میانه، انحراف معیار، نمودار پراکندگی و نمودار جعبه‌ای می‌توانند ویژگی‌های مهم مجموعه‌داده را آشکار کنند.

تحلیل اکتشافی در شکل‌گیری فرضیه‌های پژوهشی نقش دارد.

آمار توصیفی

آمار توصیفی (Descriptive Statistics) مجموعه‌ای از روش‌ها برای خلاصه‌سازی و نمایش ویژگی‌های داده‌هاست.

میانگین، میانه، نما، واریانس و انحراف معیار از شاخص‌های شناخته‌شدهٔ آمار توصیفی هستند.

این شاخص‌ها به پژوهشگر کمک می‌کنند ساختار کلی داده‌ها را بشناسد.

بااین‌حال، خلاصه‌سازی آماری ممکن است برخی تفاوت‌ها یا الگوهای مهم را پنهان کند؛ ازاین‌رو، بررسی نمودارها و توزیع داده‌ها نیز ضروری است.

آمار استنباطی

آمار استنباطی (Inferential Statistics) به روش‌هایی گفته می‌شود که برای نتیجه‌گیری دربارهٔ یک جامعه بر اساس داده‌های نمونه استفاده می‌شوند.

برآورد پارامترها، فاصلهٔ اطمینان و آزمون فرضیه از ابزارهای مهم این حوزه هستند.

اعتبار استنباط به روش نمونه‌گیری، فرض‌های آماری و کیفیت داده‌ها وابسته است.

نظریهٔ احتمال و عدم‌قطعیت

نظریه احتمال از مبانی اصلی علم داده است.

در بسیاری از مسائل، داده‌ها تحت تأثیر عوامل تصادفی، خطای اندازه‌گیری یا اطلاعات ناقص قرار دارند.

روش‌های احتمالاتی امکان مدل‌سازی و بیان بخشی از این عدم‌قطعیت را فراهم می‌کنند.

برای مثال، پیش‌بینی احتمال بارندگی با اعلام قطعی وقوع باران تفاوت دارد.

آزمون فرضیه

آزمون فرضیه (Hypothesis Testing) روشی آماری برای بررسی سازگاری داده‌ها با فرضیه‌ای مشخص است.

در این روش، پژوهشگر معمولاً فرض صفر و فرض جایگزین را تعریف می‌کند.

سپس با استفاده از داده‌ها و یک روش آماری مناسب، شواهد مربوط به فرضیه‌ها را بررسی می‌کند.

نتیجهٔ آزمون آماری به‌تنهایی اثبات قطعی درستی یا نادرستی یک نظریه نیست.

همبستگی و علیت

یکی از تمایزهای بنیادین علم داده، تفاوت میان همبستگی و علیت است.

همبستگی نشان می‌دهد دو متغیر از نظر آماری چگونه با یکدیگر تغییر می‌کنند.

اما وجود همبستگی لزوماً به معنای آن نیست که تغییر یکی باعث تغییر دیگری می‌شود.

برای مثال، ممکن است مصرف بستنی و شمار موارد آفتاب‌سوختگی در فصل گرم افزایش یابند، اما افزایش مصرف بستنی علت آفتاب‌سوختگی نیست.

برای بررسی روابط علّی، طراحی پژوهش، کنترل عوامل مخدوش‌کننده و روش‌های استنباط علّی اهمیت دارند.

مدل‌سازی داده

مدل‌سازی (Modeling) به ساخت بازنمایی ریاضی یا محاسباتی از روابط موجود در داده‌ها گفته می‌شود.

مدل ممکن است برای توصیف، توضیح، پیش‌بینی یا تصمیم‌گیری استفاده شود.

رگرسیون خطی، درخت تصمیم، مدل‌های احتمالاتی و شبکه‌های عصبی از نمونه‌های روش‌های مدل‌سازی هستند.

انتخاب مدل به هدف پژوهش و ویژگی‌های داده‌ها بستگی دارد.

مدل‌های پیش‌بینی

مدل پیش‌بینی (Predictive Model) با استفاده از داده‌های گذشته یا موجود، مقدار یا وضعیت متغیری را برآورد می‌کند.

برای مثال، مدل ممکن است میزان مصرف برق روز آینده را پیش‌بینی کند.

پیش‌بینی مناسب نیازمند داده‌های معتبر و ارزیابی بر نمونه‌هایی است که در آموزش مدل استفاده نشده‌اند.

اعتبارسنجی مدل

اعتبارسنجی (Validation) به بررسی عملکرد و تناسب مدل با هدف موردنظر اشاره دارد.

در یادگیری ماشین، داده‌ها معمولاً به بخش‌های آموزش، اعتبارسنجی و آزمون تقسیم می‌شوند.

هدف آن است که مشخص شود مدل فقط داده‌های گذشته را حفظ نکرده و توانایی مناسبی برای تحلیل داده‌های تازه دارد.

در کاربردهای حساس، اعتبارسنجی باید شرایط واقعی استفاده و گروه‌های مختلف جمعیتی را نیز در نظر بگیرد.

بیش‌برازش و کم‌برازش

بیش‌برازش (Overfitting) زمانی رخ می‌دهد که مدل بیش‌ازحد با ویژگی‌های خاص داده‌های آموزشی سازگار شود و در داده‌های جدید عملکرد ضعیفی داشته باشد.

کم‌برازش (Underfitting) زمانی رخ می‌دهد که مدل نتواند الگوهای مهم داده‌ها را به‌خوبی یاد بگیرد.

کنترل پیچیدگی مدل، انتخاب ویژگی‌ها و ارزیابی مناسب از راه‌های مدیریت این مشکلات هستند.

مصورسازی داده

مصورسازی داده (Data Visualization) به نمایش اطلاعات با استفاده از نمودارها، نقشه‌ها و دیگر ابزارهای تصویری گفته می‌شود.

نمودار خطی برای نمایش تغییرات زمانی، نمودار پراکندگی برای بررسی رابطهٔ دو متغیر و نمودار میله‌ای برای مقایسهٔ گروه‌ها کاربرد دارند.

انتخاب نمودار نامناسب یا تغییر گمراه‌کنندهٔ مقیاس محورها ممکن است برداشت نادرستی از داده‌ها ایجاد کند.

روایت‌گری با داده

روایت‌گری با داده (Data Storytelling) به ارائهٔ منسجم یافته‌های تحلیلی با استفاده از توضیح، شواهد و نمایش تصویری اشاره دارد.

هدف آن است که مخاطب بتواند پرسش، روش، نتیجه و محدودیت‌های تحلیل را درک کند.

روایت‌گری معتبر نباید با حذف گزینشی داده‌ها یا بزرگ‌نمایی نتایج همراه باشد.

تفاوت علم داده و آمار

آمار یکی از پایه‌های اصلی علم داده است.

آمار بر گردآوری، تحلیل، تفسیر و استنباط از داده‌ها تمرکز دارد.

علم داده علاوه بر روش‌های آماری، معمولاً موضوعاتی مانند برنامه‌نویسی، مهندسی داده، پردازش داده‌های پیچیده و استقرار سامانه‌های تحلیلی را نیز در بر می‌گیرد.

مرز میان این دو حوزه همواره قطعی نیست و بخش بزرگی از روش‌های آنها مشترک است.

تفاوت علم داده و تحلیل داده

تحلیل داده (Data Analysis) به بررسی داده‌ها برای یافتن الگوها، پاسخ‌دادن به پرسش‌ها یا ارزیابی فرضیه‌ها گفته می‌شود.

علم داده حوزه‌ای گسترده‌تر است که می‌تواند طراحی فرایند گردآوری، آماده‌سازی، تحلیل، مدل‌سازی، ارائه و بهره‌برداری از نتایج را شامل شود.

بااین‌حال، در کاربردهای حرفه‌ای و سازمانی، عنوان‌های تحلیل داده و علم داده گاهی هم‌پوشانی دارند.

تفاوت علم داده و داده‌کاوی

داده‌کاوی (Data Mining) به استفاده از روش‌های محاسباتی و آماری برای کشف الگوها و روابط در مجموعه‌داده‌ها اشاره دارد.

داده‌کاوی معمولاً یکی از فعالیت‌های موجود در فرایند علم داده است.

علم داده علاوه بر کشف الگو، به کیفیت داده، طراحی پژوهش، اعتبارسنجی، تفسیر و کاربرد نتایج نیز می‌پردازد.

تفاوت علم داده و یادگیری ماشین

یادگیری ماشین شاخه‌ای از هوش مصنوعی است که به توسعهٔ مدل‌هایی می‌پردازد که از داده‌ها و تجربه می‌آموزند.

علم داده از یادگیری ماشین برای برخی وظایف مانند پیش‌بینی، طبقه‌بندی و خوشه‌بندی استفاده می‌کند.

اما همهٔ پروژه‌های علم داده به یادگیری ماشین نیاز ندارند.

برای مثال، تحلیل یک نظرسنجی با استفاده از آمار توصیفی و فاصلهٔ اطمینان می‌تواند پروژه‌ای معتبر در علم داده باشد، بدون آنکه مدل یادگیری ماشین در آن استفاده شود.

تفاوت علم داده و هوش مصنوعی

هوش مصنوعی حوزه‌ای است که به طراحی سامانه‌های قادر به انجام وظایف مرتبط با توانایی‌های شناختی می‌پردازد.

علم داده بر استخراج و ارزیابی دانش از داده‌ها تمرکز دارد.

این دو حوزه در کاربردهای مبتنی بر یادگیری ماشین هم‌پوشانی گسترده‌ای دارند، اما یکسان نیستند.

برای مثال، علم داده ممکن است برای تحلیل یک پدیدهٔ اجتماعی از روش‌های آماری استفاده کند، در حالی که یک سامانهٔ هوش مصنوعی ممکن است برای برنامه‌ریزی از قواعد منطقی بهره ببرد.

تفاوت علم داده و هوش تجاری

هوش تجاری (Business Intelligence) به ابزارها و فرایندهایی گفته می‌شود که برای گزارش‌دهی، پایش شاخص‌ها و پشتیبانی از تصمیم‌های سازمانی استفاده می‌شوند.

داشبوردهای مدیریتی و گزارش‌های عملکرد از ابزارهای رایج هوش تجاری هستند.

علم داده می‌تواند علاوه بر گزارش وضعیت موجود، به ساخت مدل‌های پیش‌بینی، آزمون فرضیه و تحلیل روابط پیچیده بپردازد.

این دو حوزه در سازمان‌ها معمولاً مکمل یکدیگرند.

مهندسی داده

مهندسی داده (Data Engineering) به طراحی و نگهداری زیرساخت‌های گردآوری، انتقال، ذخیره‌سازی و پردازش داده‌ها مربوط است.

مهندسان داده سامانه‌هایی ایجاد می‌کنند که اطلاعات موردنیاز تحلیلگران و متخصصان علم داده را به‌شکل قابل استفاده فراهم کنند.

پایگاه‌های داده، خطوط انتقال داده و سامانه‌های پردازش توزیع‌شده از موضوعات اصلی این حوزه هستند.

پایگاه‌های داده

پایگاه داده سامانه‌ای برای سازمان‌دهی، ذخیره‌سازی و بازیابی اطلاعات است.

پایگاه‌های دادهٔ رابطه‌ای از جدول‌ها و روابط مشخص استفاده می‌کنند.

برخی سامانه‌های دیگر برای ذخیرهٔ اسناد، داده‌های کلیدـمقدار یا ساختارهای گرافی طراحی شده‌اند.

انتخاب پایگاه داده به ویژگی‌های اطلاعات و نیازهای کاربردی بستگی دارد.

زبان SQL

SQL یا زبان پرس‌وجوی ساخت‌یافته، از ابزارهای مهم کار با پایگاه‌های دادهٔ رابطه‌ای است.

این زبان برای بازیابی، ترکیب، فیلترکردن و مدیریت داده‌ها استفاده می‌شود.

آشنایی با SQL از مهارت‌های رایج در فعالیت‌های علم داده و تحلیل داده است.

زبان برنامه‌نویسی پایتون

پایتون (Python) یکی از زبان‌های پرکاربرد در علم داده است.

این زبان به دلیل خوانایی، انعطاف‌پذیری و وجود کتابخانه‌های علمی، در تحلیل داده و یادگیری ماشین کاربرد گسترده دارد.

کتابخانه‌هایی مانند NumPy، pandas، Matplotlib و scikit-learn برای محاسبات عددی، مدیریت داده، مصورسازی و مدل‌سازی استفاده می‌شوند.

زبان برنامه‌نویسی R

R زبانی برای محاسبات آماری و تحلیل داده است.

این زبان در پژوهش‌های آماری، دانشگاهی و تحلیل‌های علمی کاربرد گسترده دارد.

بسته‌های مختلف R امکاناتی برای مدل‌سازی، آزمون‌های آماری و مصورسازی داده فراهم می‌کنند.

کتابخانه‌های علم داده

کتابخانه‌های نرم‌افزاری مجموعه‌ای از ابزارهای آماده برای انجام محاسبات و تحلیل‌ها هستند.

NumPy برای محاسبات عددی، pandas برای کار با داده‌های جدولی، Matplotlib برای ترسیم نمودار و scikit-learn برای بسیاری از روش‌های یادگیری ماشین استفاده می‌شوند.

در حوزهٔ یادگیری عمیق نیز چارچوب‌هایی مانند PyTorch و TensorFlow کاربرد دارند.

استفاده از این ابزارها نیازمند شناخت فرض‌ها و محدودیت‌های روش‌های آماری و محاسباتی است.

پردازش توزیع‌شده

پردازش توزیع‌شده به اجرای محاسبات با استفاده از چند رایانه یا گرهٔ پردازشی اشاره دارد.

در برخی پروژه‌های کلان‌داده، حجم اطلاعات به‌اندازه‌ای است که پردازش آنها بر یک رایانه دشوار یا پرهزینه می‌شود.

سامانه‌هایی مانند Apache Spark برای پردازش داده در محیط‌های توزیع‌شده به کار می‌روند.

رایانش ابری و علم داده

رایانش ابری امکان دسترسی به منابع پردازشی و ذخیره‌سازی از طریق شبکه را فراهم می‌کند.

پژوهشگران و سازمان‌ها می‌توانند از زیرساخت‌های ابری برای نگهداری داده‌ها، اجرای تحلیل‌ها و آموزش مدل‌ها استفاده کنند.

بااین‌حال، استفاده از خدمات ابری مسائل مربوط به هزینه، امنیت، محل نگهداری داده و وابستگی به ارائه‌دهندهٔ خدمات را نیز مطرح می‌کند.

علم داده در پزشکی

علم داده در پزشکی برای تحلیل اطلاعات بیماران، تصاویر پزشکی، داده‌های آزمایشگاهی و نتایج پژوهش‌های بالینی استفاده می‌شود.

برای مثال، تحلیل داده‌های بیماران می‌تواند به شناسایی عوامل مرتبط با خطر بیماری یا ارزیابی اثربخشی درمان کمک کند.

در این حوزه، رعایت محرمانگی اطلاعات و اعتبارسنجی علمی اهمیت ویژه‌ای دارد.

نتایج مدل‌های آماری و محاسباتی باید با شرایط بالینی و شواهد پزشکی سازگار باشند.

علم داده در اقتصاد

در اقتصاد، علم داده برای بررسی روندهای بازار، تحلیل مصرف، مطالعهٔ اشتغال و پیش‌بینی برخی شاخص‌های اقتصادی به کار می‌رود.

داده‌های اقتصادی ممکن است شامل قیمت‌ها، تولید، درآمد، تجارت و رفتار مصرف‌کنندگان باشند.

تحلیل معتبر این داده‌ها نیازمند توجه به تغییرات ساختاری، عوامل مخدوش‌کننده و محدودیت‌های پیش‌بینی است.

علم داده در بانکداری

در بانکداری، علم داده برای تحلیل تراکنش‌ها، مدیریت خطر اعتباری و شناسایی الگوهای غیرعادی استفاده می‌شود.

سامانه‌های تشخیص تقلب می‌توانند داده‌های گذشته را بررسی کنند و تراکنش‌های مشکوک را برای ارزیابی بیشتر مشخص کنند.

در این کاربردها، امنیت اطلاعات، جلوگیری از تبعیض و امکان بررسی تصمیم‌های خودکار اهمیت دارند.

علم داده در صنعت

در صنعت، علم داده برای تحلیل عملکرد تجهیزات، کنترل کیفیت، پیش‌بینی خرابی و بهینه‌سازی فرایندهای تولید به کار می‌رود.

برای مثال، داده‌های حسگرهای یک کارخانه ممکن است نشانه‌های فرسودگی تجهیزات را آشکار کنند.

استفادهٔ مناسب از این اطلاعات می‌تواند به برنامه‌ریزی بهتر تعمیرات و کاهش توقف تولید کمک کند.

علم داده در کشاورزی

علم داده در کشاورزی برای تحلیل شرایط خاک، دما، بارندگی، مصرف آب و وضعیت محصولات استفاده می‌شود.

تصاویر ماهواره‌ای و داده‌های حسگرها می‌توانند به بررسی سلامت گیاهان و مدیریت منابع کمک کنند.

کارایی این روش‌ها به کیفیت داده‌ها و سازگاری مدل‌ها با شرایط اقلیمی و محلی وابسته است.

علم داده در محیط‌زیست

در مطالعات محیط‌زیستی، علم داده برای تحلیل آلودگی هوا، تغییرات دما، وضعیت منابع آب و تحولات پوشش گیاهی به کار می‌رود.

برای مثال، ترکیب داده‌های هواشناسی و اندازه‌گیری‌های آلودگی می‌تواند به شناسایی الگوهای زمانی و مکانی آلودگی کمک کند.

این تحلیل‌ها می‌توانند در پژوهش علمی و سیاست‌گذاری محیط‌زیستی نقش داشته باشند.

علم داده در آموزش

در آموزش، علم داده برای بررسی روند پیشرفت تحصیلی، تحلیل نتایج آزمون‌ها و ارزیابی روش‌های آموزشی استفاده می‌شود.

این تحلیل‌ها ممکن است به شناسایی نیازهای آموزشی و بهبود برنامه‌ریزی کمک کنند.

بااین‌حال، استفاده از اطلاعات دانش‌آموزان و دانشجویان نیازمند حفاظت از حریم خصوصی و پرهیز از برچسب‌گذاری ناعادلانه است.

علم داده در علوم اجتماعی

علوم اجتماعی از روش‌های علم داده برای بررسی رفتار جمعی، روندهای جمعیتی، ارتباطات و تحولات اجتماعی استفاده می‌کنند.

داده‌های نظرسنجی، سرشماری، اسناد و فعالیت‌های دیجیتال از منابع احتمالی این پژوهش‌ها هستند.

تفسیر داده‌های اجتماعی نیازمند شناخت زمینهٔ تاریخی، فرهنگی و سیاسی است.

نباید روابط آماری را بدون بررسی کافی به علل اجتماعی نسبت داد.

علم داده در سیاست‌گذاری عمومی

علم داده می‌تواند برای ارزیابی خدمات عمومی، تحلیل نیازهای جمعیتی و بررسی نتایج سیاست‌ها به کار رود.

برای مثال، داده‌های حمل‌ونقل می‌توانند به شناسایی مناطق دارای کمبود خدمات کمک کنند.

بااین‌حال، تصمیم‌های عمومی نباید صرفاً بر اساس خروجی مدل‌ها اتخاذ شوند.

شفافیت، پاسخگویی، مشارکت عمومی و بررسی پیامدهای اجتماعی از عناصر مهم استفادهٔ مسئولانه از داده‌ها در سیاست‌گذاری هستند.

علم داده و پژوهش‌های تاریخی

در پژوهش‌های تاریخی، روش‌های علم داده می‌توانند برای تحلیل مجموعه‌های بزرگ اسناد، روزنامه‌ها، کتاب‌ها و داده‌های جمعیتی استفاده شوند.

پردازش زبان طبیعی می‌تواند در شناسایی موضوعات یا الگوهای تکرارشونده در متون تاریخی کمک کند.

بااین‌حال، تحلیل محاسباتی جایگزین نقد منابع تاریخی، بررسی اصالت اسناد و تفسیر زمینهٔ تاریخی نمی‌شود.

علم داده و دانشنامه‌نویسی

علم داده می‌تواند در پژوهش و مدیریت دانشنامه‌ها نیز کاربرد داشته باشد.

تحلیل ساختار پیوندهای داخلی، بررسی الگوهای جست‌وجوی کاربران، شناسایی مقاله‌های ناقص و مطالعهٔ کیفیت فراداده‌ها از کاربردهای احتمالی آن است.

در دانشنامه‌های مبتنی بر مدیاویکی، داده‌های مربوط به پیوندها، رده‌ها، تاریخچهٔ ویرایش و آمار بازدید می‌توانند برای ارزیابی ساختار محتوایی مورد استفاده قرار گیرند.

بااین‌حال، افزایش بازدید یک مقاله لزوماً نشان‌دهندهٔ اعتبار علمی یا کیفیت محتوای آن نیست.

همچنین تحلیل خودکار متون باید با بررسی انسانی و ارزیابی منابع معتبر همراه باشد.

علم داده و زبان فارسی

پردازش داده‌های فارسی با ویژگی‌های خاصی همراه است.

وجود شکل‌های مختلف حروف، فاصله و نیم‌فاصله، تنوع شیوه‌های نگارش، املای نام‌ها و ترکیب متن فارسی و انگلیسی می‌تواند تحلیل خودکار را دشوار کند.

در پروژه‌های پردازش متن فارسی، یکسان‌سازی نویسه‌ها، تشخیص مرز واژه‌ها و بررسی کیفیت داده‌ها اهمیت دارد.

توسعهٔ مجموعه‌داده‌های معتبر و ابزارهای متن‌باز می‌تواند به پیشرفت پژوهش‌های علم داده در زبان فارسی کمک کند.

علم داده در ایران

علم داده در ایران در دانشگاه‌ها، مراکز پژوهشی و بخش‌هایی از صنعت فناوری اطلاعات مورد توجه قرار گرفته است.

حوزه‌هایی مانند تحلیل داده‌های مالی، پردازش زبان فارسی، پزشکی، حمل‌ونقل و خدمات اینترنتی از زمینه‌های کاربردی آن هستند.

توسعهٔ این حوزه به عواملی مانند آموزش تخصصی، کیفیت داده‌های در دسترس، زیرساخت پردازشی، دسترسی به منابع علمی و امکان همکاری پژوهشی وابسته است.

در زمینهٔ داده‌های عمومی، انتشار داده‌های دقیق و قابل استفاده می‌تواند به پژوهش مستقل، ارزیابی سیاست‌ها و افزایش شفافیت کمک کند.

بااین‌حال، دربارهٔ میزان واقعی گسترش علم داده در ایران و مقایسهٔ آن با دیگر کشورها باید به آمارهای معتبر و مشخص استناد کرد.

کیفیت داده

کیفیت داده (Data Quality) یکی از عوامل اصلی اعتبار نتایج علم داده است.

کیفیت می‌تواند شامل درستی، کامل‌بودن، سازگاری، به‌هنگام‌بودن و تناسب داده‌ها با هدف پژوهش باشد.

داده‌های پرحجم اما نامعتبر ممکن است نتایجی ضعیف‌تر از مجموعه‌ای کوچک و دقیق ایجاد کنند.

بنابراین، حجم داده به‌تنهایی معیار کیفیت پژوهش نیست.

سوگیری داده

سوگیری داده (Data Bias) زمانی مطرح می‌شود که فرایند گردآوری، انتخاب یا ثبت داده‌ها موجب بازنمایی نامناسب واقعیت مورد مطالعه شود.

برای مثال، اگر نظرسنجی اینترنتی فقط در دسترس گروه‌هایی با اتصال مناسب به اینترنت باشد، نتایج آن ممکن است نمایندهٔ کل جامعه نباشد.

سوگیری داده می‌تواند بر تحلیل آماری و مدل‌های یادگیری ماشین اثر بگذارد.

سوگیری نمونه‌گیری

سوگیری نمونه‌گیری (Sampling Bias) زمانی رخ می‌دهد که نمونهٔ انتخاب‌شده به‌شکلی نظام‌مند با جامعهٔ موردنظر تفاوت داشته باشد.

این مسئله می‌تواند تعمیم نتایج را مخدوش کند.

روش نمونه‌گیری، نرخ پاسخ و ویژگی‌های گروه‌های غایب از عوامل مهم در ارزیابی این نوع سوگیری هستند.

خطای اندازه‌گیری

خطای اندازه‌گیری به تفاوت میان مقدار ثبت‌شده و مقدار واقعی یا موردنظر اشاره دارد.

این خطا ممکن است ناشی از ابزار نامناسب، شرایط محیطی یا شیوهٔ ثبت اطلاعات باشد.

در برخی مسائل، خطای اندازه‌گیری تصادفی است و در برخی دیگر، الگویی نظام‌مند دارد.

شناخت این تفاوت برای تفسیر نتایج ضروری است.

داده‌های گمشده

داده‌های گمشده (Missing Data) مقادیری هستند که برای برخی مشاهدات ثبت نشده‌اند.

نبود داده ممکن است تصادفی باشد یا با ویژگی‌های افراد و پدیده‌ها ارتباط داشته باشد.

روش مدیریت داده‌های گمشده باید با توجه به علت فقدان اطلاعات و هدف تحلیل انتخاب شود.

حذف خودکار همهٔ ردیف‌های ناقص ممکن است موجب کاهش دقت یا ایجاد سوگیری شود.

بازتولیدپذیری پژوهش

بازتولیدپذیری (Reproducibility) به امکان اجرای دوبارهٔ یک تحلیل با استفاده از داده‌ها، کد و روش‌های مشخص اشاره دارد.

ثبت نسخهٔ داده‌ها، مستندسازی مراحل پردازش و نگهداری کدهای تحلیلی به بازتولیدپذیری کمک می‌کنند.

در پژوهش علمی، امکان بررسی مستقل نتایج از عوامل مهم اعتمادپذیری است.

البته انتشار عمومی همهٔ داده‌ها همیشه ممکن یا مجاز نیست؛ زیرا برخی مجموعه‌داده‌ها شامل اطلاعات شخصی یا محرمانه هستند.

داده‌های باز

داده‌های باز (Open Data) به داده‌هایی گفته می‌شود که تحت شرایط حقوقی و فنی مشخص برای استفاده و بازاستفاده در دسترس قرار می‌گیرند.

داده‌های باز می‌توانند به پژوهش علمی، شفافیت و توسعهٔ خدمات کمک کنند.

بااین‌حال، انتشار داده باید با رعایت حریم خصوصی، حقوق اشخاص و محدودیت‌های قانونی انجام شود.

حکمرانی داده

حکمرانی داده (Data Governance) به مجموعهٔ سیاست‌ها، مسئولیت‌ها و فرایندهایی گفته می‌شود که برای مدیریت داده‌ها در یک سازمان یا نظام اطلاعاتی تعیین می‌شوند.

این موضوع شامل کیفیت داده، مالکیت و مسئولیت نگهداری، دسترسی، امنیت و چرخهٔ عمر اطلاعات است.

حکمرانی مناسب داده می‌تواند از استفادهٔ نادرست، ناسازگاری اطلاعات و ضعف پاسخگویی جلوگیری کند.

علم داده و حریم خصوصی

علم داده ممکن است با اطلاعات حساس افراد سروکار داشته باشد.

داده‌های پزشکی، مالی، مکانی و ارتباطی می‌توانند اطلاعات مهمی دربارهٔ زندگی اشخاص آشکار کنند.

ازاین‌رو، رعایت حریم خصوصی در گردآوری، پردازش و انتشار داده‌ها ضروری است.

روش‌هایی مانند محدودسازی دسترسی، کاهش داده‌های گردآوری‌شده، ناشناس‌سازی و حریم خصوصی تفاضلی برای کاهش برخی خطرها به کار می‌روند.

بااین‌حال، ناشناس‌سازی همیشه مانع شناسایی مجدد اشخاص نمی‌شود، به‌ویژه هنگامی که چند مجموعه‌داده با یکدیگر ترکیب شوند.

علم داده و نظارت دیجیتال

روش‌های علم داده می‌توانند برای تحلیل الگوهای رفتاری، ارتباطات و فعالیت‌های دیجیتال افراد استفاده شوند.

این قابلیت‌ها ممکن است در برخی خدمات یا پژوهش‌ها کاربرد داشته باشند، اما در صورت استفادهٔ گسترده و نامتناسب می‌توانند خطرهایی برای آزادی‌های مدنی ایجاد کنند.

تحلیل داده‌های شخصی باید از نظر مبنای قانونی، ضرورت، تناسب و نظارت مستقل ارزیابی شود.

علم داده و حقوق بشر

کاربرد علم داده در تصمیم‌های مرتبط با استخدام، آموزش، اعتبار مالی، خدمات عمومی و اجرای قانون می‌تواند بر حقوق اشخاص اثر بگذارد.

ازاین‌رو، اصولی مانند برابری، منع تبعیض، حریم خصوصی، شفافیت و حق اعتراض در ارزیابی این سامانه‌ها اهمیت دارند.

چارچوب مدیریت خطر هوش مصنوعی مؤسسهٔ ملی استاندارد و فناوری آمریکا بر مدیریت خطرهای مربوط به افراد، سازمان‌ها و جامعه تأکید می‌کند.

علم داده و کرامت انسانی

کرامت انسانی بر ارزش ذاتی و برابر انسان‌ها تأکید دارد.

در کاربردهای علم داده، رعایت این اصل مستلزم آن است که افراد صرفاً به مجموعه‌ای از شاخص‌ها و امتیازهای محاسباتی تقلیل داده نشوند.

تصمیم‌های مهم دربارهٔ زندگی اشخاص باید با توجه به محدودیت‌های داده‌ها و امکان بررسی انسانی اتخاذ شوند.

همچنین باید امکان شناسایی خطا، اصلاح اطلاعات نادرست و رسیدگی به اعتراض‌ها وجود داشته باشد.

تبعیض الگوریتمی

تبعیض الگوریتمی زمانی مطرح می‌شود که یک سامانهٔ محاسباتی به‌صورت ناموجه برای افراد یا گروه‌های مختلف نتایج نابرابر ایجاد کند.

این مشکل ممکن است ناشی از داده‌های تاریخی، طراحی مدل، انتخاب متغیرها یا شیوهٔ استفاده از سامانه باشد.

برای مثال، اگر داده‌های آموزشی منعکس‌کنندهٔ نابرابری‌های گذشته باشند، مدل ممکن است بخشی از همان الگوها را بازتولید کند.

بررسی عدالت و تبعیض در سامانه‌های داده‌محور نیازمند ارزیابی فنی و شناخت زمینهٔ اجتماعی است.

شفافیت و توضیح‌پذیری

شفافیت به امکان شناخت هدف، داده‌ها، روش‌ها و محدودیت‌های یک سامانه اشاره دارد.

توضیح‌پذیری به امکان ارائهٔ توضیح قابل فهم دربارهٔ نتایج یا تصمیم‌های مدل مربوط است.

این دو مفهوم مرتبط‌اند، اما یکسان نیستند.

در کاربردهای حساس، مستندسازی داده‌ها، ثبت روش‌های تحلیل و ارائهٔ توضیح مناسب می‌توانند به پاسخگویی کمک کنند.

اخلاق علم داده

اخلاق علم داده به اصول و مسئولیت‌هایی مربوط است که باید در گردآوری، تحلیل، نگهداری و استفاده از داده‌ها رعایت شوند.

صداقت علمی، پرهیز از دستکاری نتایج، احترام به حریم خصوصی، کاهش تبعیض و گزارش محدودیت‌ها از اصول مهم این حوزه هستند.

پژوهشگر باید میان یافته‌های مستند، فرضیه‌ها و تفسیرهای احتمالی تمایز بگذارد.

همچنین نباید از داده‌ها برای ایجاد تصویری گمراه‌کننده از واقعیت استفاده کند.

محدودیت‌های علم داده

علم داده با وجود توانایی‌های گسترده، دارای محدودیت‌های علمی و عملی است.

نخست آنکه داده‌ها همیشه کامل و بی‌خطا نیستند.

دوم آنکه الگوهای آماری لزوماً روابط علّی را نشان نمی‌دهند.

سوم آنکه مدل‌های پیش‌بینی ممکن است در شرایط جدید عملکرد متفاوتی داشته باشند.

چهارم آنکه انتخاب مسئله، روش تحلیل و تفسیر نتایج تحت تأثیر تصمیم‌های انسانی قرار دارد.

بنابراین، علم داده جایگزین تفکر انتقادی، دانش تخصصی و روش علمی نمی‌شود.

داده‌گرایی و نقد آن

داده‌گرایی در برخی کاربردهای فلسفی و اجتماعی به دیدگاهی اشاره دارد که برای داده‌ها و تحلیل محاسباتی جایگاهی بسیار گسترده در شناخت و تصمیم‌گیری قائل است.

منتقدان این رویکرد هشدار می‌دهند که همهٔ جنبه‌های واقعیت انسانی و اجتماعی را نمی‌توان به داده‌های قابل اندازه‌گیری تقلیل داد.

تجربهٔ زیسته، ارزش‌های اخلاقی، زمینهٔ تاریخی و روابط قدرت از عواملی هستند که ممکن است در مجموعه‌داده‌ها به‌طور کامل بازنمایی نشوند.

در نتیجه، تحلیل داده باید در کنار روش‌های دیگر شناخت و بررسی انتقادی قرار گیرد.

مسئولیت‌پذیری در علم داده

مسئولیت‌پذیری به تعیین نقش و وظایف اشخاص و سازمان‌هایی مربوط است که داده‌ها را گردآوری، تحلیل یا بر اساس آنها تصمیم‌گیری می‌کنند.

در پروژه‌های علم داده، مسئولیت ممکن است میان گردآورندگان داده، تحلیلگران، توسعه‌دهندگان مدل و سازمان استفاده‌کننده تقسیم شود.

وجود مستندات، ارزیابی مستقل و سازوکارهای اصلاح خطا می‌تواند به پاسخگویی کمک کند.

علم داده و بازار کار

گسترش علم داده موجب شکل‌گیری و توسعهٔ نقش‌های حرفه‌ای مختلف شده است.

متخصص علم داده، تحلیلگر داده، مهندس داده، مهندس یادگیری ماشین و متخصص هوش تجاری از عنوان‌های رایج این حوزه هستند.

وظایف این مشاغل در سازمان‌های مختلف ممکن است هم‌پوشانی داشته باشند.

مهارت‌های آماری، برنامه‌نویسی، مدیریت داده، ارتباط علمی و شناخت مسئله از توانایی‌های مهم این حرفه‌ها به شمار می‌روند.

آموزش علم داده

آموزش علم داده معمولاً شامل آمار، احتمال، جبر خطی، برنامه‌نویسی، پایگاه‌های داده و روش‌های یادگیری ماشین است.

علاوه بر این مباحث، طراحی پژوهش، مصورسازی داده، اخلاق فناوری و روش‌های ارزیابی علمی اهمیت دارند.

آموزش مؤثر علم داده باید دانش نظری را با تجربهٔ عملی تحلیل مجموعه‌داده‌های واقعی ترکیب کند.

آیندهٔ علم داده

آیندهٔ علم داده با تحول فناوری‌های محاسباتی، افزایش تنوع داده‌ها و توسعهٔ روش‌های تحلیل پیوند دارد.

استفاده از ابزارهای هوش مصنوعی برای کمک به برنامه‌نویسی، پاک‌سازی داده و تحلیل اکتشافی می‌تواند برخی فعالیت‌ها را سریع‌تر کند.

بااین‌حال، اعتبار نتایج همچنان به کیفیت داده‌ها، روش‌شناسی علمی و ارزیابی انسانی وابسته خواهد بود.

توسعهٔ روش‌های حفظ حریم خصوصی، تحلیل داده‌های چندوجهی، پردازش توزیع‌شده و ابزارهای بازتولیدپذیر از زمینه‌های مهم پژوهشی هستند.

همچنین انتظار می‌رود موضوعاتی مانند حکمرانی داده، شفافیت، امنیت و پاسخگویی در استفاده از سامانه‌های داده‌محور اهمیت بیشتری پیدا کنند.

جمع‌بندی

علم داده حوزه‌ای میان‌رشته‌ای است که از روش‌های آماری، ریاضی و محاسباتی برای استخراج دانش معتبر و کاربردی از داده‌ها استفاده می‌کند.

ریشه‌های این حوزه به سنت‌های آماری و پژوهش‌های محاسباتی سدهٔ بیستم بازمی‌گردد. مقالهٔ جان توکی در سال ۱۹۶۲، طرح ویلیام کلیولند در سال ۲۰۰۱ و گسترش روش‌های یادگیری ماشین از نقاط عطف مهم تحول آن هستند.

علم داده مجموعه‌ای از فعالیت‌ها، از تعریف مسئله و گردآوری داده تا پاک‌سازی، تحلیل، مدل‌سازی، اعتبارسنجی و ارائهٔ نتایج را در بر می‌گیرد.

این حوزه در پزشکی، اقتصاد، صنعت، آموزش، محیط‌زیست، علوم اجتماعی و سیاست‌گذاری عمومی کاربرد دارد و می‌تواند به تصمیم‌گیری مبتنی بر شواهد کمک کند.

بااین‌حال، اعتبار نتایج علم داده به کیفیت اطلاعات، روش‌های نمونه‌گیری، فرض‌های آماری، تفسیر درست یافته‌ها و شناخت محدودیت‌های مدل‌ها وابسته است.

حریم خصوصی، سوگیری داده، تبعیض الگوریتمی، شفافیت و مسئولیت‌پذیری نیز از مسائل مهم اجتماعی و اخلاقی این حوزه هستند.

در مجموع، علم داده ابزاری برای شناخت و تحلیل جهان بر اساس شواهد تجربی است؛ اما استفادهٔ معتبر از آن نیازمند پیوند میان توانایی محاسباتی، روش علمی، تفکر انتقادی و رعایت حقوق انسانی است.

جستارهای وابسته

• داده
• تحلیل داده
• داده‌کاوی
• کلان‌داده
• آمار
• آمار توصیفی
• آمار استنباطی
• نظریه احتمال
• ریاضیات کاربردی
• علوم رایانه
• الگوریتم
• یادگیری ماشین
• یادگیری عمیق
• هوش مصنوعی
• هوش مصنوعی مولد
• شبکه عصبی مصنوعی
• پردازش زبان طبیعی
• بینایی ماشین
• پایگاه داده
• برنامه‌نویسی
• پایتون
• هوش تجاری
• مهندسی داده
• مصورسازی داده
• حریم خصوصی
• سوگیری الگوریتمی
• حقوق بشر
• کرامت انسانی

منابع

```