در برخی سیستم‏ها، برای کاهش حجم محاسبات بخش نرم‏افزار هوشمند، از نورپردازی پالسی طیف مادون قرمز استفاده شده است [۶, ۲۰-۲۳]. این روش امکان آشکارسازی سریع چشم را فراهم می‏کند. معمولا در نورپردازی پالسی^[۲۸] برای همزمان‏سازی^[۲۹] نورپردازی و تصویربرداری از کنترل‏کننده استفاده می‏شود. در این حالت کنترل‏کننده روشن شدن منبع (منابع) نور و لحظه بازشدن دهانه دیافراگم دوربین را تنظیم می‏کند. از مزایای نورپردازی پالسی نسبت به نورپردازی معمولی می‏توان به کاهش تاثیر نویز محیط در تصویر و همچنین کاهش توان مصرفی منبع نور اشاره کرد [۲۰].

سخت‏افزار و پردازنده
بخش سخت‏افزار و پردازنده شامل بورد سخت‏افزاری، یک یا چند پردازنده و رابط انسان و ماشین^[۳۰] (HMI) است. در سیستم‏های واقعی، بخش سخت‏افزار و پردازنده باید به شکل سیستم تعبیه‏شده^[۳۱] و تا حد امکان ارزان قیمت باشد. پردازنده سیستم می‏تواند یکی از انواع ریزپردازنده‏های معمولی^[۳۲] [۲۰]، پردازنده‏های سیگنال دیجیتال^[۳۳] (DSP) [24]، مدارات FPGA^[34] [۲۵, ۲۶] و مدارات مجتمع خاص منظوره^[۳۵] (ASIC) یا ترکیبی از آنها باشد.
در سیستم نظارت چهره راننده، بیشتر حجم محاسبات مربوط به عملیات پردازش تصویر برای تحلیل و تفسیر چهره است. استفاده از ریزپردازنده‏های معمولی با وجود قابلیت انعطاف‏پذیری^[۳۶] در ایجاد تغییرات نرم‏افزاری، برای این منظور چندان مناسب نیست. چرا که معمولا در این حالت سیستم بلادرنگ نخواهد شد. استفاده از مدارات مجتمع خاص منظوره (ASIC) با وجود کارایی بسیار بالا، به دلیل هزینه زیاد نامناسب است. ضمن اینکه ASIC قابلیت انعطاف‏پذیری ندارد. DSP و FPGA نسبت به ریزپردازنده‏های معمولی سریع‏تر و از ASIC کندتر هستند، اما مهمترین مزیت آنها نسبت به ASIC، قابلیت انعطاف‏پذیری است. انعطاف‏پذیری در DSP از طریق نرم‏افزاری و در FPGA از طریق سخت‏افزاری میسر است. به همین دلیل در سیستم‏های واقعی معمولا از DSP یا FPGA استفاده می‏شود.
بخشی از رابط انسان و ماشین (HMI) مانند بخش اعلام هشدار و ابزار تنظیم سیستم، در قالب بخش سخت‏افزار ظاهر می‏شود. اما کنترل هوشمند این بخش به شکل نرم‏افزاری و از طریق الگوریتم‏های تصمیم‏ گیری برای تولید خروجی انجام می‏گیرد.
نرم‏افزار هوشمند
بخش نرم‏افزار هوشمند یک سیستم نظارت چهره راننده به دو بخش اصلی قابل تقسیم است: الگوریتم‏های پردازش تصویر و الگوریتم‏های تشخیص و تصمیم‏ گیری. در واقع بخش نرم‏افزار هوشمند، مهمترین بخش یک سیستم نظارت چهره راننده می‏باشد.
عمده اهداف در الگوریتم‏های پردازش تصویر عبارتند از: پیش‏پردازش تصویر، آشکارسازی و ردیابی چهره، آشکارسازی و ردیابی چشم و سایر اجزای چهره و استخراج ویژگی‏های مناسب از چهره و اجزای آن. در واقع الگوریتم‏های پردازش تصویر بخش اصلی سیستم‏های نظارت چهره راننده را تشکیل می‏دهند. این الگوریتم‏ها معمولا حجم حافظه زیادی احتیاج داشته و بار محاسباتی زیادی به پردازنده و سخت‏افزار وارد می‏کنند. برای طراحی یک سیستم دقیق و بلادرنگ، تمرکز طراحی باید بر روی این الگوریتم‏ها باشد.
پس از استخراج ویژگی‏های مناسب از تصویر، الگوریتم‏های تشخیص و تصمیم‏ گیری بر اساس این ویژگی‏ها میزان خستگی و عدم تمرکز حواس راننده را تعیین و تصمیم مناسب را برای خروجی سیستم اتخاذ می‏کنند. الگوریتم‏های تشخیص و تصمیم‏ گیری از این لحاظ اهمیت دارند که باید قادر به تشخیص به موقع خستگی و عدم تمرکز حواس راننده باشند و تصمیم‏ گیری مناسب را برای تولید خروجی سیستم انجام دهند. هر چه الگوریتم تشخیص بتواند در مدت زمان کوتاه‏تری وقوع خواب‏آلودگی یا عدم تمرکز حواس راننده را تشخیص دهد، سیستم کارایی بیشتری خواهد داشت. ضمن این که پس از تشخیص، تصمیم‏ گیری در مورد نحوه عملکرد سیستم برای تولید خروجی از اهمیت زیادی برخوردار است. بخشی از رابط انسان و ماشین (HMI) به شکل نرم‏افزاری و در قالب الگوریتم تصمیم‏ گیری برای تولید خروجی است.
شکل ‏۲‑۱ یک فلوچارت کلی از سیستم‏های نظارت چهره راننده را نشان می‏دهد. هرچند در سیستم‏های مختلف این فلوچارت تا حدودی متغیر است، اما روند کلی انجام فرایند مطابق فلوچارت رسم شده در شکل ‏۲‑۱ است.
بلی
خیر
آیا sw=0 است؟
sw=0
آشکارسازی چهره
(آیا چهره آشکارسازی شد؟)
آشکارسازی چشم
(آیا چشم آشکارسازی شد؟)
ردیابی چهره
(آیا ردیابی چهره موفق بود؟)
دریافت یک فریم از تصویر
استخراج ویژگی
تشخیص خستگی و عدم تمرکز حواس
sw=1
خیر
بلی
بلی
خیر
شکل ‏۲‑۱: فلوچارت کلی برای سیستم‏های نظارت چهره راننده
آشکارسازی چهره
معمولا اولین بخش از نرم‏افزار هوشمند در سیستم‏های نظارت چهره راننده، مربوط به آشکارسازی چهره است. در سیستم‏هایی که خستگی و عدم تمرکز حواس را از پردازش ناحیه چهره مشخص می‏کنند، آشکارسازی چهره بخش اصلی سیستم محسوب می‏شود. همچنین در اکثر روش‏های مبتنی بر پردازش ناحیه چشم، به دلیل مشکل بودن آشکارسازی مستقیم چشم، ابتدا چهره آشکارسازی شده و سپس ناحیه چشم از چهره مشخص می‏شود.
روش‏های بسیار زیادی برای آشکارسازی چهره ارائه شده است، اما مهمترین روش‏های مورد استفاده در سیستم‏های نظارت چهره راننده را می‏توان چنین تقسیم‏بندی کرد:
روش‏های مبتنی بر مدل رنگ
روش‏های مبتنی بر ویژگی‏های شبه هار
روش‏های مبتنی بر شبکه عصبی
روش‏های مبتنی بر مدل رنگ
مدل رنگ پوست چهره، یکی از روش‏های آشکارسازی چهره است. این ویژگی برای آشکارسازی چهره در تصاویری که پس زمینه ساده دارند مناسب است، اما در شرایطی که پس‏زمینه چهره پیچیده و شلوغ باشد، خطای زیادی خواهد داشت. ضمن این که روش‏های مبتنی بر مدل رنگ، برای آشکارسازی چهره در طیف مرئی مناسب است و در طیف مادون قرمز کاربردی ندارد. ضمن این‏که نور محیط باید به اندازه کافی باشد تا تفکیک رنگ‏ها به خوبی انجام گیرد.
معمولا مدل رنگی چهره بر اساس توزیع احتمال در یک فضای رنگ بیان می‏شود. سپس با اعمال یک یا چند حد آستانه بر روی توزیع بدست آمده، ناحیه چهره در تصویر آشکارسازی خواهد شد. برای تشکیل مدل رنگ چهره می‏توان از فضای رنگی RGB [24, 27]، فضای رنگی YCbCr [28] یا فضای رنگی HSI [29-31] استفاده کرد.
روش‏های مبتنی بر ویژگی‏های شبه هار
اولین بار این روش توسط Viola و Jones [32] برای آشکارسازی اشیا^[۳۷] پیشنهاد گردید و بعد از آن برای آشکارسازی چهره معرفی شد [۳۳]. مهمترین مزیت این روش دقت خوب و در عین حال سرعت بسیار خوب آن در آشکارسازی چهره است. در این روش ابتدا تعدادی ویژگی ساده با بهره گرفتن از ماسک‏های مستطیل شکل (شکل ‏۲‑۲) از چهره استخراج می‏شود که به این ویژگی‌ها، ویژگی شبه هار^[۳۸] می‌گویند.
شکل ‏۲‑۲: نمونه‏هایی از ماسک‏های ویژگی برای استخراج ویژگی‏های شبه هار
هرچند ویژگی‌های شبه هار بسیار ساده به نظر می‌رسند، اما با تشکیل یک طبقه‌بندی‌کننده آبشاری تقویت‌شده^[۳۹] (شکل ‏۲‑۳)، دقت الگوریتم در آشکارسازی چهره بسیار خوب خواهد شد. این طبقه‏بندی‌کننده در واقع یک درخت تصمیم است که با بهره گرفتن از الگوریتم تقویت^[۴۰]، دقت آن در آشکارسازی چهره و رد تصاویر غیرچهره بهبود یافته است. از این الگوریتم در [۷, ۳۴-۳۶] برای آشکارسازی چهره استفاده شده است.
مرحله ۲
مرحله ۳
مرحله n
شروع
مرحله ۱
عدم پذیرش
عدم پذیرش
عدم پذیرش
عدم پذیرش
پذیرش
شکل ‏۲‑۳: درخت تصمیم آبشاری برای آشکارسازی چهره
روش‏های مبتنی بر شبکه عصبی
یکی دیگر از روش‏های آشکارسازی چهره استفاده از شبکه‏های عصبی مصنوعی است. در این دسته از روش‏های آشکارسازی چهره، ابتدا تعدادی ویژگی سطح پایین از تصویر استخراج شده، سپس شبکه عصبی با بهره گرفتن از این ویژگی‏ها آموزش داده می‏شود. Hamada و همکارانش [۳۷] آشکارسازی چهره را با بهره گرفتن از یک شبکه عصبی چند لایه پرسپترون^[۴۱] (MLP) انجام داده ‏اند. در این روش ابتدا تصویر لبه‏یابی شده، سپس با یک پنجره با ابعادی حدود ابعاد چهره پیمایش شده و با شبکه عصبی مورد ارزیابی قرار می‏گیرد. در روش پیشنهادی Fukumi [38]، آشکارسازی چهره و تعیین جهت آن با بهره گرفتن از تحلیل اجزای اصلی^[۴۲] (PCA)، قالب چهره و شبکه عصبی انجام شده است.
آشکارسازی چشم