• پردازش اطلاعات در عناصر یکتایی که گره، واحد، سلول یا نورون نیز نامیده می شوند انجام می گیرد.

• سیگنالها بین گره ها از طریق اتصالات رابط مبادله می شوند.

• هر اتصال رابط یک وزن مربوط به خود را داراست که استحکام آن را نشان می دهد.

• هر گره بطور معمول یک تغییر شکل که تابع فعالسازی نامیده می شود را بر روی ورودی خاص خود اعمال می کند تا سیگنال خروجی مربوطه را تعیین نماید.

یک شبکه عصبی بواسطه معماری اش توصیف می گردد که آن معماری نشان دهنده الگوی ارتباط میان گره ها، شیوه تعیین وزن هر ارتباط و تابع فعالسازی آن می باشد. شبکه عصبی مصنوعی، متشکل از تعدادی گره است که بر اساس چینش خاصی سازماندهی شده اند. روش طبقه بندی شبکه های عصبی، بواسطه تعداد لایه های آن انجام می گیرد: تک لایه ای (شبکه های Hopfield) ؛ دولایه ای (شبکه های تشدید تطبیقی^۱ )و چند لایه ای (اکثر شبکه های پیش انتشاری).
Carpenter/Grossberg
۲۰
همچنین، شبکه های عصبی مصنوعی می توانند بر اساس جهت جریان اطلاعات و پردازش دسته بندی شوند. در یک شبکه Feed-Forward عموماً گره ها در لایه های مختلف چیدمان شده اند، که از یک لایه اولیه ورودی آغاز و به یک لایه نهایی خروجی ختم می شوند. لایه های مخفی متعددی می تواند وجود داشته باشد، که در هر یک از آنها یک یا چند گره وجود دارد. اطلاعات از سمت ورودی به سمت خروجی حرکت می کنند. گره های موجود در یک لایه به گره های لایه دیگر متصل اند، اما با گره های هم لایه خود ارتباطی ندارند. بنابراین، خروجی یک گره در یک لایه تنها وابسته به ورودی ای است که از لایه های دیگر با وزن متناظر دریافت می کند. از طرفی دیگر ، در یک شبکه عصبی مصنوعی تکرارشونده، اطلاعات در میان گره ها در هر دو مسیر در جریان است، از ورودی به خروجی و بالعکس. این امر عموماً بواسطه بازیافت خروجی های قبلی شبکه بعنوان ورودی فعلی میسر می گردد، لذا امکان بازخورد^۱ را نیز میسر می نماید.

برخی مواقع در جائیکه گره های موجود در یک لایه به یکدیگر متصلند، از اتصالات جانبی نیز استفاده می شود. در اکثر شبکه ها، لایه ورودی (اول) متغیرهای ورودی مسئله ای که در دست است دریافت کرده و شامل تمام کمیت هایی است که می تواند بر خروجی تأثیر بگذارد. بنابراین، لایه ورودی لایه ای شفاف بوده و وسیله ای جهت ارائه اطلاعات به شبکه محسوب می گردد. آخرین لایه یا همان لایه خروجی، متشکل از مقادیر پیش بینی شده ای توسط شبکه است و نمایانگر مدل خروجی می باشد. تعداد لایه های مخفی و تعداد گره ها در هر لایه مخفی معمولاً توسط یک فرایند آزمون و خطا تعیین می گردد. گره های داخل لایه های همسایه در شبکه کاملاً بواسطه رابط هایی به یکدیگر متصل هستند.
Feedback
۲۱
یک وزن سیناپتیک به هر رابطه ای وصل می شود تا قدرت یا استحکام نسبی ارتباط بین دو گره موجود در دو سر آن در خصوص پیش بینی روابط ورودی-خروجی را نشان دهد. شکل ۳-۱ پیکربندی یک شبکه عصبی مصنوعی سه لایه ای Feed-Forward را نشان می دهد.

شکل ۳-۱: پیکربندی شبکه عصبی مصنوعی سه لایه ای Feed-Forward
این نوع از شبکه های عصبی مصنوعی می تواند در بازه گسترده ای از مسائل مورد استفاده قرار گیرد، از جمله ذخیره و بازیابی داده ها، طبقه بندی الگوها، اجرای نگاشت عمومی از الگوی ورودی (فضا) به الگوی خروجی(فضا)، گروه بندی الگوهای مشابه، یا یافتن راه حل برای مسائل بهینه سازی اجباری. در این شکل، X یک بردار ورودی سیستم بوده و متشکل از تعدادی متغیر تصادفی است که بر رفتار سیستم اثر می گذارند، و Y بردار خروجی سیستم می باشد که از تعدادی متغیر نتیجه تشکیل شده که رفتار سیستم را نشان می دهند.
۲۲
۳-۴ جنبه های ریاضیاتی
در شکل ۳-۲ یک دیاگرام شماتیک از j امین گره نمونه نشان داده شده است. ورودی های چنین گره ای، ممکن است از متغیرهای تصادفی سیستم و یا از دیگر گره ها آمده باشند، که این امر بستگی به لایه ای دارد که گره در آن واقع شده است. این ورودی ها یک بردار ورودی بصورت X=(x_1,…,x_j,…,x_n)را شکل می دهد.
توالی اوزانی که منتهی به یک گره می شود یک بردار وزن را به صورتwj=(w_1j,…,w_ij,…,w_nj) تشکیل می دهد که در آن w_ij وزن ارتباط از i امین گره در لایه قبلی به این گره را نشان می دهد.
خروجی گره y_j , j ، با محاسبه مقدار تابع f با توجه به تولید داخلی بردار X و w_j منهای b_j ، که در آن b_j مقدار حد آستانه بوده و بدان پیش قدر^۱ یا مقدار تمایل به این گره گفته می شود، محاسبه می گردد.
شکل ۳-۲: دیاگرام شماتیک از گره j
Bias
۲۳
زمانیکه صحبت از شبکه عصبی مصنوعی در میان است، پیش از آنکه یک گره بتواند فعال شود، مقدار تمایل b_j مربوط به آن باید از حد تجاوز نماید. معادله زیر عملیات را تعیین می نماید:
(۳-۱)
تابع f یک تابع فعالسازی نامیده می شود. شکل تابعی آن، پاسخ یک گره به کل سیگنال ورودی به خود را نشان می دهد. رایج ترین شکل استفاده شده از f(0) در معادله (۳-۱) ، تابع حلقوی داده شده به صورت زیر می باشد:
(۳-۲)
تابع حلقوی، تابعی کران دار، یکنواخت و غیر کاهشی بوده و پاسخی درجه بندی شده و غیر خطی را ارائه می نماید. این تابع یک شبکه را قادر می سازد تا از هر فرایند غیر خطی نگاشت برداری کند. بخشی از محبوبیت این تابع حلقوی مرهون سادگی اشتقاق آن است که در طول فرایند یادگیری مورد استفاده قرار می گیرد.
همچنین برخی از محققین نیز تانژانت هذلولی و حلقوی دوقطبی را بعنوان تابع فعالسازی بکار می گیرند. که هر دوی آنها ظاهری تغییر شکل یافته از تابع حلقوی هستند و مجموع چندین گره ، شبکه عصبی مصنوعی را تشکیل می دهد.
۳-۵ یادگیری شبکه
برای آنکه یک شبکه عصبی مصنوعی، یک بردار خروجی Y=(y₁,y₂,…,y_p)را تولید کند که تا حد ممــــــکن به تانژانت بردار T=(t₁,t₂,…,t_p) نزدیک باشد، یک فرایند تربیت که به آن فرایند یادگیری نیز می گویند بکار گرفته می شود تا وزن متریکهای بهینه W و بردار های مقدار تمایل V پیدا شوند، که این امر یک تابع خطای از پیش تعیین شده که اغلب بصورت زیر است را به حداقل می رساند:
۲۴
(۳-۳)
در اینجا ، t_i جزئی از خروجی مورد نظر T ، y_i برابر با خروجی متناظر شبکه عصبی مصنوعی، p برابر تعداد گره های خروجی، و P برابر تعداد الگوهای یادگیری است. یادگیری فرآیندی است که بواسطه آن وزن های ارتباط یک شبکه عصبی مصنوعی از طریق یک فرایند شبیه سازی پیوسته با محیطی که شبکه در آن قرار گرفته است منطبق می گردد. اساساً دو نوع یادگیری وجود دارد:
نظارت شده
غیر نظارت شده
یک الگوریتم یادگیری نظارت شده (تحت نظر) مستلزم آن است که یک آموزنده خارجی فرایند یادگیری را هدایت و راهنمایی نماید. این معمولاً بدان معناست که تعداد زیادی از نمونه ها (یا الگوهای) ورودی و خروجی مورد نیاز می باشد. ورودی ها متغیر های علت یک سیستم و خروجی ها متغیر های معلول می باشند. این نوع از فرایند یادگیری، هماهنگی تقلیدی و بهینه سازی وزن های ارتباط و مقادیر آستانه در هر گره را درگیر می نماید. هدف اولیه از یادگیری عبارتست از به حداقل رساندن تابع خطا بواسطه جستجو بدنبال مجموعه ای از استحکام ارتباطات و مقادیر آستانه که سبب می شود تا شبکه عصبی مصنوعی خروجی هایی را تولید نماید که برابر یا نزدیک به اهداف هستند. پس از آنکه یادگیری به سرانجام رسید، امید بر آنست که شبکه عصبی مصنوعی بتواند با ارائه ورودی های جدید، نتایج معقول و مستدلی را تولید نماید.
در مقابل، یک الگوریتم یادگیری غیر نظارت شده (غیر نظارتی) نیازی به آموزنده ندارد. در این حالت، طی فرایند یادگیری، تنها یک مجموعه داده ورودی به شبکه عصبی مصنوعی داده می شود که بطور خودکار وزنهای ارتباط شبکه عصبی مصنوعی را بگونه ای تطبیق می دهد تا آن الگوهای ورودی را در قالب دسته هایی با
۲۵
مشخصات مشابه دسته بندی نماید. موقعیت هایی وجود دارد که در آنها، ترکیبی از این دو استراتژی یادگیری منجر به تقویت امر یادگیری و آموزش می شود. به ازاء یک مجموعه الگوهای یادگیری، از یک امتیاز یا رتبه (درجه) به منظور تعیین نرخ عملکرد شبکه استفاده می شود. روشی که بر اساس آن گره های یک شبکه عصبی مصنوعی پیکر بندی می شود، بشدت مرتبط با الگوریتمی است که جهت آموزش دادن آن، مورد استفاده قرار می گیرد.
۳- ۶ پس انتشار^۱
الگوریتم پس انتشار احتمالاً محبوب ترین الگوریتم یادگیری (آموزش دهی) شبکه های عصبی مصنوعی محسوب می شود. این روش اصولاً یک تکنیک نسبی درجه بندی شده است که تابع خطای شبکه را به حداقل می رساند. هر الگوی ورودی از مجموعه یادگیری، از لایه ورودی به سمت لایه خروجی عبور می کند.
خروجی شبکه با هدف مورد نظر مقایسه شده و بر آن اساس، میزان خطا محاسبه می گردد. این خطا را در میان شبکه و بسمت هر گره رو به عقب بازنشر داده می شود، و متناظر با آن، وزنهای ارتباط بر اساس معادله زیر تنظیم می شوند:
(۳-۴)
که در آن  و  برابر افزایش وزن بین گره i و j در طی n امین و (n-1) اُمین عبور یا دوره می باشند. یک معادله مشابه نیز برای تصحیح مقادیر تمایل نوشته شده است. در معادله (۳-۴)،  و  ، به ترتیب نرخ یادگیری و مقدار حرکت نامیده می شوند.
Back- Propagation
۲۶
فاکتورِ مقدار حرکت، می تواند در نواحی مسطح از سطح خطا، یادگیری را تسریع بخشیده و از نوسان در وزن ها پیشگیری نماید. از یک نرخ یادگیری به منظور افزایش شانس پیشگیری از گرفتار شدن فرایند یادگیری در حداقل داخلی بجای حداقل سرتاسری استفاده می شود. الگوریتم پس انتشار دو مرحله دارد. اولین گام، یک عبور رو به جلو است که طی آن اثر ورودی در شبکه و رو به جلو ارسال می شود، تا به لایه خروجی برسد. پس از آنکه خطا محاسبه شد، یک مرحله دوم بصورت عقب گرد در شبکه آغاز می شود. در لایه خروجی، خطاها به سمت عقب و لایه ورودی بازنشر داده شده و در همین حین وزن ها متناسب با معادله (۳-۴) اصلاح می گردند. پس انتشار یک روش مرتب سازی^۱ و مبتنی بر پرشیب ترین درجه بندی نسبی می باشد، که در آن بردار جهت برابر با مقدار منفی بردار درجه بندی تنظیم می گردد. در نتیجه، این راه حل در حالیکه تلاش دارد تا به وضعیت حداقل خطا برسد، معمولاً مسیری زیگ زاگ مانند را طی می کند، که این امر به نوبه خود می تواند فرایند یادگیری را کند سازد. همچنین ممکن است فرایند یادگیری، علیرغم بکارگیری نرخ آموزش، در حداقل داخلی به دام بیافتد.
۳-۶-۱ الگوریتم پس انتشار