برمجة عناكب الويب: مقدمة المشروع

**Diamond mas** · 19-08-2014, 13:32

بسم الله الرحمن الرحيم
السلام عليكم ورحمة الله وبركاته

الحمد لله رب العالمين، والصلاة والسلام على سيد الخلق والمرسلين
أما بعد،

هل مللتم من تقليب صفحات الويب بأنفسكم بحثاً عن تحديثات أو أخبار جديدة؟
ألا ترغبون بأن يكون لديكم روبوتات تجوب المواقع عوضاً عنكم وتأتيكم بكل جديد؟ ( أو حتى قديم.. للراغبين بنبش الماضي ninja

)
حسناً، كأي واحد منكم انتابتي تلك الرغبة وأردت الحصول على برنامج يتصفح المنتدى نيابة عني biggrin

مثل تلك البرامج تسمى "" وتُستخدم لمسح صفحات الويب واستخراج شيء من محتوياتها،
ويمكننا برمجتها لتحقيق الكثير من الغايات التي تلبي حاجاتنا، فمثلاً يمكننا تجهيز عناكب تقوم بأشياء عديدة مثلاً يمكنها:

- البحث في المنتدى عن مواضيع تم إنشاؤها بتاريخ معين أو في فترة معينة.
- استخراج آخر أخبار الصحيفة مع نبذة قصيرة عن كل خبر.
- عرض قائمة بآخر الصور التي تم رفعها في مركز رفع مكسات tongue

- عرض قائمة الأصدقاء المتواجدين الآن في مكسات مع إمكانية الدخول إلى ملفاتهم الشخصية.
- تصدير قائمة الأصدقاء وحفظها في ملف.
- متابعة موضوع معين وجلب الردود الجديدة فيه.
- وغيرها الكثير مما يمكننا صنعه...

أياً كانت المعلومات التي نريد استخراجها من صفحات الويب يمكن للعناكب أن تأتينا بها دون تكلف عناء البحث عنها بأنفسنا،
وسنقوم في هذا المشروع ببناء عناكب (بالإمكان تسميتها "روبوتات" أيضاً) تجوب المنتدى وسنستخدم لغة البرمجة C#.NET في برمجتها rambo

ولكننا لن نبرمج كل الأمثلة التي في الأعلى وسنكتفي بأول مثال (البحث في المنتدى عن مواضيع تم إنشاؤها بتاريخ معين).

تابعوا معنا ^_^

**Diamond mas** · 19-08-2014, 13:45

فكرة المشروع هي طرح طريقة برمجة عناكب ويب والنظر في التقنيات التي تدخل في بناءها،
ولأن الغايات من العناكب متعددة ومتفرعة اخترت بناء عنكبوت يبحث في أقسام المنتدى عن مواضيع تم إنشاؤها في فترة زمنية يقوم مستخدم البرنامج بتحديدها،
اخترت هذا البرنامج كمثال حي لبناء العناكب لفهم المبدأ فقط ويمكن تعديل الفكرة لاستخراج معلومات أخرى من صفحات الويب بدلاً من قائمة المواضيع كما ذكرت في المشاركة السابقة.

في هذا البرنامج سيتمكن المستخدم من اختيار القسم/الأقسام التي يود البحث فيها وتحديد الفترة الزمنية للبحث،
ليقوم البرنامج بعرض قائمة المواضيع التي تم إيجادها مع عرض تفاصيل كل موضوع (القسم الذي ينتمي إليه، اسم كاتب الموضوع)
مع إمكانية فتح أي موضوع داخل المتصفح للانتقال إليه ومشاهدته.
كما يتيح البرنامج إمكانية تصدير نتيجة البحث إلى ملف بصيغة XML واستيراد نتائج بحث تم تصديرها سابقاً وذلك لإتاحة الرجوع إلى النتائج في أي وقت دون الحاجة إلى تكرار البحث في كل مرة.

في هذا المشروع سيتم طرح تفاصيل هذا البرنامج وطرح مكوناته وأكواده البرمجية،
حيث يتكون هذا البرنامج من ثلاثة مكونات رئيسية، كما يلي:

* المكون الأول - ماسح الصفحة الرئيسية:
وظيفة هذا الجزء هي بناء عنكبوت يقوم بمسح الصفحة الرئيسية للمنتدى لبناء خريطة الموقع التي تحوي أسماء وروابط أقسام المنتدى المرئية.

* المكون الثاني - ماسح صفحات المنتديات:
وظيفة هذا الجزء هي مسح صفحات المنتديات والبحث عن المواضيع التي تم طرحها في فترة زمنية معينة.

* المكون الثالث - واجهة البرنامج:
يحتوي هذا الجزء على عناصر واجهة البرنامج من أزرار وقوائم وأوامر معنية بواجهة البرنامج.

سنستخدم في هذا المشروع بيئة التطوير Visual Studio Express 2013 الذي سأشرح طريقة تثبيته في المشاركة القادمة،

attachment

يستهدف هذا المشروع المبرمجين من المستوى المتوسط، ما يعني أن هناك أمور يفترض أن يعرفها من يريد تطبيق المشروع..
لكن لا تقلقوا في حال واجهتكم صعوبة في أي من تلك الأمور يمكنكم الاستفسار عنها وسأعلم على توضيحها بإذن الله ^_^

أمور خارج نطاق مواضيع المشروع
- لن يتم شرح لغة C#.NET على فرض أن القارئ لديه الأساسيات الكافية لاستخدام هذه اللغة.
- سيتم استخدام تقنيات مثل XML, Multi-Threading, XPath دون شرحها بالتفصيل مع فتح المجال لاستفساراتكم حول أي منها.
- لن يتم شرح الأكواد سطراً بسطر، بل سيتم طرحها كما هي وسيكون الشرح داخلها في جُمل التعليقات.. والباب مفتوح للاستفسارات طبعاً.

attachment

لا تختلف لغة VB.NET عن C#.NET من حيث الإمكانيات ويمكن تحويل الأكواد إلى لغة VB.NET في حال كان هناك عدد ممن يتقنونها ولا يتقنون الـ C#.NET،
ولكن لأن تحويل الأكواد سيأخذ وقتاً وجهداً لن أقوم بتحويلها إلا إذا كان هناك إقبال وطلب على ذلك وأيضاً إذا امتلكت الوقت zlick

أسمعونا أصواتكم .. وكلنا آذان صاغية rambo

**Diamond mas** · 19-08-2014, 13:47

نسخة Visual Studio Express 2013 مجانية ويمكنكم تنزيلها من الرابط الرسمي ()

خطوات التثبيت:

attachment

الصورة 01: صفحة التتنزيل.

.
.

attachment

الصورة 02: ملفات التنزيل (تنزيل مباشر أو ISO)

.
.

attachment

الصورة 03: تشغيل ملف التنصيب (تنزيل مباشر).

.
.

attachment

الصورة 04: شعار Visual Studio

.
.

قد تظهر رسالة تطلب تحديث Internet Expolor إلى الإصدار العاشر كما يلي:

attachment

الصورة 05: رسالة تحديث الـ IE (نضغط Continue لتجاوز هذا الإجراء).

.
.

attachment

الصورة 06: نافذة ترخيص + تثبيت البرنامج.

.
.

attachment

الصورة 07: تشغيل كمسؤول.

.
.

attachment

.

الصورتين 08~09: تقدم تثبيت البرنامج (قد يستغرق وقتاً طويلاً لتنزيل وتثبيت البرنامج)

.
.

attachment

الصورة 10: انتهاء التثبيت + تشغيل البرنامج.

.
.

attachment

الصورة 11: تسجيل الدخول (اختاري).

attachment

الصورة 12: التجهيز لأول استعمال.

.
.

attachment

الصورة 13: واجهة البرنامج الرئيسية.

**Diamond mas** · 19-08-2014, 14:12

قبل أن نصل إلى نهاية هذه المقدمة أود أن أقدم لكم نسخة غير مكتملة من البرنامج ()
لتشغيل البرنامج يجب التأكد من تثبيت .NET Framework 4.5 ()

صور لواجهة البرنامج

attachment

جزيل الشكر للمبدع على ما جاد به علينا من تصاميم gooood

وشكراً لإدارة البرمجة والبرامج على الدعم الذي تقدمه لظهور المشروع بأبهى حلة embarrassed

سيتم طرح المكون الأول من المشروع قريباً بإذن الله، انتظرونا rambo

فهرس المشروع :

برمجة عناكب الويب: [ الجزء الثالث ] واجهة البرنامج

**Frost Dragon** · 20-08-2014, 21:15

و عليكم السلام و رحمة الله و بركاته
حياك الله صديقي ماس ،
فكرة البرنامج جميلة ، فكرت فيها في وقت سابق و لكن تركت الفكرة.
جزاك الله خيراً

متابع إن شاء الله biggrin

**Diamond mas** · 21-08-2014, 07:21

أهلاً ^_^
شكراً لك.. بإذن الله ستجد ما يسرك biggrin

**QUEEN MAHA** · 22-08-2014, 05:32

لي عوده

**Diamond mas** · 22-08-2014, 05:37

^
^

في انتظارك biggrin

**QUEEN MAHA** · 23-08-2014, 00:15

السلام عليكم ورحمة الله وبركاته رجعنا tongue

الصراحه فكره حلو و ودي اطبقها بس ابد ابدا ما افهم للغات
اعرف الاساسيات بس كل لغه تستخدم تستخدم لايش و شنو اصعب و اسهل
لكن كتابتها ما اعرف بالرغم من ان عندي حب كبير لها بس للاسف ما تعلمتها frown

و اظن فيجوال بيسك 2003 هو احسن واحد صح؟

و يعطيك العافيه علئ الموضوع

*

**Diamond mas** · 23-08-2014, 08:30

وعليكم السلام ورحمة الله وبركاته

أهلين بعودتك أختي ^_^
إذا بتحبين بإمكانك تطبقين الخطوات وتنسخي الكود مثل ما هو لمشاهدة النتائج، يعني بغرض التسلية فقط tongue

فيجوال بيسك 2003 من أوائل إصدارات VB.NET وهذه اللغة يفضلها الكثيرون biggrin

شكراً لك يكفي أنك نورتينا حتى لو لم تطبقين المشروع embarrassed

ربي يسلمك ويعافيكِ

**sis sis** · 23-08-2014, 13:34

مُمتآز

*
أبدعت ~
:::

سأحاول أن أعود .. !!

**Mystic Rukia** · 23-08-2014, 14:53

وعليكم السلام ورحمة الله وبركاته

يا هلا يا هلا ماس نورت القسم بموضوعك embarrassed

كنت حابه اكون اول رد وحملت البرنامج لكنو طول بالتنصيب فأضطريت انام واصحى ثاني يوم دوام .. الخ
وعلى حظك مرضت وقضيتها يومين بالمراجعات للاطباء وراح علي اول رد cry

جربت البرنامج حبيته كثير قريب من الهدية يلي عطيتني اياها بتاعت سيرفر مكسات اذا شغال او لا : d
متحمسه لاكمال المشروع معك ان شاء الله اكون طالبة مجتهدة وتعطيني علامات كويسه
بس تحمل من الان دام نمون عليك بسأل سبعين سؤال xD

انا لو احد ثاني بغير قسم مثل التصميم يكتب جمل مثل ما رح يتم شرح هالشي من البداية بس عادي تسألو ما كنت شاركت
بس معك بنشارك وانت تاكلها وتتورط فينا : d

بأنتظار الموضوع الاول من المشروع يعطيك الف عافيه ^_^

**Diamond mas** · 23-08-2014, 17:19

الرسالة الأصلية كتبت بواسطة sis sis

مُمتآز

*
أبدعت ~
:::

سأحاول أن أعود .. !!

أهلاً وسهلاً ومية مرحباً، أهلاً بالأمير embarrassed

نورتنا بوجودك، لا توفر جهد نريدك معنا biggrin

الرسالة الأصلية كتبت بواسطة Mystic Rukia

وعليكم السلام ورحمة الله وبركاته

يا هلا يا هلا ماس نورت القسم بموضوعك embarrassed

كنت حابه اكون اول رد وحملت البرنامج لكنو طول بالتنصيب فأضطريت انام واصحى ثاني يوم دوام .. الخ
وعلى حظك مرضت وقضيتها يومين بالمراجعات للاطباء وراح علي اول رد cry

جربت البرنامج حبيته كثير قريب من الهدية يلي عطيتني اياها بتاعت سيرفر مكسات اذا شغال او لا : d
متحمسه لاكمال المشروع معك ان شاء الله اكون طالبة مجتهدة وتعطيني علامات كويسه
بس تحمل من الان دام نمون عليك بسأل سبعين سؤال xD

انا لو احد ثاني بغير قسم مثل التصميم يكتب جمل مثل ما رح يتم شرح هالشي من البداية بس عادي تسألو ما كنت شاركت
بس معك بنشارك وانت تاكلها وتتورط فينا : d

بأنتظار الموضوع الاول من المشروع يعطيك الف عافيه ^_^

أهلاً بأميرة البرمجة المرحية asian

رابع رد مش مشكلة.. الرقم 4 مميز كمان biggrin

طهورة إن شاء الله.. ما عليكِ شر، تكفير ذنوب إن شاء الله ^_^
كثير سعيد بتواجد وتواجد الإخوة.. خفت أظل هنا أنادي لحالي بدون ما أحصل على ردود ^^"

هههههه... هي برامجي المكساتية مثل هيك وحتى كان عندي برنامج زيادة عدد زيارات الملفات الشخصية إذا تذكرين تلك الخاصية tongue

يعني بالأحرى هي تسالي أتسلى فيها وهواية أقضي وقتي عليها ^_^
إن شاء الله بعد هالدورة في عندي مفاجأة بخصوص برنامج قارئ الرسائل الخاصة.. طورته أكثر وخلصت من قضية حقوق الملكية asian

حيا الله فيكِ وبأسئلتك.. أعتذر منكم ما قصدت من تلك الجملة تثبيط أحد،
لكن قصدت إعلام الذين يدخلون يقرؤون ويخرجون أن هذا الموضوع ليس بدورة، وأن الذي يريد الفائدة عليه بالمتابعة والسؤال ^^"

يمكن تكوني تعرفي أن تجربتي السابقة مع الدورات كانت مش ولا بد بكل صراحة،
مشان هيك قررت أضع ما لدي من أكواد وأنتظر الأسئلة.. وإذا كانت هذه التجربة كويسة ممكن أطرح أكواد أخرى بنفس الطريقة biggrin

اتفقنا معك سبعين سؤال في اليوم.. أكثر من هيك بتعطيني أجر إضافي (Overtime) laugh

آخذ 150% بعد السؤال السبعين يعني كل سؤال راح يكلفك 150% * راتبي اليومي * ÷ 70 laugh

الموضوع الأول جاهز منذ الخميس لكني أنتظر التصاميم nervous

فعلياً الكود كله جاهز ومجزأ وأقدر أنتهي من طرح المواضيع بيوم واحد، بس نقول يالله كل تأخيرة فيها خيرة وممكن تكون فرصة لحضور المزيد classic

**I M M O R T A L** · 23-08-2014, 18:38

السلام عليكم ورحمة الله وبركاته

اهلاً اهلاً بالعزيز ماس biggrin

كيفك وكيف امورك paranoid

؟ إن شاء الله كل شئ يكون تمام pirate

تقريباً عدّت سنة منذ ان كتبت رد في مكسات
بس بصراحة الموضوع لفت نظري خصوصاً انه موضوع من كتابتك ^___^
فكان لازم اشارك tongue

بالتوفيق إن شاء الله ومتابع لك rambo

**Diamond mas** · 24-08-2014, 11:01

الرسالة الأصلية كتبت بواسطة i m m o r t a l

السلام عليكم ورحمة الله وبركاته

اهلاً اهلاً بالعزيز ماس biggrin

كيفك وكيف امورك paranoid

؟ إن شاء الله كل شئ يكون تمام pirate

تقريباً عدّت سنة منذ ان كتبت رد في مكسات
بس بصراحة الموضوع لفت نظري خصوصاً انه موضوع من كتابتك ^___^
فكان لازم اشارك tongue

بالتوفيق إن شاء الله ومتابع لك rambo

وعليكم السلام ورحمة الله وبركاته

يا هلا بالغالي asian

الحمد لله أنا كويس شكراً على السؤال ^_^
إن شاء الله تكون أمورك حلوة وعال العال biggrin

ياه تكسر الانقطاع دا كله مشان موضوعي.. شرف كبير لي ^_^
تسلم أخوي وإن شاء الله حتستفيد من هالمشروع حاجات جديدة gooood

**Diamond mas** · 25-08-2014, 14:02

السلام عليكم ورحمة الله وبركاته

تم طرح الجزء الأول من الكود:

سنسعد بتواجدكم ^_^

**Diamond mas** · 05-09-2014, 15:29

السلام عليكم ورحمة الله وبركاته

تم بحمد الله طرح الجزء الثاني من المشروع asian

سنسعد بتواجدكم

**Diamond mas** · 18-09-2014, 12:24

السلام عليكم ورحمة الله وبركاته

ختام المشروع rambo

شرفونا

تحياتي

**اغنار** · 21-09-2014, 17:35

وعليكم السلام ورحمة الله وبركاته

ما شاء الله يبدو المشروع ضخم ومثير، أخي دايموند ماس..
خصوصا مقدمتك عن الإحتياجات التي سيلبيها البرنامج، شعرتُ بأنني وجدتُ من يتفهم إحتياجاتي وبل ما يفوق توقعاتي cry

كنتُ أحتاج مثل هذا البرنامج منذ زمن، ولم أتصور بأن يتاح لي بتلك البساطة e414

خصوصا وأن البحث في محرك البحث المربوط في المنتدى لم يعطني النتائج المرجوة em_1f635

حملتُ نسخة برنامجك المطروحة في هذا الموضوع، في بادئ الأمر ظهر لي خطأ يقول بأنني لم أحمل خارطة ما،
فظننتُ بأن هنالك خطبا ما، وخفت بأن يكون السبب هو عدم تحميلي للبرنامج الذي ذكرته في موضوعك،
ولكنني اكتشفت فيما بعد بأن البرنامج مستقل واشتغل من تلقاء نفسه بعد أن حمل الخارطة العجيبة em_1f62c

يبدو البرنامج بسيطا للغاية، وسهل الإستخدام، تمكنتُ من البحث في المواضيع عبر تحديد القسم والتحكم في التاريخ asian

واكتشفت من خلاله بأن عدد المواضيع التي نشرت في المنتدى خلال أسبوع قليلة جدا، هل من خطبٍ ما في المنتدى ninja

أشكرك جزيل الشكر على طرح هذا البرنامج المفيد في متناول الجميع،
وأقدر التعب والمجهود العظيم الذي بذلته، الله يعطيك العافية em_1f619

للأسف لن يكون بوسعي مشاركتكم بالدورة كوني لا أعرف شيئا في البرمجة e108

ولكنني سعيدة لزيارتي الموضوع وتحميل البرنامج.

تشكر جهودك

**Diamond mas** · 22-09-2014, 07:58

حياكِ الله أهلاً أختي ^_^
شكراً على مرورك الطيب وأرجو المعذرة على التعقيدات التي مررتِ بها حتى تمكنتِ من تشغيل البرنامج sleeping

لم أسوّق للبرنامج على مستوى استهلاكي بل اكتفيت بتسويقه على مستوى تعليمي وهذا ما جعلني أهمل بعض النواحي التي تهم مستخدمي البرنامج :P

عند تشغيل البرنامج سيبحث عن قائمة أقسام المنتدى ومنتدياته الفرعية، وهذه القائمة يتم تخزينها مع أول استخدام للبرنامج،
والرسالة التي اعتقدتِ أنها رسالة خطأ ما هي إلا رسالة استئذان للسماح له بالاتصال بالانترنت واستخراج قائمة أقسام المنتدى تلك wink

شكراً مرة أخرى وأنا سعيد لأن البرنامج قد قدم لكِ بعض المساعدة في البحث عما تريدين ^_^
وأود أن ألفت انتباهكِ أن البرنامج قيد التطوير، والباب مفتوح لسماع اقتراحتكم حوله embarrassed

تحياتي