PDA المساعد الشخصي الرقمي

عرض كامل الموضوع : برمجة عناكب الويب: مقدمة المشروع



Diamond mas
19-08-2014, 13:32
http://www.mexat.com/vb/attachment.php?attachmentid=2024658&d=1408547376

بسم الله الرحمن الرحيم
السلام عليكم ورحمة الله وبركاته

الحمد لله رب العالمين، والصلاة والسلام على سيد الخلق والمرسلين
أما بعد،

هل مللتم من تقليب صفحات الويب بأنفسكم بحثاً عن تحديثات أو أخبار جديدة؟
ألا ترغبون بأن يكون لديكم روبوتات تجوب المواقع عوضاً عنكم وتأتيكم بكل جديد؟ ( أو حتى قديم.. للراغبين بنبش الماضي :نينجا: )
حسناً، كأي واحد منكم انتابتي تلك الرغبة وأردت الحصول على برنامج يتصفح المنتدى نيابة عني :D
مثل تلك البرامج تسمى "" وتُستخدم لمسح صفحات الويب واستخراج شيء من محتوياتها،
ويمكننا برمجتها لتحقيق الكثير من الغايات التي تلبي حاجاتنا، فمثلاً يمكننا تجهيز عناكب تقوم بأشياء عديدة مثلاً يمكنها:

- البحث في المنتدى عن مواضيع تم إنشاؤها بتاريخ معين أو في فترة معينة.
- استخراج آخر أخبار الصحيفة مع نبذة قصيرة عن كل خبر.
- عرض قائمة بآخر الصور التي تم رفعها في مركز رفع مكسات :p
- عرض قائمة الأصدقاء المتواجدين الآن في مكسات مع إمكانية الدخول إلى ملفاتهم الشخصية.
- تصدير قائمة الأصدقاء وحفظها في ملف.
- متابعة موضوع معين وجلب الردود الجديدة فيه.
- وغيرها الكثير مما يمكننا صنعه...

أياً كانت المعلومات التي نريد استخراجها من صفحات الويب يمكن للعناكب أن تأتينا بها دون تكلف عناء البحث عنها بأنفسنا،
وسنقوم في هذا المشروع ببناء عناكب (بالإمكان تسميتها "روبوتات" أيضاً) تجوب المنتدى وسنستخدم لغة البرمجة C#.NET في برمجتها :رامبو:
ولكننا لن نبرمج كل الأمثلة التي في الأعلى وسنكتفي بأول مثال (البحث في المنتدى عن مواضيع تم إنشاؤها بتاريخ معين).


تابعوا معنا ^_^

Diamond mas
19-08-2014, 13:45
http://www.mexat.com/vb/attachment.php?attachmentid=2024659&d=1408547376

فكرة المشروع هي طرح طريقة برمجة عناكب ويب والنظر في التقنيات التي تدخل في بناءها،
ولأن الغايات من العناكب متعددة ومتفرعة اخترت بناء عنكبوت يبحث في أقسام المنتدى عن مواضيع تم إنشاؤها في فترة زمنية يقوم مستخدم البرنامج بتحديدها،
اخترت هذا البرنامج كمثال حي لبناء العناكب لفهم المبدأ فقط ويمكن تعديل الفكرة لاستخراج معلومات أخرى من صفحات الويب بدلاً من قائمة المواضيع كما ذكرت في المشاركة السابقة.

في هذا البرنامج سيتمكن المستخدم من اختيار القسم/الأقسام التي يود البحث فيها وتحديد الفترة الزمنية للبحث،
ليقوم البرنامج بعرض قائمة المواضيع التي تم إيجادها مع عرض تفاصيل كل موضوع (القسم الذي ينتمي إليه، اسم كاتب الموضوع)
مع إمكانية فتح أي موضوع داخل المتصفح للانتقال إليه ومشاهدته.
كما يتيح البرنامج إمكانية تصدير نتيجة البحث إلى ملف بصيغة XML واستيراد نتائج بحث تم تصديرها سابقاً وذلك لإتاحة الرجوع إلى النتائج في أي وقت دون الحاجة إلى تكرار البحث في كل مرة.

في هذا المشروع سيتم طرح تفاصيل هذا البرنامج وطرح مكوناته وأكواده البرمجية،
حيث يتكون هذا البرنامج من ثلاثة مكونات رئيسية، كما يلي:

* المكون الأول - ماسح الصفحة الرئيسية:
وظيفة هذا الجزء هي بناء عنكبوت يقوم بمسح الصفحة الرئيسية للمنتدى لبناء خريطة الموقع التي تحوي أسماء وروابط أقسام المنتدى المرئية.

* المكون الثاني - ماسح صفحات المنتديات:
وظيفة هذا الجزء هي مسح صفحات المنتديات والبحث عن المواضيع التي تم طرحها في فترة زمنية معينة.

* المكون الثالث - واجهة البرنامج:
يحتوي هذا الجزء على عناصر واجهة البرنامج من أزرار وقوائم وأوامر معنية بواجهة البرنامج.


سنستخدم في هذا المشروع بيئة التطوير Visual Studio Express 2013 الذي سأشرح طريقة تثبيته في المشاركة القادمة،





http://www.mexat.com/vb/attachment.php?attachmentid=2024660&d=1408547376

يستهدف هذا المشروع المبرمجين من المستوى المتوسط، ما يعني أن هناك أمور يفترض أن يعرفها من يريد تطبيق المشروع..
لكن لا تقلقوا في حال واجهتكم صعوبة في أي من تلك الأمور يمكنكم الاستفسار عنها وسأعلم على توضيحها بإذن الله ^_^


أمور خارج نطاق مواضيع المشروع
- لن يتم شرح لغة C#.NET على فرض أن القارئ لديه الأساسيات الكافية لاستخدام هذه اللغة.
- سيتم استخدام تقنيات مثل XML, Multi-Threading, XPath دون شرحها بالتفصيل مع فتح المجال لاستفساراتكم حول أي منها.
- لن يتم شرح الأكواد سطراً بسطر، بل سيتم طرحها كما هي وسيكون الشرح داخلها في جُمل التعليقات.. والباب مفتوح للاستفسارات طبعاً.


http://www.mexat.com/vb/attachment.php?attachmentid=2024661&d=1408547376

لا تختلف لغة VB.NET عن C#.NET من حيث الإمكانيات ويمكن تحويل الأكواد إلى لغة VB.NET في حال كان هناك عدد ممن يتقنونها ولا يتقنون الـ C#.NET،
ولكن لأن تحويل الأكواد سيأخذ وقتاً وجهداً لن أقوم بتحويلها إلا إذا كان هناك إقبال وطلب على ذلك وأيضاً إذا امتلكت الوقت :لعق:
أسمعونا أصواتكم .. وكلنا آذان صاغية :رامبو:

Diamond mas
19-08-2014, 13:47
http://www.mexat.com/vb/attachment.php?attachmentid=2024662&d=1408547376

نسخة Visual Studio Express 2013 مجانية ويمكنكم تنزيلها من الرابط الرسمي ()

خطوات التثبيت:

http://www.mexat.com/vb/attachment.php?attachmentid=2024440&d=1408452622
الصورة 01: صفحة التتنزيل.

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024441&d=1408452634
الصورة 02: ملفات التنزيل (تنزيل مباشر أو ISO)

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024442&d=1408452648
الصورة 03: تشغيل ملف التنصيب (تنزيل مباشر).

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024443&d=1408452655
الصورة 04: شعار Visual Studio

.
.

قد تظهر رسالة تطلب تحديث Internet Expolor إلى الإصدار العاشر كما يلي:

http://www.mexat.com/vb/attachment.php?attachmentid=2024444&d=1408452667
الصورة 05: رسالة تحديث الـ IE (نضغط Continue لتجاوز هذا الإجراء).

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024445&d=1408452733
الصورة 06: نافذة ترخيص + تثبيت البرنامج.

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024446&d=1408452745
الصورة 07: تشغيل كمسؤول.

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024447&d=1408452755 . http://www.mexat.com/vb/attachment.php?attachmentid=2024448&d=1408452773
الصورتين 08~09: تقدم تثبيت البرنامج (قد يستغرق وقتاً طويلاً لتنزيل وتثبيت البرنامج)

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024449&d=1408452786
الصورة 10: انتهاء التثبيت + تشغيل البرنامج.

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024450&d=1408452898
الصورة 11: تسجيل الدخول (اختاري).

http://www.mexat.com/vb/attachment.php?attachmentid=2024451&d=1408452912
الصورة 12: التجهيز لأول استعمال.

.
.

http://www.mexat.com/vb/attachment.php?attachmentid=2024452&d=1408452971
الصورة 13: واجهة البرنامج الرئيسية.

Diamond mas
19-08-2014, 14:12
http://www.mexat.com/vb/attachment.php?attachmentid=2024663&d=1408547728



قبل أن نصل إلى نهاية هذه المقدمة أود أن أقدم لكم نسخة غير مكتملة من البرنامج ()
لتشغيل البرنامج يجب التأكد من تثبيت .NET Framework 4.5 ()

صور لواجهة البرنامج

http://www.mexat.com/vb/attachment.php?attachmentid=2024468&d=1408457365


جزيل الشكر للمبدع على ما جاد به علينا من تصاميم ::جيد::
وشكراً لإدارة البرمجة والبرامج على الدعم الذي تقدمه لظهور المشروع بأبهى حلة :أوو:
سيتم طرح المكون الأول من المشروع قريباً بإذن الله، انتظرونا :رامبو:



فهرس المشروع :




برمجة عناكب الويب: [ الجزء الثالث ] واجهة البرنامج
(http://www.mexat.com/vb/showthread.php?t=1110212)

Frost Dragon
20-08-2014, 21:15
و عليكم السلام و رحمة الله و بركاته
حياك الله صديقي ماس ،
فكرة البرنامج جميلة ، فكرت فيها في وقت سابق و لكن تركت الفكرة.
جزاك الله خيراً

متابع إن شاء الله :d

Diamond mas
21-08-2014, 07:21
أهلاً ^_^
شكراً لك.. بإذن الله ستجد ما يسرك :d

QUEEN MAHA
22-08-2014, 05:32
لي عوده

Diamond mas
22-08-2014, 05:37
^
^

في انتظارك :d

QUEEN MAHA
23-08-2014, 00:15
السلام عليكم ورحمة الله وبركاته رجعنا :p
الصراحه فكره حلو و ودي اطبقها بس ابد ابدا ما افهم للغات
اعرف الاساسيات بس كل لغه تستخدم تستخدم لايش و شنو اصعب و اسهل
لكن كتابتها ما اعرف بالرغم من ان عندي حب كبير لها بس للاسف ما تعلمتها :(
و اظن فيجوال بيسك 2003 هو احسن واحد صح؟

و يعطيك العافيه علئ الموضوع


*

Diamond mas
23-08-2014, 08:30
وعليكم السلام ورحمة الله وبركاته

أهلين بعودتك أختي ^_^
إذا بتحبين بإمكانك تطبقين الخطوات وتنسخي الكود مثل ما هو لمشاهدة النتائج، يعني بغرض التسلية فقط :p
فيجوال بيسك 2003 من أوائل إصدارات VB.NET وهذه اللغة يفضلها الكثيرون :D

شكراً لك يكفي أنك نورتينا حتى لو لم تطبقين المشروع :أوو:
ربي يسلمك ويعافيكِ

sis sis
23-08-2014, 13:34
مُمتآز :e418:
*
أبدعت ~
:::

سأحاول أن أعود .. !!

Mystic Rukia
23-08-2014, 14:53
وعليكم السلام ورحمة الله وبركاته

يا هلا يا هلا ماس نورت القسم بموضوعك :أوو:
كنت حابه اكون اول رد وحملت البرنامج لكنو طول بالتنصيب فأضطريت انام واصحى ثاني يوم دوام .. الخ
وعلى حظك مرضت وقضيتها يومين بالمراجعات للاطباء وراح علي اول رد :بكاء:

جربت البرنامج حبيته كثير قريب من الهدية يلي عطيتني اياها بتاعت سيرفر مكسات اذا شغال او لا : d
متحمسه لاكمال المشروع معك ان شاء الله اكون طالبة مجتهدة وتعطيني علامات كويسه
بس تحمل من الان دام نمون عليك بسأل سبعين سؤال xD

انا لو احد ثاني بغير قسم مثل التصميم يكتب جمل مثل ما رح يتم شرح هالشي من البداية بس عادي تسألو ما كنت شاركت
بس معك بنشارك وانت تاكلها وتتورط فينا : d

بأنتظار الموضوع الاول من المشروع يعطيك الف عافيه ^_^

Diamond mas
23-08-2014, 17:19
مُمتآز :e418:
*
أبدعت ~
:::

سأحاول أن أعود .. !!
أهلاً وسهلاً ومية مرحباً، أهلاً بالأمير :أوو:
نورتنا بوجودك، لا توفر جهد نريدك معنا :D




وعليكم السلام ورحمة الله وبركاته

يا هلا يا هلا ماس نورت القسم بموضوعك :أوو:
كنت حابه اكون اول رد وحملت البرنامج لكنو طول بالتنصيب فأضطريت انام واصحى ثاني يوم دوام .. الخ
وعلى حظك مرضت وقضيتها يومين بالمراجعات للاطباء وراح علي اول رد :بكاء:

جربت البرنامج حبيته كثير قريب من الهدية يلي عطيتني اياها بتاعت سيرفر مكسات اذا شغال او لا : d
متحمسه لاكمال المشروع معك ان شاء الله اكون طالبة مجتهدة وتعطيني علامات كويسه
بس تحمل من الان دام نمون عليك بسأل سبعين سؤال xD

انا لو احد ثاني بغير قسم مثل التصميم يكتب جمل مثل ما رح يتم شرح هالشي من البداية بس عادي تسألو ما كنت شاركت
بس معك بنشارك وانت تاكلها وتتورط فينا : d

بأنتظار الموضوع الاول من المشروع يعطيك الف عافيه ^_^


أهلاً بأميرة البرمجة المرحية ::سعادة::

رابع رد مش مشكلة.. الرقم 4 مميز كمان :D
طهورة إن شاء الله.. ما عليكِ شر، تكفير ذنوب إن شاء الله ^_^
كثير سعيد بتواجد وتواجد الإخوة.. خفت أظل هنا أنادي لحالي بدون ما أحصل على ردود ^^"

هههههه... هي برامجي المكساتية مثل هيك وحتى كان عندي برنامج زيادة عدد زيارات الملفات الشخصية إذا تذكرين تلك الخاصية :p
يعني بالأحرى هي تسالي أتسلى فيها وهواية أقضي وقتي عليها ^_^
إن شاء الله بعد هالدورة في عندي مفاجأة بخصوص برنامج قارئ الرسائل الخاصة.. طورته أكثر وخلصت من قضية حقوق الملكية ::سعادة::

حيا الله فيكِ وبأسئلتك.. أعتذر منكم ما قصدت من تلك الجملة تثبيط أحد،
لكن قصدت إعلام الذين يدخلون يقرؤون ويخرجون أن هذا الموضوع ليس بدورة، وأن الذي يريد الفائدة عليه بالمتابعة والسؤال ^^"

يمكن تكوني تعرفي أن تجربتي السابقة مع الدورات كانت مش ولا بد بكل صراحة،
مشان هيك قررت أضع ما لدي من أكواد وأنتظر الأسئلة.. وإذا كانت هذه التجربة كويسة ممكن أطرح أكواد أخرى بنفس الطريقة :D

اتفقنا معك سبعين سؤال في اليوم.. أكثر من هيك بتعطيني أجر إضافي (Overtime) :ضحكة:
آخذ 150% بعد السؤال السبعين يعني كل سؤال راح يكلفك 150% * راتبي اليومي * ÷ 70 :ضحكة:

الموضوع الأول جاهز منذ الخميس لكني أنتظر التصاميم :مرتبك:
فعلياً الكود كله جاهز ومجزأ وأقدر أنتهي من طرح المواضيع بيوم واحد، بس نقول يالله كل تأخيرة فيها خيرة وممكن تكون فرصة لحضور المزيد :سعادة2:

I M M O R T A L
23-08-2014, 18:38
السلام عليكم ورحمة الله وبركاته

اهلاً اهلاً بالعزيز ماس :D
كيفك وكيف امورك :موسوس: ؟ إن شاء الله كل شئ يكون تمام :قرصان:

تقريباً عدّت سنة منذ ان كتبت رد في مكسات
بس بصراحة الموضوع لفت نظري خصوصاً انه موضوع من كتابتك ^___^
فكان لازم اشارك :p

بالتوفيق إن شاء الله ومتابع لك :رامبو:

Diamond mas
24-08-2014, 11:01
السلام عليكم ورحمة الله وبركاته

اهلاً اهلاً بالعزيز ماس :d
كيفك وكيف امورك :موسوس: ؟ إن شاء الله كل شئ يكون تمام :قرصان:

تقريباً عدّت سنة منذ ان كتبت رد في مكسات
بس بصراحة الموضوع لفت نظري خصوصاً انه موضوع من كتابتك ^___^
فكان لازم اشارك :p

بالتوفيق إن شاء الله ومتابع لك :رامبو:
وعليكم السلام ورحمة الله وبركاته

يا هلا بالغالي ::سعادة::
الحمد لله أنا كويس شكراً على السؤال ^_^
إن شاء الله تكون أمورك حلوة وعال العال :d

ياه تكسر الانقطاع دا كله مشان موضوعي.. شرف كبير لي ^_^
تسلم أخوي وإن شاء الله حتستفيد من هالمشروع حاجات جديدة ::جيد::

Diamond mas
25-08-2014, 14:02
السلام عليكم ورحمة الله وبركاته

تم طرح الجزء الأول من الكود:

سنسعد بتواجدكم ^_^

Diamond mas
05-09-2014, 15:29
السلام عليكم ورحمة الله وبركاته

تم بحمد الله طرح الجزء الثاني من المشروع ::سعادة::

سنسعد بتواجدكم

Diamond mas
18-09-2014, 12:24
السلام عليكم ورحمة الله وبركاته

ختام المشروع :رامبو:

شرفونا ::جيد::

تحياتي

اغنار
21-09-2014, 17:35
وعليكم السلام ورحمة الله وبركاته

ما شاء الله يبدو المشروع ضخم ومثير، أخي دايموند ماس..
خصوصا مقدمتك عن الإحتياجات التي سيلبيها البرنامج، شعرتُ بأنني وجدتُ من يتفهم إحتياجاتي وبل ما يفوق توقعاتي :بكاء:

كنتُ أحتاج مثل هذا البرنامج منذ زمن، ولم أتصور بأن يتاح لي بتلك البساطة :e414:
خصوصا وأن البحث في محرك البحث المربوط في المنتدى لم يعطني النتائج المرجوة :em_1f635:

حملتُ نسخة برنامجك المطروحة في هذا الموضوع، في بادئ الأمر ظهر لي خطأ يقول بأنني لم أحمل خارطة ما،
فظننتُ بأن هنالك خطبا ما، وخفت بأن يكون السبب هو عدم تحميلي للبرنامج الذي ذكرته في موضوعك،
ولكنني اكتشفت فيما بعد بأن البرنامج مستقل واشتغل من تلقاء نفسه بعد أن حمل الخارطة العجيبة :em_1f62c:

يبدو البرنامج بسيطا للغاية، وسهل الإستخدام، تمكنتُ من البحث في المواضيع عبر تحديد القسم والتحكم في التاريخ ::سعادة::
واكتشفت من خلاله بأن عدد المواضيع التي نشرت في المنتدى خلال أسبوع قليلة جدا، هل من خطبٍ ما في المنتدى :نينجا:

أشكرك جزيل الشكر على طرح هذا البرنامج المفيد في متناول الجميع،
وأقدر التعب والمجهود العظيم الذي بذلته، الله يعطيك العافية :em_1f619:

للأسف لن يكون بوسعي مشاركتكم بالدورة كوني لا أعرف شيئا في البرمجة :e108:
ولكنني سعيدة لزيارتي الموضوع وتحميل البرنامج.

تشكر جهودك

Diamond mas
22-09-2014, 07:58
حياكِ الله أهلاً أختي ^_^
شكراً على مرورك الطيب وأرجو المعذرة على التعقيدات التي مررتِ بها حتى تمكنتِ من تشغيل البرنامج :نوم:
لم أسوّق للبرنامج على مستوى استهلاكي بل اكتفيت بتسويقه على مستوى تعليمي وهذا ما جعلني أهمل بعض النواحي التي تهم مستخدمي البرنامج :P

عند تشغيل البرنامج سيبحث عن قائمة أقسام المنتدى ومنتدياته الفرعية، وهذه القائمة يتم تخزينها مع أول استخدام للبرنامج،
والرسالة التي اعتقدتِ أنها رسالة خطأ ما هي إلا رسالة استئذان للسماح له بالاتصال بالانترنت واستخراج قائمة أقسام المنتدى تلك ;)

شكراً مرة أخرى وأنا سعيد لأن البرنامج قد قدم لكِ بعض المساعدة في البحث عما تريدين ^_^
وأود أن ألفت انتباهكِ أن البرنامج قيد التطوير، والباب مفتوح لسماع اقتراحتكم حوله :أوو:

تحياتي

بن سنان
29-09-2014, 20:43
السلام عليكم ورحمة الله وبركاته
عدنا بعد انقطاع طويل عن المنتدى
جميل ان نرى مثل هذة الدروس في القسم
بالرغم ان هذا القسم مهمل وليس له محبين او عشاق
كم سررت بهذة الدروس . ماشاء الله عليك اخي ديمون دائماً مبدع
متابع للدروس .تقبل تحياتي الحارة

Diamond mas
30-09-2014, 10:26
وعليكم السلام ورحمة الله وبركاته

أهلاً بك أخي بن سنان ^_^
مر فترة طويلة لم نرك، كيف حالك؟


شكراً على مرورك.. يعطيك العافية ::جيد::

بن سنان
30-09-2014, 10:57
الحمدلله .. اخبارك اخي . وحشتنا اخوويا :e056:
رايت اول موضوع والردود فاعتقدة ان الدورة سيكون عليها اقبال كبير
ولكن بعد تصفحي لبقية الدروس ادركت ان لاحياة لمن تنادي
ستجد الاف المشاهداة وعشرات الردود اذا كان الموضوع يخص الانمي
والانمي فقط للتسلية ليس للعلم او لكسب العيش ..على العكس , هذا القسم تجد متعة العلم والتعلم
وقد تكسب منة لقمة العيش ان اردت ذلك .. نسائل الله الهداية للجميع . فوطن بدون علم لا يعرفة التاريخ ولا الامم
ومن هنا اناشد الاخوان بالاهتمام بالاقسام العلميه التعليمية ليستفيد الجميع .. دمتم بخير

Diamond mas
30-09-2014, 11:31
دوم إن شاء الله
وأنا بخير الحمد لله ^_^

هههه... أكيد انشغلوا أو انصدموا بشي معين منعهم من المتابعة :لعق:
ولو انه شي محبط، لكن كان ضمن توقعاتي صراحة :D

لكل شخص أسبابه في دخول المنتدى.. ولا نعيب على من دخلوا هنا بغرض التسلية فقط فالمنتدى للجميع :p
يكفي أن نجد بضعة أشخاص تقنيين مثلك وأمثال بعض الأخوة هنا نتبادل الخبرات معهم :أوو:

✿ Bella ✿
11-10-2014, 15:15
-

السلام عليكم ورحمة الله

لا لي بالبرمجه لا من قريب و لا من بعيد بس حبيت احط بصمتي وأشكرك على جهودك

جزاك الله كل خير ماس و الله يكثر من أمثالك

^_______^

Diamond mas
12-10-2014, 08:00
وعليكم السلام ورحمة الله وبركاته

أهلاً بكِ أختي شرفتي :أوو:
شكراً على إطلالاتك وعلى تشجيعك، أسعدتني ::سعادة::

وإياكم يا رب.. جزاكِ الله خيراً ^_^