پرسشنامه شماره 1،  برای شناسایی، غربال و دسته‌بندی نهایی شاخص های موفقیت پیاده سازی ERP  با استفاده از تکنیک دلفی فازی بکار گرفته شده است. 24 سوال

پرسشنامه شماره 2، به منظور اولویت‌بندی معیارها و شاخص های شناسایی شده با استفاده از تکنیک مبتنی بر مقایسات زوجی یعنی ANP فازی می‌باشد.7 سوال 6 قسمتی

پرسشنامه شماره 3، به منظور تعیین روابط درونی و علی و معلولی معیارهای شناسایی شده براساس تکنیک DEMATEL فازی می باشد.7 سوال

3-6- روایی و پایایی ابزار گردآوری داده‌ها

مفهوم روایی^[1] به این پرسش پاسخ می‌دهد که ابزار اندازه گیری تا چه حد خصیصه مورد نظر را می‌سنجد. بدون آگاهی از روایی ابزار اندازه گیری نمی توان به دقت داده‌های حاصل از آن اطمینان داشت. طراحی پرسشنامه شماره 1، بر پایه شاخص های شناسایی شده در ادبیات پژوهش و دیدگاه اساتید و خبرگان انجام شده است تا میزان روایی در سطح مطلوبی قرار داشته باشد.

پایایی[2] با این امر سروکار دارد که ابزار اندازه گیری در شرایط یکسان تا چه اندازه نتایج یکسانی به دست می دهد. به عبارت دیگر، «همبستگی میان یک مجموعه از نمرات و مجموعه دیگری از نمرات در یک آزمون معادل که به صورت مستقل بر یک گروه آزمودنی به دست آمده است» چقدر است. به بیان دیگر اگر ابزار اندازه‌گیری را در یک فاصله زمانی کوتاه چندین بار به یک گروه واحدی از افراد بدهیم نتایج حاصل نزدیک به هم باشد. با توجه به اینکه پرسشنامه شماره 2، براساس فرآیند تحلیل شبکه و از نوع مقیاس ساعتی می‌باشد لذا برای بررسی پایایی پرسشنامه از نرخ ناسازگاری استفاده می‌گردد و چنانچه میزان ناسازگاری مقایسات زوجی بیشتر از 1/0 باشد بهتر است در مقایسات تجدید نظر گردد ‏[22].

3-7- محاسبه نرخ ناسازگاری

نرخ ناسازگاری[3] نشان می‌دهد تا چه اندازه می‌توان به اولویت‌های تعیین شده اعتماد کرد. تجربه نشان داده است كه اگر نرخ ناسازگاری كمتر از 1/0 باشد سازگاری مقایسات قابل قبول بوده و در غیر اینصورت مقایسه‌ها باید تجدید نظر شود. گام­های زیر برای محاسبه نرخ ناسازگاری به كار گرفته می‌شود [30] :

گام 1. محاسبه بردار مجموع وزنی[4]: ماتریس مقایسات زوجی را در بردار ستونی «وزن نسبی» ضرب می­کنیم. بردار جدیدی را كه به این طریق بدست می‌آید، بردار مجموع وزنی نامیده می­شود.

گام 2. محاسبه بردار سازگاری[5]: عناصر بردار مجموع وزنی را بر بردار اولویت نسبی تقسیم کرده، بردار حاصل بردار سازگاری نامیده می‌شود.

گام 3. بدست آوردن میانگین عناصر بردار سازگاری که lmax را به دست می‌دهد.

گام 4. محاسبه شاخص ناسازگاری[6]: شاخص ناسازگاری طبق رابطه (3-10) تعریف می‌شود:

بیشتر مواقع به جای محاسبه lmax از روش تقریبی میانگین حسابی طبق رابطه (3-11) استفاده می‌شود.

- پارامتر n تعداد معیارهای موجود در مسأله است.

- پارامتر L مقدار تقریبی lmax است.

- پارامتر A ماتریس مقایسه زوجی معیارهاست.

- بردار W_i نیز همان بردار ویژه یا بردار اولویت معیارها است.

- بردار AW_i برابراست با حاصلضرب ماتریس مقایسه زوجی معیارها در بردار ویژه (اولویت­ها)

بنابراین کافیست تا پس از محاسبه AW_i هریک از درایه‌های این بردار را بر درایه متناظر بردار W_i  تقسیم نموده و سپس مقادیر بدست آمده را جمع نمود. با تقسیم عدد حاصل بر تعداد معیارها (n) مقدار L بدست خواهد آمد.

گام 5. محاسبه شاخص ناسازگاری تصادفی[7]: شاخص ناسازگاری تصادفی از جدول 3-5 استخراج می‌شود.

جدول 3- 5شاخص ناسازگاری تصادفی [30]

گام 6. محاسبه نرخ ناسازگاری: نرخ ناسازگاری از رابطه (3-12) بدست می آید. نرخ ناسازگاری 1/0 یا كمتر، قابلیت اعتماد و سازگاری در مقایسات را بیان می‌كند ‏[22].