Kết quả thực thi

Xem kết quả thực thi

Sau khi ấn run để thực thi hệ thống sẽ điều hướng đến màn hình Test Run, lần thực thi vừa rồi sẽ hiển thị đầu tiên trên lưới dữ liệu ở trạng thái Waiting. Xem thêm về kết quả thực thi

Để xem chi tiết kết quả thực thi, hãy làm như sau:

Bước 1: Bấm chọn vào lần thực thi hiển thị vừa rồi trên lưới dữ liệu.

Bước 2: Đợi thực thi xong thì bấm nút Refresh để hiển thị kết quả cuối của lần thực thi cũng như các bộ dữ liệu có trong lần thực thi

Bước 3: Hệ thống hiển thị thông tin chi tiết kết quả của một lần thực thi, bao gồm:

• Thông tin cơ bản của một lần thực thi
• Biểu đồ thống kê trạng thái kết quả của các bộ dữ liệu trong lần thực thi
• Môi trường kiểm thử mà người dùng đã chọn
• Danh sách kết quả của các bộ dữ liệu

Bước 4: Nếu người dùng muốn xem chi tiết kết quả của một bộ dữ liệu, bấm chọn một dữ liệu cụ thể trên danh sách

Bước 5: Hệ thống sẽ hiển thị thông tin kết quả chi tiết của một bộ dữ liệu, bao gồm có:

• Thông tin cơ bản của lần kiểm thử (TEST RUN DATA INFORMATION)
• Dữ liệu đầu vào (TEST RUN DATA)
• Dữ liệu đầu ra (TEST RUN RESULT)
• Thông tin Agent (Agent information)

Lưu ý: Kết quả cuối cùng của một bộ dữ liệu sẽ dựa trên kết quả thực tế (Actual result) và kết quả mong muốn (Expected result).

• Final Status = Pass khi:
  • Expected result (mong muốn của Tester) là Pass & Actual result (Kết quả chạy thực tế) là Pass
  • Expected result (mong muốn của Tester) là Fail & Actual result (Kết quả chạy thực tế) là Fail
• Và ngược lại.

Xác định lỗi

Nếu thực thi kiểm thử xảy ra lỗi, người dùng cần phân biệt lỗi do cấu hình hay lỗi trong quá trình thực thi.

Các xác định lỗi cấu hình như sau:

Bước 1: Sau khi bấm run, nếu đợi một lúc lâu vẫn chưa thấy hiển thị trình duyệt thực thi, hãy click biểu tượng Refresh trên màn hình chi tiết kết quả thực thi.

Bước 2: Quan sát trạng thái của lần thực thi; nếu thấy hiển thị màu xám – Error, mô tả lỗi sẽ hiển thị ở Description trên màn hình chi tiết kết quả thực thi.

Xem thêm một số lỗi cấu hình tiêu biểu và cách sửa lỗi

Cách xác định lỗi thực thi như sau:

Bước 1: Sau khi bấm run, nếu đợi một lúc lâu vẫn chưa thấy hiển thị trình duyệt thực thi, bấm nút Refresh trên màn hình chi tiết kết quả thực thi.

Bước 2: Trên danh sách data của test run, chọn một data có kết quả fail mà người dùng muốn xem lỗi.

Bước 3: Quan sát trạng thái kết quả; nếu thấy hiển thị màu đỏ – Fail, mô tả lỗi sẽ hiển thị ở Actual result description.

Xem thêm một số lỗi thực thi tiêu biểu và cách sửa lỗi

Cách xác định vị trí lỗi khi gặp lỗi thực thi

Để xác định vị trí lỗi trong quá trình thực thi, hệ thống cung cấp một số tiện ích hỗ trợ người dùng:

• View debug: Xác định vị trí lỗi trên giao diện cấu hình.
• View image error of test: Ảnh màn hình của ứng dụng kiểm thử khi gặp lỗi.

View debug

Bước 1: Trên màn hình chi tiết kết quả thực thi, chọn một bộ dữ liệu xảy ra lỗi thực thi, click biểu tượng View debug của bộ dữ liệu đó.

Lưu ý: Biểu tượng View debug hiển thị khi kết quả thực tế (actual result) của bộ dữ liệu khi thực thi kiểm thử là fail.

Bước 2: Trên giao diện cấu hình, hệ thống sẽ hiển thị nháy highlight tại bước lỗi thực thi.

View image of test

Để sử dụng tính năng View image of test, khi thiết lập Profile ở trường thông tin Image disabled người dùng cần chọn false. Xem thêm thiết lập profile

Bước 1: Trên màn hình chi tiết kết quả thực thi, chọn một bộ dữ liệu xảy ra lỗi thực thi, click biểu tượng View image error of test của bộ dữ liệu đó.

Lưu ý: Biểu tượng View image error of test hiển thị khi kết quả thực tế (actual result) của bộ dữ liệu thực thi kiểm thử là fail.

Bước 2: Hệ thống hiển thị popup xem ảnh màn hình lỗi của ứng dụng kiểm thử.

Video quá trình thực thi

Sau khi kết thúc quá trình thực thi, người dùng có thể xem lại video để xác nhận xem đã chạy đúng với luồng nghiệp vụ đã cấu hình hay chưa, có thiếu bước nào hay không. Đây cũng là một cách xác định vị trí xảy ra lỗi thực thi.

Bước 1: Trên màn hình chi tiết kết quả thực thi, chọn một bộ dữ liệu mà người dùng muốn xem video, click biểu tượng Play video of test của bộ dữ liệu đó.

Bước 2: Hệ thống chuyển hướng đến màn hình để chạy video quá trình thực thi. Lưu ý: Để xem được video, khi thiết lập môi trường kiểm thử, tính năng record phải được bật (Recorded disable = False). Video sẽ là ảnh của các bước cấu hình được hệ thống chụp lại và ghép thành một video.*

Report bug

Đối với những bộ dữ liệu có kết quả cuối cùng (Final status) là fail, người dùng có thể báo cáo lỗi đến công cụ quản lý bug (Jira, Mantis, LLQ Work Management..) được tích hợp khi thiết lập project.

Người dùng có thể report bug thủ công hoặc cấu hình để report bug tự động khi thực hiện tích hợp với các công cụ quản lý lỗi. Report bug tự động sẽ tự động đẩy bug lên mỗi lần lỗi thực thi hệ thống.

Các thông tin được đẩy lên kèm với lỗi là: mô tả lỗi, ảnh lỗi và dữ liệu kiểm thử để dev có thể dễ dàng tái hiện lại lỗi.

Cách report bug thủ công như sau:

Điều kiện để Report bug trên Centralize Automation Testing Suite

Tích hợp công cụ quản lý bug

Khi thiết lập Project, người dùng cần lựa chọn công cụ quản lý bug tích hợp với Centralize Automation Testing Suite.

Hiện tại LLQ QA Testing Suite hỗ trợ tích hợp quản lý bug với Jira, Mantis và app LLQ Work Management.

Hình thức thực thi kiểm thử

Để có thể report bug trên Centralize Automation Testing Suite, hình thức thực thi của kịch bản kiểm thử phải là “Complete”. Thông số hình thức thực thi (test run) được thiết lập trước khi Run kịch bản kiểm thử.

Nếu kịch bản kiểm thử có Test Run là Draft và muốn report bug của lần run đó, người dùng cần chuyển trạng thái từ Draft sang Complete.

Bước 1: Trên màn hình kết quả thực thi của kịch bản kiểm thử, click vào biểu tượng Mark complete.

Hệ thống hiển thị popup xác nhận chuyển Complete.

Bước 2: Click OK, hệ thống cập nhật Test run là Complete và không còn hiển thị biểu tượng Mark Complete.

Report bug trên Centralize Automation Testing Suite

Bước 1: Trên màn hình chi tiết kết quả thực thi, chọn một bộ dữ liệu xảy ra lỗi thực thi, click biểu tượng Report bug của bộ dữ liệu đó.

Hệ thống hiển thị popup xác nhận Report bug.

Bước 2: Click OK, hệ thống thông báo Report bug successful đồng thời cập nhật Bug Tracker Status Report Bug từ Not report thành màu xanh Reported, hiển thị box Test run data bug tracker cùng đường dẫn truy cập nhanh đến lỗi được report.

Báo cáo kết quả 1 lần thực thi

Một lần thực thi có thể gồm rất nhiều dòng dữ liệu khác nhau và cho ra những kết quả khác nhau. Người dùng có thể tải file báo cáo để xem và phân tích kết quả nhanh hơn.

Cách tải báo cáo kết quả 1 lần thực thi như sau:

Bước 1: Trên màn hình chi tiết kết quả thực thi, click vào biểu tượng Download result.

Hoặc click biểu tượng Download result ở danh sách lần thực thi.

Bước 2: Hệ thống sẽ tải file kết quả về máy người dùng. File kết quả sẽ bao gồm các thông tin sau:

• Test run information: Thông tin cơ bản của lần thực thi.

  

• Result: Kết quả của các bộ dữ liệu.

  

• Data: Bộ dữ liệu kiểm thử.

  

• Parameter: Danh sách các tham số của kịch bản kiểm thử.