A proposed revised version of the scoring rubrics of vstep 3 - 5 level
VSTEP (Vietnamese Standardized Test of English Proficiency) is a proficiency test in line with the Six-Level framework for foreign language proficiency in Vietnam (VNFLPF), equivalent to the CEFR, issued by the MOET dated March 3, 2015. Of the versions for different target groups, the VSTEP 3-5 level is undoubtedly the most wide-spread so far, and common in multiple institutions of higher education in Vietnam. This article is to describe and critically evaluate the issued scoring rubrics of the two productive skills – Speaking and Writing; and basing on an analysis and modification of the descriptors, to propose revised versions of the marking rubrics. The product represents the more concise and clearer rubrics. The revised versions are of practical significance to the practice of English language teaching for graduates and post-graduates, the issue of training the assessors of the two productive skills, and/or the endeavor of self-improvement on the part of instructors of English in order to ensure standardized quality in assessment
Trang 1
Trang 2
Trang 3
Trang 4
Trang 5
Trang 6
Trang 7
Trang 8
Trang 9
Tóm tắt nội dung tài liệu: A proposed revised version of the scoring rubrics of vstep 3 - 5 level
Ton Nu My Nhat / Tạp chí Khoa học và Công nghệ Đại học Duy Tân 02(45) (2021) 117-125 117 A proposed revised version of the scoring rubrics of VSTEP 3-5 level Phiên bản đề xuất chỉnh sửa bộ tiêu chí đánh giá kỳ thi VSTEP bậc 3-5 Ton Nu My Nhata,b* Tôn Nữ Mỹ Nhậta,b* aInstitute of Linguistics, Duy Tan University, Da Nang, 550000, Vietnam aViện Ngôn ngữ, Ðại học Duy Tân, Ðà Nẵng, Việt Nam bFaculty of English Language, School of Foreign Language, Duy Tan University, Da Nang, 550000, Vietnam bKhoa Tiếng Anh, Trường Ngoại Ngữ, Ðại học Duy Tân, Ðà Nẵng, Việt Nam (Ngày nhận bài: 03/11/2020, ngày phản biện xong: 27/02/2021, ngày chấp nhận đăng: 08/03/2021) Abstract VSTEP (Vietnamese Standardized Test of English Proficiency) is a proficiency test in line with the Six-level framework for foreign language proficiency in Vietnam (VNFLPF), equivalent to the CEFR, issued by the MOET dated March 3, 2015. Of the versions for different target groups, the VSTEP 3-5 level is undoubtedly the most wide-spread so far, and common in multiple institutions of higher education in Vietnam. This article is to describe and critically evaluate the issued scoring rubrics of the two productive skills – Speaking and Writing; and basing on an analysis and modification of the descriptors, to propose revised versions of the marking rubrics. The product represents the more concise and clearer rubrics. The revised versions are of practical significance to the practice of English language teaching for graduates and post-graduates, the issue of training the assessors of the two productive skills, and/or the endeavor of self-improvement on the part of instructors of English in order to ensure standardized quality in assessment. Keywords: VSTEP; VSTEP 3-5; scoring rubrics; Six-level framework for foreign language proficiency in Vietnam. Tóm tắt VSTEP (Vietnamese Standardized Test of English Proficiency) là kỳ thi đánh giá năng lực tiếng Anh theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam (tương đương với trình độ A1, A2, B1, B2, C1,C2), được Bộ GD&ĐT ban hành vào tháng 03 năm 2015. Trong những phiên bản của VSTEP, dành cho những đối tượng khác nhau, thì bài thi VSTEP bậc 3-5 là phổ biến hơn cả và đang được sử dụng rộng rãi trong các trường đại học ở Việt Nam hiện nay. Bài viết này nhằm mục tiêu miêu tả và đánh giá bộ tiêu chí đánh giá hai kỹ năng Nói và Viết của kỳ thi này, và dựa trên những kết quả phân tích và chỉnh sửa ngôn từ, kết quả nghiên cứu đã cho ra 2 bộ tiêu chí đánh giá ngắn gọn, súc tích, và rõ ràng hơn. Hai bộ tiêu chí đánh giá mới có ý nghĩa đối với thực tiễn dạy-học tiếng Anh bậc đại học, sau đại học, cũng như với thực tế bồi dưỡng đội ngũ cán bộ chấm thi hai kỹ năng Nói, Viết, hay/và thực tế tự bồi dưỡng của giảng viên tiếng Anh để bảo đảm chất lượng trong quá trình chấm thi hướng đến các chuẩn quốc tế. Từ khóa: Kỳ thi đánh giá năng lực tiếng Anh của Việt Nam; Kỳ thi đánh giá năng lực tiếng Anh của Việt Nam bậc 3-5; Tiêu chí chấm thi; Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam. *Corresponding Author: Ton Nu My Nhat; Institute of Linguistics, Duy Tan University, Da Nang, 550000, Vietnam; Faculty of English Language, School of Foreign Language, Duy Tan University, Da Nang, 550000, Vietnam Email: tnmynhat70@gmail.com 02(45) (2021) 117-125 Ton Nu My Nhat / Tạp chí Khoa học và Công nghệ Đại học Duy Tân 02(45) (2021) 117-125 118 1. Introduction The Vietnamese Standardized Test of English Proficiency (VSTEP) was released according to Decision No. 729/QĐ-BGDĐT, dated March 11, 2015 [1]. It is claimed that this ‘first-ever made-in-Vietnam standardized EFL tests’ was developed ‘intensively with utmost effort and energy’ [2, p. 74]. There are five VSTEP variants for different targeted groups, of which the VSTEP 3-5 level is the most influential. This multi-level test is aimed to cater for the certification needs of a large number of groups. Many institutions in Vietnam have made use of this specification to award the B1-C1 English proficiency certificates to multiple target groups in recent years. It has widely been used in colleges and examination bodies in Vietnam because it is well developed, reliable, and economical in comparison to the international tests. Given the wide-spread use of this nation- wide test, this article is to argue that the scoring rubrics of the two productive skills of VSTEP 3-5 is far from practical and to propose a revised version of the rubrics. In this article, the currently-circulated scoring rubrics for the two productive skills will first be described in terms of superficial textual features and practicality. The paper will then go on to describe how the rating scales have been revised - the features modified and the procedures, which is followed by the presentation of the revised products. The final section concerns itself with the factors to consider in order to assure scoring quality of these tests. 2. The study 2.1. A critical analysis of VSTEP 3-5 scoring rubrics There are three rubrics altogether - one for Speaking test, and two for Writing test - Task 1 and Task 2 [3]. It is claimed that the development of these rating rubrics was based on the Vietnamese six-level language proficiency framework and the other CEFR- aligned rating schemes such as IELTS and Cambridge English exams such as PET, FCE, and CAE. These analytic scales contain five features for Speaking test - Grammar, Vocabulary, Pronunciation, Fluency, Organization - and four features for Writing test - Task completion, Organization, Vocabulary, Grammar. All four/five analytical criteria are shared across the whole test and equally weighted. The number of criteria is, thus, within limit [4, p. 193]. Each of the feature has descriptors for 11 points - ascending from 0 to 10. The descriptors are intended to focus the readers’ at ... hủ đề quen thuộc/ không quen thuộc; Đôi lúc lặp từ, ngữ; Lỗi: một số / nhiều; lỗi kết hợp từ, diễn đạt ý. Từ, âm đơn lẻ: rõ ràng, dễ hiểu; Lỗi: âm đơn lẻ, trọng âm; một số/ nhiều Có nhấn trọng âm từ. Ý đơn giản: trôi chảy; Ý phức tạp: chậm, ngập ngừng, do phải tìm cấu trúc và từ vựng. Có thể phát triển câu trả lời bằng các cụm từ, câu đơn; Liên kết: có liên kết giữa các ý; Trả lời câu hỏi: phù hợp, Phương tiện liên kết: môt số/ đa dạng phương tiện đơn giản / phức tạp; có thể thể hiện quan hệ liên kết chưa chính xác; đôi khi lặp. Ton Nu My Nhat / Tạp chí Khoa học và Công nghệ Đại học Duy Tân 02(45) (2021) 117-125 121 Lỗi: có thể mắc khi nói các đoạn dài; biết sửa lỗi. Phát triển ý: liệt kê / tương đối dễ dàng; Mở rộng ý: chưa rõ / lặp / với (những) chi tiết, ví dụ minh họa phù hợp; 4 Các dạng câu đơn: chính xác, linh hoạt; Câu phức: một số/ khá nhiều; Lỗi: một số, không hệ thống, có thể tự sửa, không gây hiểu nhầm. Từ, ngữ: về hầu hết các chủ đề quen thuộc/ không quen thuộc; Lặp từ, ngữ: ít khi, với các chủ đề không quen thuộc; Kết hợp từ, diễn đạt: tương đối chính xác; Chính tả / dạng thức từ: (tương đối) chính xác (cao); Có từ, ngữ ít thông dụng; cụm từ cố định, thành ngữ. Lỗi: một số; lỗi kết hợp từ, dạng thức từ, diễn đạt ý. Từ, âm đơn lẻ: (hầu như) rõ ràng, chính xác, tự nhiên, dễ hiểu; Trọng âm từ: tương đối chính xác; Có nhấn trọng âm câu; Có thể hiện ngữ điệu câu. Ý đơn giản và phức tạp: giao tiếp dễ dàng, tương đối/ khá lưu loát; Có thể nói các đoạn dài: có thể lặp từ; Lỗi: có thể mắc một số lỗi nhỏ/ không hệ thống, có thể sửa lỗi; Ngập ngừng: thỉnh thoảng, không quá lâu. Phương tiện liên kết: nhiều/ đa dạng; thể hiện (khá) rõ ràng mối quan hệ giữa các ý. Phát triển ý: dễ dàng; Mở rộng ý: với những chi tiết, ví dụ minh họa phù hợp. 5 Nhiều cấu trúc câu: đa dạng, linh hoạt, chính xác; Lỗi: khó phát hiện/ hầu như không. Từ, ngữ: phong phú; có từ, ngữ thuộc tần số sử dụng thấp; thành ngữ; Lặp từ, ngữ: hiếm khi; có thể còn còn ngập ngừng khi tìm từ, ngữ thay thế; Lỡ lời: đôi khi/ hầu như không; Lỗi: nhỏ; một vài / không. Từ, âm đơn lẻ: rõ ràng, chính xác, tự nhiên, dễ hiểu; Trọng âm từ, câu: chính xác; thay đổi để thể hiện các sắc thái ý nghĩa khác nhau; Ngữ điệu câu: phù hợp; thay đổi để thể hiện các sắc thái ý nghĩa khác nhau. Đoạn dài: dễ dàng, lưu loát, tự nhiên; Lặp từ, sửa lỗi: đôi khi, hiếm khi; Ngập ngừng: hầu như không; chỉ khi diễn đạt một số chủ đề/ khái niệm khó. Phát triển, mở rộng ý: dễ dàng, (khá) tường tận, với những chi tiết, ví dụ minh họa phù hợp; kết luận phù hợp; Tổ chức ý: rõ ràng, mạch lạc, cấu trúc chặt chẽ; Phương tiện liên kết: (khá) thành thạo, đa dạng các phương tiện. Ton Nu My Nhat / Tạp chí Khoa học và Công nghệ Đại học Duy Tân 02(45) (2021) 117-125 122 Table 3: Scoring rubrics for Writing test (Tiêu chí chấm điểm bài thi Viết) BAND Không xét 3 4 5 M Ứ C Đ Ộ H O À N T H À N H B À I T H I T A S K 1 Không đáp ứng yêu cầu nào của đề bài; Bài viết hoàn toàn không phù hợp, không thể hiểu được; Trình bày được rất ít ý, phần lớn những ý này không phù hợp, lặp lại. Đáp ứng một nửa hay một phần yêu cầu của đề bài; Thể hiện mục đích bài viết không rõ ràng (ở một số chỗ); Có thể nhầm lẫn ý chính với thông tin chi tiết; Một số phần có thể không rõ ràng, không phù hợp hoặc lặp lại; Các điểm chính có thể không được trình bày đầy đủ; có xu hướng tập trung vào những chi tiết; Có thể mắc một số lỗi về tính thống nhất, phù hợp trong giọng văn. Đáp ứng (gần như) đầy đủ yêu cầu của đề bài; Thể hiện mục đích viết (nhìn chung) rõ ràng; Dạng thức bài viết có thể không phù hợp ở một số chỗ; Các điểm chính: được trình bày (gần như) đầy đủ; Phát triển ý: hầu hết thông tin chi tiết phù hợp; 1-2 điểm chính có thể cần phát triển hơn nữa; Có thể mắc 1-2, một số lỗi (nhỏ) về tính thống nhất, phù hợp trong giọng văn. Đáp ứng các yêu cầu của đề bài đầy đủ, hiệu quả; Phát triển điểm chính đầy đủ với (tất cả) thông tin chi tiết phù hợp; Thể hiện mục đích viết rõ ràng, hiệu quả; giọng văn thống nhất, phù hợp. T A S K 2 Bỏ thi / Không viết từ nào/ Viết lại một bài theo trí nhớ/thuộc lòng; Bài hoàn toàn không phù hợp/ không thể hiểu được; Hầu như không đáp ứng yêu cầu nào của đề bài; Quan điểm không được thể hiện; Không trả lời đầy đủ bất cứ yêu cầu nào của đề bài; Trình bày 1-2 ý chính nhưng (phần lớn) không được phát triển. Đáp ứng một phần yêu cầu của đề bài; Những ý chính: trình bày một số, có thể lặp, phát triển không đầy đủ với những chi tiết phù hợp/ không phù hợp; Quan điểm thể hiện không hẳn rõ ràng trên toàn bài; có thể không rút ra kết luận. Đáp ứng (gần như) đầy đủ các yêu cầu của đề bài; Những ý chính: phát triển gần như đầy đủ, với hầu hết thông tin chi tiết phù hợp; Quan điểm thể hiện nhìn chung rõ ràng trên toàn bài, có thể lặp/ không rõ ở một số phần/ phần kết luận. Đáp ứng đầy đủ / hiệu quả các yêu cầu của đề bài; Những ý chính: phát triển đầy đủ, phù hơp, đươc ̣mở rộng/ chứng minh đầy đủ; Quan điểm thể hiện rõ ràng trên toàn bài. Ton Nu My Nhat / Tạp chí Khoa học và Công nghệ Đại học Duy Tân 02(45) (2021) 117-125 123 T Ổ C H Ứ C B À I V IẾ T Phương tiện liên kết: những từ nối cơ bản, thường gặp; Tổ chức thông tin, lập luận: không có, hạn chế. Chia đoạn không hợp lý, hoặc không viết theo đoạn; Phương tiện liên kết: sử dụng đúng một số từ nối, phương tiện cơ bản, thường gặp, ở trong câu, liên câu; có thể lặp, thiếu chính xác; Tổ chức thông tin, lập luận: mạch lạc. Chia đoạn (tương đối) logic; Phương tiện liên kết: trong câu, liên câu; nhiều; phù hợp; có thể quá nhiều/ ít/ đôi khi còn sai; Tổ chức thông tin, lập luận: hợp lý, mạch lạc. Chia đoạn đủ và hợp lí; Phương tiện liên kết: phong phú, linh hoạt, hiệu quả; Tổ chức thông tin, lập luận: lô-gíc, mạch lạc, hiệu quả. T Ừ V Ự N G Sử dụng phạm vi từ (rất) hạn chế. Sử dụng từ, ngữ rời rạc; Mắc (rất) nhiều lỗi, lỗi có thể làm thay đổi nghĩa; Sử dụng phạm vi từ hẹp theo chủ đề bài viết; có xu hướng lặp một số từ; Sử dụng từ, ngữ cơ bản; Mắc (khá nhiều) lỗi, thỉnh thoảng gây khó hiểu. Sử dụng được dải từ rộng Sử dụng một số từ ít thông dụng, ngữ cố định, có thể mắc lỗi; Dùng từ tương đối phù hợp phong cách; (Rất) Ít lỗi hệ thống, lỗi có thể gây khó hiểu. Sử dụng dải từ rất rộng, bao gồm những từ ít thông dụng, ngữ cố định; chính xác, linh hoạt; Dùng từ (nhìn chung) phù hợp phong cách; (Hầu như) không mắc lỗi, hoặc 1-2 lỗi không hệ thống; không gây khó hiểu. N G Ữ P H Á P Viết một vài từ, ngữ đã học thuộc trước; Không viết được thành câu; Cấu trúc đơn giản: một vài, sử dụng chính xác; (Nhiều) lỗi cơ bản, làm thay đổi nghĩa; Lỗi xuất hiện rất nhiều và làm thay đổi nghĩa. Cấu trúc đơn giản: sử dụng chính xác; Cấu trúc phức tạp: có thể sử dụng sai; Có thể (tương đối nhiều) lỗi, nhưng không, hoặc thỉnh thoảng gây khó khăn cho người đọc; Cấu trúc: đơn giản và phức tạp; Đa số các câu không có lỗi; Có thể mắc lỗi không hệ thống, hầu như không gây khó hiểu, hiểu nhầm. Cấu trúc: đa dạng - đơn giản và phức tạp; chính xác, linh hoạt; Gần như không mắc lỗi, hoặc 1-2 lỗi không hệ thống, không gây khó hiểu. Ton Nu My Nhat / Tạp chí Khoa học và Công nghệ Đại học Duy Tân 02(45) (2021) 117-125 124 Table 4: The original scoring rubrics vs. The revised Features SPEAKING scoring rubric WRITING scoring rubric ORIGINAL REVISED ORIGINAL REVISED No. of column 12 6 10 (five each) 5 No. of row 6 5 24 (12 each) 9 No. of word 2,230 856 2,682 (1259 + 1423) 931 No. of page 5 2 10 (5 each) 2 No. of levels 11 4 11 4 No. of features 5 5 4 4 Luoma [6, p.80] maintains the number of levels in a scale is one of the ‘central questions in scale development’, adding that ‘the lower the number of levels, the more consistent the decisions.’ The basic rules to have been followed when I revised the descriptors are “brief, clear, definite, and comprehensible independently” [4, p. 205-207]. Brevity makes these scales user-friendly, for assessors, who may use the scales as a reference during the rating process, and for assessor-trainers, who need to facilitate the trainees in training workshops. Clarity refers to simple wordings and sentence structures to help readers understand the descriptors more quickly and easily. In order to assure scoring quality, every effort should be made to maintain high reliability in assessing these two productive skills, such as: - Conducting seminars on assessment, VSTEP, CEFR and/or Vietnamese 6-level framework, when the trained, experienced assessors returning from workshops can train the others in the staff; - Regarding the scoring rubrics, there should be extensive training so that would-be raters come to an understanding of the criteria through repeated discussion and exposure to multiple sample scripts/ oral performances that exemplify points on the scale. It is believed that “only when all raters are in close agreement on the scores for these samples that reliable scoring can take place.” (White, 1984, cited in [5, p. 128] - As far as the speaking test is concerned, each candidate’s performance must be recorded for the second independent rating. - As for the writing test, there can be a number of other measures. First, each script must be scored independently by two raters. The first rating can be done on a rating sheet, which is hidden from the second rater; they are allowed neither to write any comments nor to underline errors when scoring scripts. A third rater is invited to adjudicate in cases of discrepancy. Second, rating must be done in a “controlled reading” - “readers meet together to grade scripts at the same place and time” in order to eliminate unnecessary sources of error variance and to form a positive social environment helping to maintain the assessing standards (White, 1984, cited in [5, p. 128]. An additional measure is randomly checking the results by senior assessors to ensure individual raters have followed the agreed-upon standards for grading of the ongoing assessment. This step is also aimed to keep records on the level Ton Nu My Nhat / Tạp chí Khoa học và Công nghệ Đại học Duy Tân 02(45) (2021) 117-125 125 of expertise of the raters so that decisions can be made on whether each can be kept on, retrained, or dropped. 4. Conclusion In this article, to my best knowledge, for the first time, the scoring rubrics of the VSTEP 3- 5, is critically analyzed and described from the perspective of Vietnamese grammar and a revised rubric is proposed, which is far more concise, linguistically grounded, and undoubtedly useful to users. Weigle (2020) states: the scoring rubric is critical, as it represents as explicitly as possible the definition of the skill(s) that the test is intended to measure...It is not enough for a rubric to be clear and explicit: it must also be useable and interpretable, certainly by raters, and preferably by any and all stakeholders in the testing process, particularly test takers and decision makers. (p. 122) VSTEP 3-5 has had a positive reception among students, lecturers, and other community members. I hope that the revised versions are of some practical significance to the endeavor of the stakeholders in order to bring excellence to EFL education and assessment. References [1] Bộ Giáo dục và Đào tạo, Quyết định số 729/QĐ- BGDĐT “Ban hành định dạng đề thi đánh giá năng lực sử dụng tiếng Anh từ bậc 3 đến bậc 5 theo khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam, Hà Nội, ngày 11 tháng 3 năm 2015”. [2] Quynh, N. T. N. (2020), Vietnamese Standardized Test of English Proficiency - A Panorama. In Lily I-Wen Su, et al. (eds). (2020), English Language Proficiency Testing in Asia. Routledge, pp. 71-1000 [3] Bộ Giáo dục và Đào tạo, Tài liệu “Hướng dẫn áp dụng Định dạng đề thi đánh giá năng lực sử dụng tiếng Anh từ bậc 3 đến bậc 5 theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam trong việc xây dựng đề thi và chấm thi (Phê duyệt kèm theo Quyết định số: 730/QĐ-BGDĐT ngày 11 tháng 3 năm 2015 của Bộ trưởng Bộ Giáo dục và Đào tạo). [4] Council of Europe. 2001. The Common European Framework of Reference for Languages (CEFR) - euroexam international (www.euroexam.org) [5] Weigle, S. C. 2002. Assessing Writing. New York: Cambridge University Press. [6] Luoma, S. 2002. Assessing Speaking. New York: Cambridge University Press. KPG exams. The A/ B/ C level. Speaking Test – Assessing Oral Production. Oral Examiners information Pack, September 2014. https://rcel2.enl.uoa.gr/kpg/files/C_level_oral_exam iner_info_pack.pdf Pölzleitner and Bauer. 2020. Assessment Scale for Written Work / Assessment Scale for Written Work in Lower School (https://www.polzleitner.com/epep/Assessment/New AssessmentScales/all-three-files.pdf).
File đính kèm:
- a_proposed_revised_version_of_the_scoring_rubrics_of_vstep_3.pdf