top of page
tapemeasure.png
01_問卷設計實用小貼士

問卷設計實用小貼士

2020-03-31

當面對要去量度社會效益時,最簡單的方式就是用問卷調查,我們只需留意以下原則,就不用太隨意去動筆而擔心問出來的數據沒有說服力。

 

首先,應該先想想你期望的結果是什麼,如受助者的改變會是體現在哪方面, 是覺得開心了?是增進了知識,還是技能?是態度改變了,還是行為有所改變,是哪方面的行為呢?是多了有禮貌的點頭?或是少了粗魯的表現?與別人交談多了?是專心了等等。只要清楚要去量度什麼,就減少了問題篇幅去問一些將來沒有用到的數據。

 

第二,每一類的改變,即心態,知識技能或行為,都應該由自身問題去問,確保用少量的問題去涵蓋每一類獨特的改變。這樣做出來的問卷是更簡單而受眾有更高機會去準確回答整份問卷。

 

第三,問題設計的打分比例只要用最簡單的一至五(或一至七)分的,用教科書最常用亦最多人的方法去量度就是最好的方法,這樣出來的結果是最容易分析及讓持份者去理解,不要捨易取難,令自己將來要多費唇舌才能解釋得清楚。一般而言,用單數的比分可以讓人回答中間或中立,在分析時讓我們知道如何將中立的群眾變成更多的認同,這對改善項目的效益帶來重要資訊。

 

第四,盡量用統一的打分比例,第一是方便分析,減低行政成本,其次減少受眾回答時的錯誤。但如果過去的問卷設計所用的比例不是常用的一至五,我們仍然可以用公式化成不同的比例,這只是數學算式的問題,只要求教於人就可解決。不用擔心,過往的數據是不會被浪費的。

 

第五,問卷的長度不宜超過兩頁,令受眾太費勁,問對問題才是最重要。

 

第六,完成問卷後自己先做一次,看看字眼是否清楚直接,然後大膽估計如果受眾回答後大約會有什麼得分。這種估算的心態是培養自身對項目執行效果的信心,鞭策自己有更好的把控,令項目長遠效益可以再提升。

 

當然問卷設計可以是專門的學科,但這並不表示每個人都要先修讀專業課程才能做出好的問卷。很多時候,最簡單,最直接,最易明的問卷就是一份好的問卷,而得回來的結果往往是最可靠,所以不應在乎是否一份完美的問卷,反而應該注意受眾是否容易作答,再加上重覆多做,跨年去做,讓自己知道項目是否越做越好,這樣才更能反映我們做社福項目及做效益量度之初心。

 

關志康 (Ted Kwan)

首席導師及特許財經分析師

 

 

#問卷設計 #社會效益量度 #數據 #社福

02_社會效益量度@藝術項目

社會效益量度@藝術項目

2020-04-25

多年來,香港以經濟發展作為主調,藝術作為精神層面的東西在香港人的生活中難以成為主流,更遑論藝術創造力和鑑賞力。藝術雖然 “這麼遠”,但卻又 “那麼近”。數年前,某政府部門轄下的展館展出數碼版“清明上河圖”,當時出現了萬人空巷的場面,可以說,藝術並不是和一般市民的生活完全隔絕。究竟藝術是什麼呢?本文篇幅有限,未能對藝術的本質作深層次的探討;然而,一般來說,藝術是一種情感的溝通,可以說,創作人籍著藝術創作表達了某種情感,而觀賞者在欣賞作品時也能夠接收到同樣的情感,藝術便在他們當中產生共鳴;有一種說法是藝術並無固定的功能,它在不同的時空當中被賦予不同的意義。以上雖然只屬於初步探討,但可能已足夠解釋了為何一般人覺得藝術的果效似有還無。

 

現在的問題是,在政府部門的撥款支持下或私人企業的贊助支持下,香港不少藝術機構所舉辦的項目均以普羅市民為服務對象;具體地呈現有關項目的果效,有利於社會各界了解藝術項目的具體意義,客觀地證明有關部門對項目的撥款或贊助是用得其所。

 

社會效益量度,有助於把一般藝術項目那種似有還無的果效呈現為清晰可見的成效。

去年,亞洲協會香港中心舉辦了“萬象之根:周綠雲繪畫藝術展”,透過揉合了禪、道家的抽象畫作展現個人情緒的變化,透過周女士的名氣和“接地氣”的精神健康議題,期望能夠啟發公眾人士把藝術創作融入日常生活之中。有關項目團隊參加了“賽馬會豐盛社會效益量度培訓計劃”,並根據Kirkpatrick Model首三個層面設定效益指標並設計問卷以作效益研究之用:

 

1. 在情意層面(第一層面),其中一項指標為參加者享受藝術活動的程度,調查結果顯示80%受訪者表示他們享受活動,意味著他們有強大動機在日常生活中進行藝術相關的活動;

2. 至於認知層面(第二層面),其中一項成效指標為參加者完成活動後是否感到壓力得以紓緩,調查結果顯示87%受訪者對藝術活動減壓作用表示非常同意,其餘13%對此表示同意,沒有受訪者表示中立或不同意;

3. 在行為轉化層面(第三層面),其中一項指標為參加者會否繼續參加其他藝術活動(包括在家創作),以達到把藝術融入日常活動之目的,調查結果顯示全部(100%)受訪者表示他們會繼續參與藝術活動。

 

以上的社會效益量度方法,簡單、直接地把項目的成效呈現出來,而所需的額外功夫只是製作簡單問卷,派發、收取問卷和進行分析而已。

 

李浩 (Samuel Lee)

導師

 

#社會效益量度 #藝術 #三層轉變

三層的轉變描述

2020-05-22

03_三層的轉變描述.jpg

社福項目大部分是「以人為本」,即希望透過活動、交往、咨詢等,幫助別人得著「改善」。

 

既然如此,要有效地將項目成效展示,最直接的方法,又或者是最容易令人明白的方式就是將受助者之改變陳述一遍。

 

最先提出對人用三層去描述的不是社福界,而是商界,在1954年,當時在威斯康新大學的 Donald Krikpatrick 以公司做培訓前題下,研究其培訓之成效,因為用上了培訓的費用,究竟得回什麼樣的成果呢,他認為應該用三個向度去描述員工之表現。第一層是直接反應,第二是學到什麼知識技能及態度,第三是將學到的轉為行為。筆者借用了此一概念用在社福項目上,發覺效果其佳。既容易令人明白,亦令自己對項目有更深之了解.

 

一) 主觀的直接反應或感受

 

一個好的項目,其參與者起碼要喜歡項目的整體滿意度,其次是願意介紹給其他人,這兩是最基本的。針對不同情況,

 

亦應量度受助者的其他主觀感受,如幸福感、覺得再徬徨、對人有信任、感到支持等,這些都是主觀的陳述,用問題或訪談就可量度清楚。

 

二) 知識技巧及態度

 

不少項目都是增加受助者之能力,如職業培訓、學懂處理人際關係、衝突、掌握語言、或是對少數族裔之態度、對家人之看法等等。這些就是第二個層面之改變。

 

三) 行為轉變

 

不少的社會問題都與行為有關,例如吸煙、自殘、健康飲食、有禮貌、少用膠袋等等。如果社福猜來受助者之行為改變,其成效亦更能彰顯。所以一個好的量度如能描述到行為之改變是最容易讓持份者去明白,理解並繼續去支持這社福項目。

 

筆者之觀察是大部份香港的社福項目,都有形形式式的問卷,可惜是有點冗長卻搔不著癢處,如果在問題設計時多花心思,確保問題概括了三層之描述,不用大的篇幅,卻能夠在項目路演時,讓持份者一目了然,這是最理想的吧!

 

關志康 (Ted Kwan)

首席導師及特許財經分析師

 

#三層轉變 #主觀感受 #知識技巧及態度 #行為轉變 #社會效益量度 #社福 #DonaldKrikpartrick #DKmodel

03_三層的轉變描述

可持續發展與我何干?

2020-06-29

04_SDG.jpg

近半世紀,國際社會就可持續發展無間斷地進行討論,皆因目前全體人類的生活方式難以持續下去。作為超國家機構的聯合國提出了在經濟發展、社會發展、環境保護三方面取得平衡的一種生活方式,讓活在現今和未來世代的人類都能過上有素質的生活。經過多年來國際間的多邊協商和政策醞釀,縱然過程中有起有落,聯合國最終在2015年就全球的發展方向達成共識 --- 17個可持續發展目標(Sustainable Development Goals)。有關這17個目標的詳細描述,可在聯合國的官方網站找到,在此不贅。本文旨在探討這17個目標對這城一般非政府a機構的意義。

 

首先,無論國際或本港的商界開始重視這17個目標;PricewaterhouseCoopers於2019年發表的調查報告顯示,來自31個國家、來自不同產業的1,141家受訪公司當中,有72%的公司在其報告中提及可持續發展目標,有25%的公司把可持續發展目標揉合於其業務策略當中,有21%的公司之首席執行官在其發表過的文章或演說中提及可持續發展目標,有14%的公司則發表過在達成有關可持續發展目標方面的具體指標;至於香港,根據Alava Consulting的調查研究,2017年香港只有6%的上市公司在環境、社會及管治報告中運用了可持續發展目標來闡述其履行過的社會責任,2018年做了相同事情的上市公司佔所有上司公司18%,為前一年的3倍,反映可持續發展目標作為國際和本地商界量度和描述其社會責任的工具已成為不可逆轉的趨勢。

 

 

另一方面,不少商企為了更全面地履行社會責任,會選擇資助非政府機構項目。如果非政府機構以相關可持續發展目標作為量度和描述其社會效益的工具,長遠來說便可和商界建立一套共通的語言,有利於非政府機構向個別企業進行募捐工作。

 

 

然而,有些社福界人士曾非正式地分享他們對可持續發展目標的看法,他們覺得可持續發展目標與他們的事工風馬牛不相及,因他們認為這些目標所關注的是國際層面的東西,而他們所做的是回應本地社會需求的事工;若大家有機會細看可持續發展目標的技術細節,便能發現這些觀感其實和事實不乎,事實上聯合國設立這些目標,用意是鼓勵全球所有政府部門、商界企業、公民社會進行在地工作,以促進可持續發展,可以說,全世界的機構和人士都是對象。 以本地一家社福機構的青年試工計劃為例,其服務對象為一群失學、失業的年青人,該計劃為他們提供了試工體驗,協助他們加強工作技能和了解就業取向;事實上,該計劃正好呼應了第8個可持續發展目標(即Decent Work and Economic Growth),皆因幫助雙失青年就業有助促進更具包容性的經濟發展。至於在技術上如何確定該計劃回應了第8個可持續發展目標呢?讓我們在下一篇文章繼續探討。

 

李浩 (Samuel Lee)

導師

 

#SDG #持續發展 #SustainableDevelopmentGoals #社福

04_可持續發展與我何干?

第四層 - 從項目贊助人看效益

2020-07-22

05_第四層-從項目贊助人看效益.jpg

從事社福的人,有其專業背景,對項目受惠者所面對的問題有深入了解,將其精力時間投放在受惠者的得益身上,合情合理,他們應該期望受惠者無論在心靈上、知識上、技能或態度上,以至行為上有正面改變,這就是豐盛提倡的三層改變之量度。

 

今天的項目贊助人,除了希望出錢支持外,他們捐助的金額亦越來越大,亦走向專業化的道路,我們應該樂見除了政府以外,社會有更多家族基金、公司、社區基金、特定的公眾基金,去參與建設更美好的社會。專業化的走向必然帶來更大的問責要求,在基金內的同工亦要對其捐助的項目有所交代。豐盛提議贊助人可以用四種方法去衡量項目的成本效益。

 

社會投資回報

 

最理想的當然是以項目的社會投資回報為比較,以現有在世界的案例來說,可以有3-4倍的回報,即一元的資助所帶出來的社會效益,若以金錢去量化,可以有三四倍或更高的回報,當中關鍵必然是要有一公開並為人接受的方法去量化社會效益,外國有人嘗試提倡但仍然未成氣候,由於當中的理據比較技術性,筆者會另外撰文再探討當中的方法及困難。

 

如果不能計回報,我們仍然有方法做合理判斷,首先可計出項目中每名受惠者所需要的資助,即單位成本 (Unit Cost)。

 

蘋果對蘋果

 

以單位成本為起點,可先找出相關基準 (Benchmark),只要有同類社福項目的單位成本作比較已可略知一二,例如同樣是推行正向教育的計劃,當中一個要一千元一名學生,另一個用八百元,只要細看預算中的細項,即可發現是否合理,筆者明白每項目都有所重點不同,如地區不同,高中和初中生不同,舉行形式亦可以不同,但這比較讓贊助人有機會去深入了解,找出當中做得有效益的部份去保留,低效益的部份去改良,長遠能令其贊助更有效益。

 

蘋果對日本青森蘋果

 

第二是找出相似的項目 (Comparable) 去比較,相近的意思是類似,例如一項目去培訓年青人的領導才能,我們可以參考年青人去學時間管理的課程的相關費用,又或者用成人的領導培訓的成本做比較,當中的相似之處是同是花在年青人的費用,或者是同樣是領導培訓的相關支出。

 

蘋果對橙

 

第三是使用相近概念的東西 (Reference) 去比較 ,例如同樣是去培訓中學生的領導才能,坊間沒有同類項目,我們可以參考成人的管理課程的單位成本,或者是大學生的溝通技巧訓練的成本,假設一名大學生需要三千元去學溝通,而此中學生的領導才能培訓要六千元,這仍然能給贊助人一空間去問六千元是否合理? 當中要比較的兩者沒有相同的元素,但這仍然能夠衡量,就像在家庭中我們都會懂得比較買一部平板電腦好或是去一趟4日3夜的旅行更有效益。

 

結論

 

世上沒有兩樣完全相同的東西,但並不一定防礙比較,只需要有適量的創意,亦可找出近似之可比之物。社福事業是以人為本,而人的確是複雜多面,所以我們更應激發創意,讓持份者去明白項目的成效及效益所在,爭取更多的支持去締造更美好的社會。

 

以上是提出一種層級 (hierarchy) 的框架,提供指引給從事社會效益量度 (Social Impact Measurement) 的朋友作參考,學海無涯,希望更多社福界朋友嘗試使用並回饋意見,讓筆者知道這層級是否「落地」。

 

關志康 (Ted Kwan)

首席導師及特許財經分析師

 

#社會投資回報 #社會效益量度 #SocialImpactMeasurement

05_第四層 - 從項目贊助人看效益

社會效益評估中的實踐研究

2020-08-20

06_社會效益評估中的實踐研究.jpg

本會推動的社會效益量度方法,是一種循證研究(Evidence-based Research)方法,我們運用該方法去量度項目的成效,於是知道項目各種成效的大小,以便我們向不同持份者(包括機構主管、項目贊助人和公眾人士等)演示項目成果。多年前,加拿大有一項非常成功的在囚人士教育計劃(Simon Fraser Prison Education Programme)。有受眾接受研究員 (Duguid, 2000) 訪問時均沒有就課程內容分享太多,反而對計劃觸發的內心轉化則分享甚多,其中一位在囚人士確認了讓他積極投入的興趣和未來的發展方向,另一位在囚人士表示計劃提供了教化的功能,使該人士在潛移默化的過程下並糾正以往錯誤的行為;上述受眾的分享都是進行循證研究所得來的部分質性數據。

 

完成循證研究後,我們可能需要進一步查找讓這些成效出現的原因,理由是如果我們有機會再推行相同或類似的項目的話,我們必須確保這些致勝的因素再次出現,才可肯定項目能夠再次製造預期成效。查找原因的工作被稱為“實踐研究”(Practice Research);吊詭的是,哪怕我們對項目的操作非常熟識,有時候讓項目成效出現的原因通常不是顯而易見,皆因在接受介入服務的過程中,受眾互相之間,以至受眾和其身處的場景之間,均可能會發生微妙的互動。以上述在囚人士教育計劃為例,研究員基於循證研究的各種數據作進一步分析,發現到致使計劃成功的生成機制有數方面:1)計劃避免以“更新”、“輔導”、“糾正”等具標籤性字眼作為主調;2)盡量給在囚人士發揮其自主性(例如給他們自由參加和退出的權利;又例如計劃中的課堂集中在一座大樓內進行,由參與者監察自己,另外參加者成熟後可以稱為課程導師),引導他們稱為自我控制的主體,待他們的自主意識恢復過來,對自己的發展有責任感,於是向他們提供適切的指引,致使他們能夠建立長遠發展的基礎;3)他們的自主性被提高有助於建立教化的氛圍;4)最後為表示對他們的認同Simon Fraser University會向他們頒授學位或文憑證書。毫無疑問,這4點發現對日後推行相關項目的機構來說是非常寶貴的參考知識。

 

礙於字數限制,本文只能對實踐研究作簡單介紹。但總括來說,實踐研究有助於提升我們就項目設計、執行、成效產生新的知識,而這種知識則成為我們推行下一個相關項目的基礎。實踐研究會否是邁向社會效益評估2.0的路徑?這問題值得我們繼續探討。

 

 

DUGUID, S. (2000). Can Prisons Work?: The Prisoner as Object and Subject in Modern Corrections. Toronto; Buffalo; London: University of Toronto Press. Retrieved August 1, 2020, from www.jstor.org/stable/10.3138/9781442671676

 

Pawson, R. (2013). The science of evaluation: A realist manifesto. London, : SAGE Publications Ltd doi: 10.4135/9781473913820

李浩 (Samuel Lee)

導師

#社會效益量度 #SocialImpactMeasurement #實踐研究 #PracticeResearch

06_社會效益評估中的實踐研究

說得清楚之重要性

2020-09-29

07_說得清楚之重要性.jpg

要呈現社福項目成效, 豐盛提出了三種角度去量度受眾之改變, 即一是心靈及主觀之感受改變, 二是知識技巧及態度的掌握, 第三方面是受助者行為之變化. 本文想指出在實際的層面去看, 持份者最期望見到的往往是行為的改變, 例如要推廣長者健康飲食, 可以透過教育去令受眾掌握知識, 亦可以改變他們對健康食物的偏見等等, 但對受眾的家人或其他持份者而言, 其中一個最有力的指標卻是受眾每天具體飲了食了些什麼。

 

筆者明白每個社福項目的目標及重點會有所不同, 例如項目只是從事公共教育, 那麼知識的傳遞就是重點, 而不是行為改變。 對要評估的人而言, 筆者最著緊是要能清楚交待, 如果項目重點是教育為主, 筆者會用舉辦教育的單位成本去作比較, 例如職場學習的培訓每位大約需要一千元一天的費用。

 

又例如項目是以鼓勵日常做運動為主, 教導當中的知識部分, 筆者會視為一般的知識推廣, 其單位成本可能只要數百元就能令一個人明白, 但要令人每星期都恆常做運動, 其單位成本卻高出很多, 只要比較人們是花每小時數百元去請私人教練, 一個月的支出可以是二三千元。

 

所以筆者鼓勵社福同事能把具體的效益說清楚, 是針對行為或是知識改變, 當中的成本相差可達數倍以上。 另外項目之受眾當中, 有多少百分比是呈現更深層次的行為改變, 例如一千名參加者當中會有一百名會針對其行為作深入跟進, 其成本亦會更高, 分拆出來便能夠令持份者更合理化其捐助金額。

 

三層的指標(感受, 知識技能,行為) 首先讓社福同工清楚項目之優次及重點, 繼而量化成效, 亦能讓贊助人更明白錢往哪裡去, 例如教會要籌款, 如目標清晰地是去資助貧困家庭兒童的開學及書簿費, 教友們往往傾力支持; 而如果說成是教會財政緊拙, 而很多事工都需要錢, 希望得到教友支持, 那麼, 由於目標不明確, 籌款成績卻每每強差人意。其實在投資市場一樣, 如果公司能說清楚資金需要是投放在哪一方面, 其成效會是如何交待, 投資者比較安心, 但若是集資作一般營運用途, 自然令人卻步, 一樣好的事情如果稍貴一點, 人們還是認為風險可控而樂意支持, 相反不確定性會令出資者帶來戒心。

 

筆者明白對社福同工而言, 要量度成效是多了辛勞, 但能說得清楚會讓人捐得安心, 長遠而言對機構發展及人手調配更能作出更理性的決定。

關志康 (Ted Kwan)

首席導師及特許財經分析師

#社會效益量度 #SocialImpactMeasurement

07_說得清楚之重要性

社會效益投資回報

2020-12-14

Social

Return

On

Investment

顧名思義,社會效益投資回報 (Social Return On Investment (SROI)),是運用金錢演繹社會項目所生產的效益的一種方法。吊詭的是,很多社會中出現的正面轉變在本質上是難以捉摸的,並且難以直接轉化為金錢。例如,如果有人說某弱勢群體經歷某種介入活動後,該群組的自尊感提升十萬元,我們很難相信這種說法會有絲毫的說服力。那SROI是否一無是處呢?答案為,不是。如果項目贊助人(政府部門、商業機構或家族基金)需要在較短時間內了解建議項目的本質,SROI作為一個簡單數字能讓他們對項目效益起碼有一個基本的掌握;假設項目贊助人收到兩個建議項目的計劃書,項目甲的社會效益為每一元的投入帶來兩元的社會效益回報,而項目乙的社會效益為每一元的投入帶來四元的社會效益回報,如果兩者的項目性質差不多,贊助人自然會較傾向“回報較大”的項目乙。因此,如果我們能夠善用SROI,便可以提升贊助人撥款支持項目的機會率。下一個問題是,我們該如何運用SROI演繹捉摸不定的正面轉變?答案是,我們可以儘量挑選一些在本質上能直接用金錢量度的細項作為成效指標。

 

事實上,有一家協助精神復康者的機構,過去三年舉辦了真人圖書館,邀請一群精神復康者現身說法,向公眾分享他們克服各種困難的經歷,他們藉着真人圖書館的分享活動和社會重新接觸,從而保持良好的精神狀態,避免有關疾病復發,令復發引致的醫療成本得以節省,醫療成本本來就是用貨幣計算,因此醫療開支的節省算進SROI是毫無違和感的,算出來的SROI也自然具備相當高的參考價值。

 

李浩 (Samuel Lee)

導師

#社會效益量度 #SocialImpactMeasurement #社會效益投資回報 #SROI #hksim #賽馬會豐盛社會效益量度計劃 #JCFullnessSIMCoachingScheme

08_如何計算有參考價值的社會效益投資回報
09_社會效益金錢化

社會效益金錢化

2021-01-31

要將社會效益金錢化,現行比較完善的做法是先為一些具體的社會效益,如我有恆常參與義工,我對社區有認同感等等,制定一個年度金額。例如對社區有認同感在英國的價值為每年3,753 英鎊。

 

這個金額是首先去了解對社區有認同感比起沒有認同感的人,在其幸福感的相差是多少? 假設是有認同感的人會高出百分之三的幸福感分數,然後,查一查在幸福感分數中,需要多少收入之提升同樣能夠達致百分之三分的升幅,假設是年收入多出五千英鎊。我們就可以以此收入之提升作為有社區認同感的社會價值,這做法的好處是其一致性,所有的金額都是用人均年收入為基礎去計算,而任何社會效益都歸納為對幸福感之影響。

 

由不同高低的幸福感分數轉化成金額其實不難,只要在普查時詢問版訪者的收入狀況及以統一的幸福感問卷,數量夠大即可計數出基準。在另一邊箱,我們亦需要有足夠多受眾回答社區認同感的問題的同時,亦要做幸福感的問卷。

 

這樣的三組數據,1) 人均年收入,2) 幸福感分數及3) 社區認同感分數以統計學方式結合,就可計出其金額。有了此數,其應用就比較簡單。

 

例如有一項目是創造社區認同,可以在項目完結時訪問受眾的社區認同感之分數是多少,例如是4分(在0-10分之中),那麼其社會價值便是 0.4 x 3,753 = 1,501英鎊,再加一條去問受眾認為有多少的認同感是由此項目所帶來的,以0-10分數為本,例如其回答之平均數是4,即只有百分之四十的認同是來自此項目,所以其社會效益是 0.4 x 1,501 = 600 英鎊,再乘以項目之受惠人數,就可計出社會效益之金額。

 

以此思路,我們可以先定義十數種常見的社會效益,如義工服務、我離開抑鬱、我有固定工作、我有好的人際關係、我有持久的興趣等等,把這些常見的社會效益化成年度金額,就可供社福機構仍參照及計算之用。

 

知易行難,要先訂出十數種常見的社會效益其實亦不容易,最好由一間對不同社會效益都有所涉獵的機構去開始會較容易,另外,如果由一間有公信力的公營或慈善機構去啟動則更好,一來不用擔心私穩會被拿去作商業用途,另外公營或慈善機構亦讓受訪者較有信心去回答問題,令數據更準確。

 

關志康 (Ted Kwan)

首席導師及特許財經分析師

#社會效益量度 #SocialImpactMeasurement #社會效益金錢化 #MonetizationofSoicalImpact #hksim #賽馬會豐盛社會效益量度計劃 #JCFullnessSIMCoachingScheme

適切的改變理論 (Theory of Change)

2021-02-23

10_適切的改變理論(Theory of Change)

在社會效益量度的範疇中,改變理論旨在向相關持份者解釋為何無介入方法或項目能夠解決某社會問題或達致某社會目標。適切的改變理論能夠為項目提供堅實的論述,使項目獲得相關持份者的支持。但是,如何制定適切的改變理論,則是一大學問,畢竟世上並沒有一套必然正確的方法供設計改變理論之用。

 

西方社會講求由下而上的參與性,因此項目團隊會走到受影響的社區人士當中集思廣益,並把不同點子有機地揉合成具認受性的改變理論。

華人社會可能較順服權威,因此項目的持份者較傾向接受學術理論作為改變理論。說到這裏,我們並不是主張西方的一套比華人社會的一套為佳,而是把兩套結合。一方面,我們借助學術理論增加項目的認受性;另一方面,我們作為項目人員必須透徹地了解各持份者的期望,以致我們能夠引用合適的學術理論。

以本地的大學社會創業教育為例,我們常常強調學生透過做有趣的實事來學習創業,於是引用D. Kolb的Experiential Learning Theory作為改變理論。但現在的年青人對由上而下的項目是相當抗拒,要成功誘發年青人積極參與創業活動,項目人員必須擺出一種和參與者平起平坐的姿態以建立良好的關係,從而促進相互了解和溝通。所以,大學社會創業教育的改變理論,既要具備Experiential Learning Theory的元素,也要具備關係對等的元素。這種制定改變理論的方法,在認受性和回應相關社會問題兩方面都能兼顧。

 

李浩 (Samuel Lee)

導師

#社會效益量度 #SocialImpactMeasurement #改變理論 #Theoryofchange #hksim #賽馬會豐盛社會效益量度計劃 #JCFullnessSIMCoachingScheme

10_適切的改變理論

項目贊助人的盲點

2021-03-30

筆者有時接獲朋友求助,說有些金錢希望捐助給有需要的人,但要求是錢想全部都放在真的有需要的人身上,而不是慈善機構身上。表面來看是希望錢用得其所,但我的意見卻認為這是不可行的任務。

 

筆者在網購時,看到一件在大陸生產的貨品只售數十元,但運費卻多要數十元,即變相是以雙倍價錢來購買這件貨品,覺得十分不值,感覺不滿。但這樣的想法是正確嗎?

 

當我日常在超市購物時,能夠在街角即買即用,其售價不單是生產成本,而是包括了運費,上架的人工,租一個在你附近的舖面租金,才可以這麼便利,即買即享用。

 

我的朋友希望錢只送到有需要的人手上,但怎樣去找出真正有需要的人呢? 誰人去找他們出來呢? 如果有需要的人就在你眼前出現,為什麼不把錢直接送給他而要找中間人去將錢送出呢? 

 

在香港,不少很有需要的人都隱藏在社會的角落,不容易去辨識,就算找到,他們的需要是否跟我們想捐助的內容配合呢? 例如他們要的是一個工作機會但我們卻想捐飯盒。要配對得好,中介人不單是左來右送,亦要有判斷能力,或再做合適轉介。商業社會如要將商品送到合適的人手上,可以籠統稱為公司的經常性開支,可佔去百分之十五至二十五的價格,如套入社福場景,每一百元的捐助,可能要花上二十元去找出合適的受助者,只有八十元才能直送手上。中間所要的尋找費用、宣傳、核實都要不少人力物力。所以,筆者認為一社福項目,當中牽涉機構的統籌、匯報、良好管治、招聘,隨時可以用上百分之十五的整體項目費用。有時容許在預算中列清行政費用,反而令到真正放在項目的相關支出一目了然,減低了數字中的水份,令項目的成效更可作出比較。

 

關志康 (Ted Kwan)

首席導師及特許財經分析師

#社會效益量度 #SocialImpactMeasurement #hksim #賽馬會豐盛社會效益量度計劃 #JCFullnessSIMCoachingScheme

11_項目贊助人的盲點

推動系統轉化—以香港大學永續鄉郊計劃為例 
2021-06-04

推動系統轉化_以香港大學永續鄉郊計劃為例.jpeg

項目的本質是一次性,而社會項目也不例外。很多社會項目屬於新嘗試,一些不確定性因素或會影響項目的成效。因此,如果項目團隊能夠在指定期間達到指定目標,已經可以被視為「交足功課」。但是,某些項目團隊可能把項目視為推動系統轉化(例如政策倡議)的契機,期望項目的成果能夠說服政策制定者改變相關政策。毫無疑問,這是一件十分困難的事情,但並非絕對不可行的。

 

Nesta 是英國一家推動創新的機構。根據其數年前所發表的研究報告,任何組織若對相關領域有豐富知識,但缺乏制度上的權力,便須採取和他人協作的策略(Collaborative Strategies) 以增加影響力,使當權者感受到轉化系統的迫切性。和他人協作策略主要有四大面向,當中包括建立聯盟(coalitions)、建立溝通機制(communications)、建立可信性和建立人才庫以掌握突然臨到的機會(contingencies)。

 

香港大學永續鄉郊計劃於2013年開始經營茘枝窩村活化計劃,在上述四方面均不違餘力:

 

1)在建立聯盟方面,透過舉辦不同活動(如領袖訓練計劃)和設計不同誘因(如「三斗種」社區培育計劃)凝聚來自不同背景的人士,當中包括村民、來自商界和社福界的義工、本身並非村民的社區農夫、藝術工作者等,真正做到多贏。

 

2)至於建立溝通機制方面,香港大學幾乎每年舉辦一次和鄕郊活化有關的學術會議,供各方對鄕郊發展和保育感興趣的學者和社區人士進行深層次交流。

 

3)在可信度方面,荔枝窩村在2016年獲著名旅遊書籍評為十大亞洲旅遊景點第五位。於2017年,茘枝窩村活化計劃被聯合國開發計劃署記錄在可持續發展方案數據庫中。

 

4)港大就鄕郊活化成立永續社區學院,舉辦不同類型的課程,為長遠鄉郊可持續發展建立人才庫。

 

上述第一、二及三點所提及的事情發生後,現屆特首於2017年施政報告中提出以荔枝窩村模式為藍本,活化其他鄕郊地區。雖然我們不能歸納出上述第一至三點和當時政府頒布鄕郊活化政策有直接關係,但即使以最保守態度分析,可肯定這三點和政策轉變起碼有間接關係。上述第四點發生在政策轉變之後,但對於支持其他鄕郊地區的活化方面絕對有正面作用。

 

最後,究竟以上的討論和社會效益評估有什麼關係呢?在我們提倡的評估框架中,有利條件(conditions)是一項重要的組成部份。建立有利條件有助達成項目的成果,甚至有助系統轉化。在營運社會項目的同時,建立有利於系統轉化的條件並把其作為社會效益的一部分展示出來,那怕最後未必能夠成功做到系統轉化,但也可向不同持分者展現我們長遠對相關社會議題的抱負。

 

李浩 (Samuel Lee)

導師

#社會效益量度 #SocialImpactMeasurement #改變理論 #Theoryofchange #hksim #賽馬會豐盛社會效益量度計劃 #JCFullnessSIMCoachingScheme

12_推動系統轉化_以香港大學永續鄉郊計劃為例
13_ 四個在疫情下如何以「實踐研究」思維與資助者對話及人事管理的小故事 (一)

四個在疫情下如何以「實踐研究」思維與資助者對話及人事管理的小故事 (一)
2021-06-22

農曆年前跟賽馬會豐盛社會效益量度培訓計劃的Samuel相聚,談到實踐研究(practice research)思維,如何協助機構在COVID-19下與資助者溝通和維持同事在新常態服務轉型下的士氣,也分享了幾個小故事。故事是自己和同事的經歷,跟「社會影響」拉不上甚麼大關係,但事後竟得對方邀請,在3月中做了一場線上分享會,希望藉我們四個故事拋磚引玉,刺激大家在新常態下共謀進路。
 

活動後,有參加者問能否分享當日的微軟簡報給他們參考。因投影片內容精簡,故反建議給主辦單位,讓我花時間文字整理當日分享,一來令事後回顧內容上稍有細節;二來事後的文字整理也助我反思當日的分享及做必要的補充,因此也促成四篇短文。首兩篇故事會談及「實踐研究」思維如何幫我們與資助者溝通,後兩個故事則講到「實踐研究」思維如何幫助機構維持同事士氣。
 

為了方便大家明白故事內容,我在首篇短文先交待一下所有故事的背景。

在COVID-19疫情爆發初期,無論機構或資助者都以2003年「沙士」為參照,認為疫情會在夏天過去,服務變陣是應急為主,能轉網上的就轉網上,或是「以不變應萬變」。可是新冠疫情的規模及持續性遠超大家預期,於是資助者開始提出以下問題﹕

  1. 「應急式」轉為網上的服務,是否真的有效及值得繼續?

  2. 「以不變應萬變」的服務,是否能對應疫情下的社會狀況與需要?

而第一個故事,就是與資助者討論是否可以把服務轉為網上及長遠轉為網上服務相關。我起的故事標題為「Research-informed practice」,主角是我們兩個專為小學生而設的含抗毒元素健康教育服務項目。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

故事第一個出場的主角,是服務特殊教育需要學生及家長的「星級成長路II」中「家庭樂Fun Fun」親子活動。這個一個多小時的活動,令參與的孩子和父母可以利用不同材料去藝術創作,過程中他們可輕鬆分享自己的創作想法、感受和回憶親子間的樂事,藉此促進親子溝通和相互了解。這活動一直廣受學校歡迎,疫情下也跟我們預約。
 

不過縱然疫情下學校停課或轉為網上授課,資助者一直堅持我們只能安排實體活動。他們認為改以網上平台安排活動會減低活動趣味性和互動,也擔心參加者對視象參與的專注力有限,或「扮」參與但事實上並無參與。但學校站在疫情風險控制考慮,實難以讓我們安排實體活動,有學校因而取消預約或改期。
 

事實上,10多間已預約我們合作的學校中,有學校提出能否改以網上進行活動,計劃也在去年年底也進入最後半年倒數,但我們與資助者之間一直膠著。最終我們借鑑實踐研究中的「行動研究」(action research)做法,與資助者達成共識試行數場網上活動,並利用實體活動的評估工具進行成效評估。若具成效,資助者會讓參與學校選擇網上版或實體版,若成效不彰就維持只做實體活動的安排。
 

故事進展到這裡,我們之間要解決的課題包括﹕

  1. 要試多少場次才足夠和合理地反映網上活動成效?及

  2. 如何合理斷定網上版跟實體活動一樣具成效?
     

最終我們跟資助者協議「三盤兩勝」制。若只得一場,成敗可能是運氣使然:若兩場的話,一場有效一場欠成效也難於有定案;若試行太多場也超過參考的需要。與此同時,因為我們假設網上「家庭樂Fun Fun」跟實體活動一樣會幫到參與的孩子和家長,所以以實體活動的「七成參加者有正面改變」作各項評估指標的成效參照(KPI)。

 

 

 

 

 

 

 

 

 

 

 

 

 

最終三場網上版的評估結果,都反映超過七成參加者有正面改變,資助者逐放心讓我們全面變陣。

其實實踐研究也有助我們在服務變陣中學習。以本故事另一個主角「解毒至叻星」高小抗毒健康教育服務為例,資助者早已容許我們以實體及網上安排入校服務,於是我們累積了實體及網上服務的評估數據。同事在今年上學期完結後,按兩種服務形式劃分去分析評估成效,結果發現實體與網上服務均能對應疫情下學校及學生的抗毒健康教育需要。而有趣的是,在抗毒知識及態度方面,我們發現有更高比例的網上服務參加者錄得正面改變。這進一步刺激我們發展網上健康教育的動力。
 

篇幅所限,暫且就此打住。在下一篇「天氣不似如期」中,我再跟大家分享我們的表達藝術治療小組服務在疫情下服務成效不似如期下,我們跟資助者溝通的另一個小故事。


黃子瑋 (Keith)

轉載自 HKGoodPost: https://www.hkgoodpost.com/2021/03/22/%e5%9b%9b%e5%80%8b%e5%9c%a8%e7%96%ab%e6%83%85%e4%b8%8b%e5%a6%82%e4%bd%95%e4%bb%a5%e3%80%8c%e5%af%a6%e8%b8%90%e7%a0%94%e7%a9%b6%e3%80%8d%e6%80%9d%e7%b6%ad%e8%88%87%e8%b3%87%e5%8a%a9%e8%80%85%e5%b0%8d/?fbclid=IwAR3Zb5CJqyahGyuJ3ZnvZt-bWL1Os0Pulos6R0C4yIQ5T42IocAXU2GlPOo

#社會效益量度 #SocialImpactMeasurement #hksim #賽馬會豐盛社會效益量度計劃 #JCFullnessSIMCoachingScheme

14_四個在疫情下如何以「實踐研究」思維與資助者對話及人事管理的小故事 (二)

四個在疫情下如何以「實踐研究」思維與資助者對話及人事管理的小故事 (二)
2021-07-01

WhatsApp-Image-2021-03-29-at-12.55.57.jpeg

上一篇短文中,筆者以文字整理了賽馬會豐盛社會效益量度培訓計劃線上分享會的第一個小故事,提到如何以「行動研究」的進路游說資助者服務變陣,甚至了解變陣服務在成效方面跟以往沿用的安排是否有更突出之處。

今次這篇短文,則分享我們社區藥物教育輔導會在戒毒復康服務引入表達藝術治療小組的小故事,簡介一下「實踐研究」思維如何協助我們跟資助者在「天氣不似如期」下的溝通和學習。
 

戒毒復康服務的目標之一,是協助復康者維持復康和防止復吸,但個人、家庭、及社區層面中的風險或保護因素卻左右到復康者的堅持。有見及此,我們機構嘗試引入表達藝術治療小組去協助在院舍或社區復康單位的服務使用者,協助他們藉表達藝術創作察覺及找到自己內在對應外在環境的能力,提高他們的自尊感及自我效能感。資助者相信這些改變是會有助他們減低復吸機會,也在已首次兩年計劃完結後,於2019年再次撥款支持第二期服務。

在社會衝突及疫情夾擊下,我們具社工資歷的表達藝術治療師餅sir (Terrence)仍成功完成兩個治療小組,但小組在提升組員的自尊感及自我效能感方面的效果卻不似如期,資助者也致電來關心。

筆者跟餅Sir因應上述情況的討論方向,主要是借「實踐研究」思維去思考社會發生的大事有否構成影響服務在推出後才出現的新外在因素(new externalities),及該些因素對服務成效帶來的潛在影響。

這狀況也刺激了筆者對服務成效評估的反思。一直以來,我留意到量性的成效評估設計都是希望以最簡單的假設去進行,所以服務成效主要是跟有否得到服務和接受服務的密度有關,而少有假設「外在因素」對成效的影響。即使有,那些外在因素大都集中於當事人是否曾經或正接受其他機構或單位提供的類此服務支援。很多時可能因為缺乏相關文獻參考、或受評估工具長度限制、甚至是貪方便,評估者會假設服務期間的「外在因素」是維持不變 (ceteris paribus 或holding other factors constant)。

WhatsApp-Image-2021-03-29-at-12.55.55-768x1024.jpeg

今次疫情對我的提醒之一,就是與同事重新檢視「外在因素」對服務的可能影響。以今次的經驗為例,我們透過質性敍述探究進路,了解和歸納服務者疫下生活和他們自處情況。

 

「實踐研究」的思維也提醒我們「外在因素」是分為Deadweight 及 Attribution,前者會打擊服務預期成效甚至令成效歸無,後者則是沒有你的投入也會促成成效,例如青春期的孩子即使無參與額外運動班也會自然長高,所以探究上會考慮兩大性質因素發生的可能。

 

敍事探究也要求我們預設視角去歸納和分析資料,否則就會跟一般閒談傾計沒有分別。我們的餅Sir就把「疫情生活」定義為「經濟參與活動」、「家庭生活」和「社交生活」,去了解組員的情況,並得出以下發現﹕

 

  1. 疫情衝擊勞動市場,如後測時當事人遇到就業挑戰,兩項成效指標難免會在後測下跌。但過程也令我們發現,如果當事人在疫下工作仍然如常,他們在前測及後測時會具備及維持較高的自尊感和自我效能感,令小組介入帶來的正面改變幅度不明顯;

  2. 家庭生活壓力和與家人衝突會影響當事人的自尊感和自我效能感;

  3. 社交生活方面,重視朋友和在朋友互動感受自我的小組成員,因在限聚下無得見朋友或減少社交,打擊了他們自尊感和自我效能感。

     

上述發現給我們方向去跟資助者一同理解為何今期的表達藝術治療小組的成效為何未如上一期的服務,也刺激我們思考如何補充過去沿用的相關服務改變理論(Theory of change)。

 

有人或會覺得質性的敍事探究進路不夠量性方法科學,我建議那些朋友可以在Google一下參考文獻,就會發現有關進路其實都可以好科學,也能提供極為有用的參考與實踐知識。這是其中一篇我覺得幾有趣的參考這文章,連醫療服務相關的研究題目也會用上敍事探究。

 

這個故事中另外值得一記的是,在疫情令面對面的治療小組暫停的當下,餅Sir把握時間去了解外國的表達藝術治療學會對會員的建議,也著手搜羅了一些有關治療應用在成癮與預防復吸的文獻研究一同與筆者細閱。及後他更邀請到香港浸會大學社會工作系的藍建文博士和他的團隊,協助進一步豐富我們原有的小組治療的改變理論。

 

 

透過餅sir與團隊的對話溝通,和對方肩負更大規模的文獻回顧,我們最終建構出表達藝術治療應用在預防戒毒復康者復吸的 7 個可能成效,例如「控制自己衝動的內在能力」,而該些預計成效是有現成及具有一定可靠度的量表去量度。

WhatsApp-Image-2021-03-29-at-13.00.43-1024x982.jpeg

在分享會中主持Ted特別追問如何與學院的研究人員合作順利,在餅Sir與浸大的合作中,我有以下的觀察﹕

 

  1. 機構要坦誠讓學院明白自己的想法和需要。以我們今次合作為例,我們要豐富原有的改變理論,也想更加實在的去定義服務帶來的效果,例如「內在平衡」與「內在能量」的產生。我們承認只有比較空泛的想法,但這些想法會給研究人員進一步構思的方向;

  2. 提供資源給學院。今次我們給予顧問費予大學團隊以支持對方隊員進行文獻回顧、歸納與整理的工作。勞動有價,思考工作也是;

  3. 餅Sir樂於跟學院同事分享他工作觀察所得,也敢於從實際服務角度回饋學院提交的初稿,是機構跟學院合作構思(Co-produce)新的改變理論。

  4. 社工與研究人員的合作,其實是「實踐研究」其中一個重要課題。筆者喜愛的「實踐研究」推手之一的Lars Uggerhøj 教授,就有一篇十分有趣的文章提出可能的進路,大家有興趣的話,可以在Lars文章中再深入了解。

 

黃子瑋 (Keith)
 

轉載自 HKGoodPost: https://www.hkgoodpost.com/2021/03/29/%e5%9b%9b%e5%80%8b%e5%9c%a8%e7%96%ab%e6%83%85%e4%b8%8b%e5%a6%82%e4%bd%95%e4%bb%a5%e3%80%8c%e5%af%a6%e8%b8%90%e7%a0%94%e7%a9%b6%e3%80%8d%e6%80%9d%e7%b6%ad%e8%88%87%e8%b3%87%e5%8a%a9%e8%80%85%e5%b0%8d-2/

 

#社會效益量度 #SocialImpactMeasurement #hksim #賽馬會豐盛社會效益量度計劃 #JCFullnessSIMCoachingScheme

15_我哋嘅服務值幾多錢?

我哋嘅服務值幾多錢?
2021-08-02

hand.png

在計算社會效益投資回報(SROI)方面,如果一個人本的服務項目沒有牽涉向受助人士發放工賑或協助他們做到成本節省,那項目團隊可考慮運用條件評估法(Contingent Valuation )作為SROI的計算基礎。條件評估法源自經濟學,具體的做法是邀請相關人士直接運用他/她認為合適的金額來表達他/她對某種不牽涉到市場交易的事物,例如,如果某地方政府的規劃部門欲知道某自然景觀對一個住宅社區的價值,該部門可以訪問住在這社區內的人士,並遂一邀請他們道出這景觀在他們心目中的貨幣化價值。

 

同樣道理,項目團隊可在項目完成後透過問卷調查邀請受助對象道出項目在他們心目中的貨幣化價值,惟調查員必須強調調查目的不是向受助對象收費,同時必須引導他們以項目帶來在情意、認知、行為等方面的轉化作為評價項目之基礎。

理想的情況是,每位受訪者都能講出貨幣化的價值。然而,在實際操作中,往往受訪者毫無頭緒;在此情況下,若果調查員能夠提供參考數據,那受訪者可能會較容易答出貨幣化價值。最近本會為一家推行基層醫療服務的非政府機構量度社會效益,但巿面上沒有高度類似的項目可供參考,因此唯有提供一家服務質素較高的護老院所收取的費用作為受訪者的參考指標,當然調查員可進一步向受訪者解釋基層醫療和護老院具備的相同之處和不相同之處,讓受訪者較準確估算的貨幣化價值。

李浩 (Samuel Lee)

導師

#社會效益量度 #SocialImpactMeasurement #改變理論 #Theoryofchange #hksim #賽馬會豐盛社會效益量度計劃 #JCFullnessSIMCoachingScheme

bottom of page