אפידמיולוגיה ומחקרי תצפית

מחקרים בתזונה מזה עשרות שנים מתנהלים בצורה בעייתית מבחינה מדעית. זה מתחיל מדרך איסוף הנתונים, העיבוד שלהם, המסקנות ובסופו של דבר איך שזה מפורסם לציבור. כתוצאה מכך הרוב המוחלט של מחקרי התצפית ניהיים חסרי משמעות ויותר גרוע שהם גורמים להטעיית הציבור. הציבור הרחב לא יודע לקרוא מחקרים, לא ייפתח מחקרים ובטח שלא ייקרא את הטקסט המלא ושיטת המחקר אלא במקרה הטוב ייקרא את הכותרת באיזה אתר חדשות. מדוע מחקרי התצפית הם חסרי משמעות מבחינה מדעית? למה הם בכלל מתפרסמים? ואיך אפשר לשנות את זה? אנסה לענות על השאלות האלה כמו שאוכל בפוסט הזה.

רמת הפוסט: מתחיל

מחקרי תצפית

מחקרי תצפית הם סוגי המחקר העיקריים באפידמיולוגיה. יש כמה סוגים שלהם אבל בכולם הרעיון זהה. לוקחים קבוצת אוכלוסיה, אוספים עליה נתונים, עוקבים אחריה למשך תקופה ומנסים למצוא קורלציה בין הנתונים שנאספו למחלה. למשל מחקר [1] שטוען ש”כל הוספה של 50 גרם בשר מעובד ביום מגביר את הסיכון לסרטן המעי הגס ב18%”. איך הגיעו לנתון של צריכת הבשר היומית של אנשים? משתמשים בשיטה של שאלוני תזונה.

שאלוני תזונה

שאלוני תזונה יכולים להתבצע בדרכים שונות לרוב עקב שיקולים כלכליים הם מבוצעים פעם אחת או פעם בתקופה ממושכת כמו חודשים או שנים. המשתתפים במחקר צריכים למלא טופס שנראה בגדול ככה [2]:

לוקחים את הנתונים שנאספו מוציאים מהם את הערכים התזונתיים על פי בסיס נתונים כלשהוא ומזה מוציאים קורלציה להתקף לב שקרה לנבדק 15 שנים אחר כך. איזה בעיות יש בשאלונים האלה? למשל בשורה של המאכלים יש צורות שונות של המבורגר. אבל איך נגדיר המבורגר? יש נתחים שונים, צורת צלייה שונה, חיות שונות ועוד לכן זה משתנה מאד בין המבורגר להמבורגר. כאשר הנבדק צריך לענות על כמה פעמים הוא אכל המבורגר השבוע כבר מעצם ההגדרת התשובה כ “1-2 מנות שבועיות” בעייתית מכיוון שזה שגיאה של 100% בכמות הצריכה רק מעצם הגדרת השאלה. מעבר לזה אין הגדרה של המשקל של ההמבורגר. איך הם מגדירים המבורגר? 150 גרם? 300 גרם? מה אם אני רגיל לאכול המבורגר של 500 גרם? כבר מעצם הגדרת השאלון החוסר הדיוק שנובע ממנו הוא עצום. הבעיה הבאה והקשה בשאלונים האלה זה בעיית הזכרון הסלקטיבי של אנשים. באופן עקבי אנשים נוטים לדווח פחות ממנו שהם אוכלים בפועל [2]. הבעיה הזאת אף יותר חמורה אצל אנשים במשקל עודף שנוטים יותר לזייף בדיווחים שלהם. אפילו כאשר מבצעים מעקב טלפוני כל 24 שעות אצל הנבדקים לגבי האוכל שלהם מתקבל אי דיוק בדיווח בהשוואה למה שהם אכלו באמת שזה נובע מכך שאנחנו לא באמת זוכרים את מה שאכלנו. אם אנחנו לא מצליחים להעריך את כמויות האוכל שאכלנו ב24 שעות האחרונות אז מה השגיאה כשמבקשים לשאול מה אכלתי בשבוע האחרון?

מתוך [2]:

“Several methods are available to estimate dietary intake. Some have been developed to categorize groups of people by their long‐term intake of various nutrients for epidemiological studies (FFQs). Others are designed to estimate current nutrient intake (food records and 24‐hour recalls). Each method has strengths and weaknesses, and none are immune from the problem of low‐energy reporting, particularly among obese subjects. “

דוגמא להטייה של תת דיווח. מספר הקלוריות שדווח במחקר מסויים היה זהה למספר הקלוריות שנעשה על הרעבה בבני אדם שם תוך 6 חודשים הם הגיעו לרזון ובמחקר שטען לכמות הקלוריות הזהה הם הגיעו למצב של obese. מישהו כאן לא מדייק ולא זה המחקר ההרעבה. כמו שכבר הזכרתי אנשים בעודף משקל נוטים לזייף יותר בדיווח שלהם.

בעיה נוספת זה ההנחה לא סבירה שאנשים אוכלים את אותו התפריט כל הזמן למשך שנים. האם זה שאמרתי שאני אוכל תפוח בשבוע לפני 15 שנה תקף גם היום? זאת הרי הנחה לא סבירה לחלוטין אבל משתמשים בה כאשר עושים את מחקרי התצפית. אנשים משנים דיאטות כל הזמן כך שההנחה הזאת מכניסה שגיאה כל כך גדולה לשגיאות שגם ככה קיימות שאי אפשר להסיק מכלום ממה שאכלתי מלפני 15 שנה.

המרת המזון להרכב שלהם הוא גם בעייתי. אוכל מושפע מעונת הגידול, המיקום הגיאורפי ולפעמים מגיע בהרכבים שונים במיוחד כאשר מדובר באוכל בהכנה עצמית. בסיסי הנתונים שמשתמשים בהם כדי להמיר המזון למרכיביו גם שונים אחד מהשני וכל בסיס נתונים יכול לתת תוצאות אחרות. אפילו דברים פשוטים כמו אורז מושפעים מהסוג שלו, איפה הוא גדל וצורת הבישול כך שזה מוסיף שגיאה להערכות של הרכב האוכל. גם באוכל שמגיע ארוז בקופסאות יש סטיות ובאוכל שמכינים בבית עוד יותר. מה הכוונה ברוטב עגבניות לפסטה? באיזה מתכון השתמשו? באיזה מרכיבים? כמויות? ועוד.

לסיכום הבעיות עם שאלוני תזונה:

• מבנה השאלון גורר שגיאה ענקית בדיווח על התזונה של הנבדק.
• אנשים נוטים לעשות הערכה חסרה למה שהם אוכלים באמת.
• אנשים לא זוכרים מה הם אוכלים אפילו בטווחי זמן קצרים של 24 שעות.
• שאלוני התזונה מניחים שאנשים אוכלים על פי נקודת הזמן הספציפית בה הם דיווחו עליה ולא משנים את התזונה שלהם.
• הערכת הרכב המזון תלויה בצורת הגידול שלו, ההכנה שלו ובאיזה בסיס נתונים משתמשים כדי לקבל את המידע.

הטיות של אורח חיים

מחלות אינן נגרמות רק מסוג התזונה שלנו אלא יש גורמי סיכון נוספים כמו עישון, פעילות גופנית, אורח חיים פעיל, מודעות לבריאות ועוד. האם במחקר שבדק את הסיכון לסרטן בדקו את כמות המעשנים? אולי יש קורלציה בין אכילת בשר ועישון? אולי אנשים שאוכלים בשר בכמויות גבוהות נוטים יותר לעשן, לשתות ולעשות פחות פעילות גופנית. אם כן האם נוכל להסיק שבגלל אכילת הבשר אנשים אלו העלו את הסיכון לסרטן או שזה בגלל שהם עישנו יותר או שלא הלכו להבדק בזמן אצל הרופא למרות שהם לא הרגישו טוב? הרעיון הוא שקורלציה לא גוררת סיבתיות וקורלציה היא לפעמים בכלל קורלציה לגורם אחר שהוא בקורלציה עם הגורם הסיבתי. מעבר לזה ישנם תופעות שקשורות לשילוב של מספר פרמטרים במקביל. למשל מים באוויר הפתוח ייקפאו ב0 מעלות אבל אם תזקק את המים ותשים אותם בכלי אטום טמפרטורת הקפאון תרד משמעותי מתחת ל0 קרוב ל-40 מעלות. האם מים קופאים ב0 מעלות או ב-40? זה שילוב של מספר גורמים במקביל שגרם לתופעה הזאת ואי אפשר לבודד רק משתנה אחד. תופעה דומה יש באוכלוסיה. מכיוון שצריכת בשר מופחתת וצריכת ירקות מוגברת מזוהה באוכולוסיה כאורח חיים בריא נצפה שאנשים שאוכלים בצורה זו יעשו יותר פעילות גופנית, יילכו יותר לרופא על סימפטומים שיש להם, יעשנו פחות, יישתו פחות ובאופן כללי יידאגו יותר לבריאות שלהם. את הפרמטרים האלה קשה עד בלתי אפשרי לבודד במחקרי תצפית ולכן הם בעייתים במחקרי מסוג זה כי אין עליהם בקרה דבר שיכול להטות את התוצאות ולגרום להסקת מסקנות שגויה.

סוג האוכולוסיה

לעיתים במחקרי תצפית בוחרים לבחון אוכלוסיה מסויימת שזה יכול להתבטא במוצא אתני ספציפי, מגדר מסויים, שכבת גיל ועוד פרמטרים אחרים שאפשר לעשות עליהם חיתוך של אוכלוסיה כמו BMI או סוכר בדם. מבחינה סטטיסטית ומדעית אי אפשר להניח תוצאות מקבוצות אוכלוסיה מסויימת על האוכלוסיה הכללית. זה יכול לנבוע מהרבה סיבות אם פיזיולוגית כמו ההבדלים בין גברים לנשים, גנטיים בין מוצאים אתנטיים ואפילו של אורח חיים עקב נורמות חברתיות שונות שגורמות להטייה באורח החיים. האם הסיכון לסרטן זהה אצל נשים שחורות סוכרתיות בגיל העמידה לעומת גברים אסייתים צעירים ובריאים? האם לבצע ממוצע על האוכלוסיות האלה ייתן תוצאה שנוכל להסיק ממנה עלינו? יש להתחשב בפרמטרים האלה במחקרי התצפית ולדעת אל התיאור המדוייק של האוכלוסיה הנבדקת.

איך לעשות מדע

בשנת 1965 פרסם Bradford Hill תשע נקודות שבעזרתם בוחנים האם תוצאות של מחקר תצפית יכולות להעיד על סיבתיות [3]. הסיבה הראשונה והחשובה שבהם היא הקורלציה בין המשתנים. כאשר הקורלציה חזקה אפשר בהרבה פעמים להניח סיבתיות. אך מה היא קורלציה חזקה? למשל כדי לקבל תחושה על הסדרי גודל הקשר בין סרטן הריאות לעישון חפיסה או יותר ביום הוא פי 100(!) מאשר האוכלוסיה הכללית [4] הוא בצורה של סיכון יחסי 10,000%. נמצא שהסיכוי לחלות בסרטן האשכים גדול פי 300 אצל מנקי ארובות לעומת האוכלוסיה הכללית [3] (כן, היה פעם מקצוע כזה) שבסיכון יחסי זה פי 30,000% סיכון. כשמקבלים סיכון יחסי בסדרי גודל כאלה גדולים אפשר להניח בהרבה מקרים סיבתיות.

מה לגבי מחקרי התצפית בתזונה שיש כיום? למשל במחקר שמצא קשר בין סרטן המעי הגס לבשר מעובד הסיכון היחסי הוא 20%-30% שזה פי 1.2-1.3 סיכון [11]. כלל אצבע בעולם המדעי הוא שאם הסיכון היחסי קטן מ2 אין מה להסתכל על המחקר כי הקשר חלש מדי ואם זה גדול מ2 אפשר להסתכל יותר לעומק ולראות אם יש קשר סיבתי בין המשתנים. לרוב הציבור לא יודע להבדיל בין סיכוי אבסולוטי ליחסי. על פי המחקר על הקשר בין סרטן לבשר הבשר לא מעלה את הסיכון האבסולוטי לסרטן ב20%-30% אלא את הסיכון היחסי. אם יש 10 מקרי סרטן על כל 1000 איש בקבוצת הביקורת אז בקבוצת אוכלי הבשר יהיה 12-13 מקרים, זה סיכון יחסי. אם הסיכון היה אבסולוטי היינו רואים 120-130 מקרים שזה היה נותן לנו סיכוי יחסי של 3,000%-2,000%. רוב מחקרי התצפית מראים על סיכון יחסי קטן מ2 שזוהי רמת סיכון שמבחינה מדעית אין מה להתייחס אליה בכלל אבל בכל זאת הם ממשיכים להתפרסם ולעשות כותרות בעיתונים.

בתחומי מדע אחרים כמו פיסיקה, כימיה או כל מדע מדוייק אחר הסטנדרט המדעי גבוה בהרבה ממה שיש במדעי התזונה. אפילו במדעים פחות מדוייקים כמו כלכלה ומדעי החברה הסטדנרט המדעי הוא לא כל כך נמוך. כדי לעשות מחקרים ברמה גבוהה בתזונה משתמשים במחקרים קליניים שם יש שליטה על המשתנים ומעקב צמוד עליהם. המתדולוגיה יותר טובה ובהתאם היכולת להסיק מסקנות מהמחקר. למשל יש מחקרים שהחוקרים מכינים את האוכל לנבדקים ולא רק שהם בודקים מה הם הכינו אלא גם מה השאירו על הצלחת ומחשבים בהתאם את הרכב האוכל שלהם. אפשר לעשות מדע טוב בתזונה, לא חייבים לעשות מחקרי תצפית ברמה גרועה.

מבחינה מדעית הכלי של מחקרי תצפית הוא לא כדי להוכיח סיבתיות אלא כדי לפתח היפותזות. צופים תופעה מסויימת בקורלציה למשתנה אחר ובעקבות כך אפשר לפתח מחקר מדוייק יותר שייבחן האם יש סיבתיות בין המשתנים בהתאם להיפותזה שהועלתה. הבעיה שמחקרי התצפית הפכו אצלנו ככלי להוכיח סיביות והם לא כאלה. רק בקורלציות חזקות מאד אפשר להניח מהן סיבתיות בתנאים של Hill. בהחלט אפשר לפתח היפותזות ממחקרי תצפית אבל רק ווידוא שלהם במחקר יותר מעמיק יוכל להראות על קשר סיבתי או קשר שיש טעם להמשיך לחקור אותו.

הרצאה מעולה על השיטה המדעית מפי האחד והיחיד Richard Feynman:

למה מחקרים ברמה נמוכה מתפרסמים

מחקרים בתחום התזונה הם יקרים עקב הצורך לעקוב אחרי הרבה אנשים, להפריד משתנים ולקחת אנשים טובים שיעשו את המחקר. מימון של מחקרים מתבצע הרבה פעמים על ידי אנשים בעלי אינטרסים כמו תאגידי מזון שונים שזורקים חץ ומציירים סביבו את המטרה. המגזין היוקרתי JAMA הוציא הודעת התנצלות על הטעיית 6 מחקרים שהתקבלו אצלו מBrian Wansink כאשר המספר האמיתי מוערך ב13 מחקרים מוטים [5]. שילוב של תעשייה שמממנת מחקרים עם עיתונאים שמחפשים לעשות כותרות רק כדי לפרסם משהו וחוקרים שלוחצים עליהם לפרסם מחקרים באופן תדיר גורמים לכך שיוצאים מספר גדול של מחקרים גרועים. לא כל המחקרים הגרועים אבל מחקרי התצפית שמגיעים לציבור בעיתונים ואתרי החדשות בדרך כלל גרועים ורק מחפשים לעשות כותרות כמו המחקר האחרון בנושא שטען שדיאטה דלת פחמימות מעלה את הסיכון למוות [6] כאשר החוקרים שילמו 5,000$ למגזין כדי שיפרסמו את המחקר שלהם [7] דבר שאינו מקובל בפרסום מחקרים ונעשה כדי שיפרסמו אותו למרות איכותו הגרועה.

כדי להוכיח שעיתונאים רק מפרסמים מחקרים עם כותרות מפוצצות בלי לקרוא באמת את המחקר John Bohannon הוציא מאמר בוא הוא טען ש”שוקולד עוזר לירידה במשקל” [10]. על פי טענתו אנשים בדיאטת דלת פחמימה הורידו 10% יותר במשקל אם הם אכלו חבילת שוקולד ביום. עד כאן הכל נשמע בסדר רק הבעיה שהמחקר נעשה בצורה מעוותת כדי להוכיח את הטענה שהכותב כיוון אליה מראש: להראות איך מדעי התזונה מוטים ואינם אמינים בימינו. הוא מסביר את כל התהליך בפוסט בבלוג שלו ואפילו לא מתבייש בשם הפוסט: “I Fooled Millions Into Thinking Chocolate Helps Weight Loss. Here’s How.”. מרגע פרסום המחקר שלו תוך זמן קצר כתבות על המחקר ניהיו ויראליות באינטרנט, הגיעו לחדשות ב20 מדינות ועשרות עיתונים. הכתבות כמובן מלוות בכותרת מפוצצת, תמונת הכתבההיא אשה סקסית שאוכלת שוקולד דבר שרק מראה את חוסר הרצינות והכוונה למכור כותרות ושום ביקורת על המחקר עצמו. אפילו שהמחקר פורסם במגזינים שמפרסמים מחקרים מסוג זה לא נעשה ביקורות עמיתים כמו שאתה מצפה שיעשה למחקרים בתחום. נוצרה נורמה במחקרים מסוג זה שזה בסדר לפרסם חצאי שקרים במקרה הטוב ושקרים במקרה הרע נורמה שלא קיימת בסוגי מדע אחרים אבל משום מה השתרשה במדעי בתזונה עם שילוב של גורמים אינטרסנטים

כותרת צהובה באחד העיתונים על מחקר השוקולד:

שינוי גישה

עקב המחקרים הגרועים שיוצאים מדי פעם לעיתונות ומראים דבר והיפוכו כל פעם מחדש נוצר בציבור חוסר אמון במדעי התזונה עם משפטים כמו “על כל מחקר שתראה לי אני אראה לך 10 מחקרים שמראים הפוך”. טכנית זה נכון יש מחקרים שמראים שביצים מעלים סיכון ואחרים שמוריד סיכון כנ”ל לגבי בשר, חלב ואיזה מאכל שלא תחפשו. הבעיה היא שמניחים שכל המחקרים שווים וזה טעות להניח דבר שכזה. יש מחקרים יותר טובים כמו מחקרים קליניים עם קבוצות ביקורת ובידוד משתנים נכון ויש מחקרי תצפית שלקחו שאלון תזונה פעם אחת לפני 15 שנים ומצאו סיכון יחסי מצחיק. הציבור לא יודע להבדיל בין מחקר טוב ללא טוב והוא למעשה מעולם לא באמת קרא מחקר למעט כמה גיקים של תזונה כך שנוצר נזק וחוסר יכולת לדיון אמיתי בנושאי תזונה. הטיעון של “על כל מחקר שתראה לי אני אראה לך 10 מחקרים שמראים הפוך” ניהיה איזה טיעון שמצדיק אצל אנשים אכילה באיזה דרך שבא להם או שהם בגישה ש”אי אפשר לדעת כלום” ולכן אפשר להצדיק כל צורת אכילה. למשל מחקר סין המפורסם  [8] שידוע בקרב הטבעוניים כהוכחה שבשר מזיק הוא לא יותר ממחקר אפידמיולוגיה תצפיתי שבחר לעשות סטטיסטיקה על הנתונים שמתאימים לו כדי להעביר את האג’נדה הטבעונית של כותב המחקר. יצאו הרבה ביקורת על המחקר הזה ואפילו ניתוחים מחדש שלו שהראו שאפשר להראות בעזרת סטטיסטיקה מתאימה שמגיעים למסקנות הפוכות מהטענות המקוריות שלו [9]. לציבור קשה להבדיל בין מחקר שנעשה טוב עם שיטה מדעית ברמה גבוהה ולבין מחקרים גרועים וכך נוצרים מיתוסים ואמונת שגויות על תזונה ומחלות.

הפתרון הוא להפסיק לפרסם מחקרי זבל ולפרסם רק מחקרי איכות. אי אפשר לחנך את הציבור לקרוא מחקרים הוא ימשיך לקרוא את הכותרות בעיתונים ואולי כמה שורות מעבר אבל לא יותר מזה. השינוי צריך להגיע מהמגזינים שמפרסמים את מחקרי הזבל. כבר היום מתחיל להיות שינוי בגישה אצל המגזינים ומחקרי תצפית זבל כבר לא מתקבלים ככה סתם. חלק משינוי הגישה יגיע כשייכנסו מדענים וחוקרים חדשים לתחום כדי לעשות מדע טוב יותר שמביא לתוצאות אמיתיות. בנוסף כאשר אתם נתקלים במחקרים מסוג זה פשוט להתעלם מהם וגם אם זה עולה לדיון להגיד בפירוש “זה מחקר תצפיתי שנעשה על ידי שאלונים עם סיכון יחסי נמוך, אני לא מתכוון אפילו להתייחס לזה, חבל על הזמן שלי”. בנוסף אפשר להפנות למקורות שמסבירים מדוע מחקרים כאלה גרועים, אין כאן באמת דיון מדעי אמיתי זה דיון מונע אידיאולוגיה ואמונות אישיות שלא הולך להגיע לשום מקום. זה לא קל לקרוא מחקרים בטח כשלא מכירים את המושגים אבל מה שכן אפשר לדעת זה שאם הכותרת נראת מפוצצת באתר חדשות או איזה צהובון אז רוב הסיכויים שזה שטות שאין מה להתייחס אליה. המחקרים הטובים באמת לא מגיעים לאתרי החדשות כי זה לא מוכר מספיק ובשורה התחתונה זה לא מעניין את הציבור הרחב. תדעו מאיפה לצרוך את הידע שלכם בתזונה ואל תאמינו לכל דבר שאומרים עליו “מחקר מצא…” חשוב לשנות גישה ולהיות הרבה יותר ביקורתיים כלפי מידע שמוצג אלינו בתזונה.

גם בקהילה המדעית מתחילים להבין שיש בעיה עם מחקרי תצפית כפי שפורסם במאמר דיעה [12] של אפדימיולגיים. הם מציינים 4 נקודות לשיפור כדי להחזיר את המהימנות של האפדימיולגיה בתחום התזונה:

• תכנון טוב יותר של מחקר לגבי המטרות ומה ביכולתו של המחקר למדוד ולהראות.
• שיטות מדידה טובות יותר מאשר שאלוני תזונה ושימוש בטכנולוגיות מדוייקות יותר.
• עיבוד נתונים מתקדם יותר הלוקח בחשבון כשלים אפשריים ותיקונים סטטיטיים שיכולים להפריע לתוצאות.
• דיווח מלא ואמין של התוצאות גם אם לא מתקבלות התוצאות הרצויות. כך שלא יווצר הטעייה בספרות שרק תוצאות שנראות לנו מפורסמות.

הפוסט הבא שמומלץ לקרוא: מה הסיכון בתנגודת אינסולין?

מקורות

[1] – IARC Monographs evaluate consumption of red meat and processed meat, WHO, 2015. link.

[2] – Dietary Intake—How Do We Measure What People Are Really Eating?, Rachel K. Johnson, 2012. link.

[3] – Applying the Bradford Hill criteria in the 21st century: how data integration has changed causal inference in molecular epidemiology, Rachel Kristen M. Fedak, 2015. link.

[4] – Cigarette smoking and lung cancer – relative risk estimates for the major histological types from a pooled analysis of case-control studies, Beate Pesch, 2011. link.

[5] – Notice of Retraction: Wansink B, Cheney MM. Super Bowls: Serving Bowl Size and Food Consumption, Howard Bauchner, MD, 2018. link.

[6] – Dietary carbohydrate intake and mortality: a prospective cohort study and meta-analysis, Sara B Seidelmann, MD, 2018. link.

[7] – #Fakenews Headlines – Low Carb Diets aren’t Dangerous!, 2018. link.

[8] – The China Study: The Most Comprehensive Study of Nutrition Ever Conducted And the Startling Implications for Diet, Weight Loss, And Long-term Health, Thomas Campbell , 2006. link.

[9] – THE CHINA STUDY: FACT OR FALLACY?, Denise Minger. link.

[10] – I Fooled Millions Into Thinking Chocolate Helps Weight Loss. Here’s How, John Bohannon, 2015. link.

[11] – Red Meat and Colorectal Cancer, Nuri Faruk Aykan, 2015. link.

[12] – Toward more rigorous and informative nutritional epidemiology: The rational space between dismissal and defense of the status quo
David B. Allison, 2021. link.