🤖 צ׳אט כשר – בינה מלאכותית שעובדת אופליין מלא באנדרואיד - עם סינון נטפרי

בעזרת השם ובסיוע GPT יצרתי אפליקציה בשם צ׳אט כשר – צ׳אט AI לאנדרואיד שעובד אופליין לגמרי, עם ממשק בעברית וסינון מקומי מובנה.

מודל הבינה המלאכותית נמצא בתוך האפליקציה עצמה. לאחר ההתקנה אפשר לשאול שאלות ולקבל תשובות בלי להתחבר לאינטרנט, גם בהפעלה הראשונה. אין צורך להוריד מודל בנפרד, לייבא קבצים או להתחבר לחשבון. לאפליקציה אין אפילו הרשאת INTERNET.

המודל הכלול הוא Gemma 3 1B IT, בגרסת IQ4_XS המותאמת להרצה מקומית. זהו מודל קטן יחסית, שמאפשר לנהל שיחה בעברית, לקבל הסברים ולבצע משימות טקסט פשוטות. הוא מוגבל ביחס למודלי הענן הגדולים ועלול לתת תשובות שגויות, ולכן צריך לתאם ציפיות.

האפליקציה כוללת ממשק עברי, מצב בהיר וכהה, שמירת שיחות ואפשרות לייצא שיחה לקובץ טקסט.

בנוסף למודל, יש מאגר מקומי שמספק מענה מיידי ל־64 ניסוחים של שאלות נפוצות. יש גם מחשבון מקומי וזיהוי של חישובים פשוטים הנכתבים במילים, כולל חיבור, חיסור, כפל וחילוק. האפליקציה יכולה גם לזהות שם שהמשתמש מסר באותה שיחה.

כדי לצמצם חישובים חוזרים, האפליקציה משתמשת מחדש בהקשר שכבר חושב במהלך השיחה. התשובות קצרות כברירת מחדל, ובהגדרות אפשר לבחור 1, 2 או 4 תהליכי חישוב בהתאם למכשיר.

קיימת גם אפשרות לזהות בקשות לפעולות מסוימות במכשיר ולהעביר אותן למנגנון פעולות מוגדר ומוגבל, באישור המשתמש.

מערכת הסינון פועלת מקומית ובודקת את השאלות ואת תשובות המודל. הסינון עצמאי וניסיוני, אינו סינון רשמי של נטפרי ואינו הרמטי. ייתכנו מקרים שהוא עדיין לא מכסה, והמטרה היא להמשיך לשפר אותו.

האפליקציה מתאימה לאנדרואיד 6 ומעלה, עם תמיכה במעבדי ARM64 ו־ARMv7. מומלצים לפחות 2GB RAM להרצת מודל ה־AI. במכשירים עם כ־1GB RAM אפשר להשתמש בכלים ובמענה מהמאגר המקומי, אך המודל המלא אינו נטען. מהירות התשובות תלויה במעבד ובזיכרון של המכשיר.

הגרסה הנוכחית היא 1.1.2. קובץ ההתקנה המלא שוקל 724,481,129 בתים, בערך 724.5MB. רוב המשקל מגיע מקובץ המודל, ששוקל בערך 714.4MB. הכל מגיע בתוך APK אחד – מתקינים ומתחילים להשתמש.

האפליקציה תומכת בעדכונים ידניים. כשמתפרסמת גרסה חתומה חדשה, אפשר להתקין אותה מעל הגרסה הקיימת כדי לשמור את השיחות וההגדרות. קיימת גם אפשרות לייבא חבילות עדכון חתומות לרכיבי ידע וסינון.

בוצעו בדיקות לליבת האפליקציה, לסינון, לחישובים, לפעולות ולעדכונים חתומים, וכן בדיקות ממשק וייבוא באמולטור Android. המודל עצמו נבדק גם ביצירת תשובות ובשימוש חוזר בהקשר ב־Linux. ביצועי ה־AI והתקנת עדכון בטלפון פיזי טרם נבדקו.

זה עדיין פרויקט חדש וניסיוני, ואשמח לשמוע ממי שמנסה אותו על מכשירים שונים: מה דגם המכשיר, כמה RAM יש בו, כמה זמן לוקחות התשובות ואילו תקלות נתקלתם בהן.

קרדיט ופיתוח: מוקד המערכות – מתמחים טופ.

אשמח להערות, רעיונות ודיווחי באגים, כדי להמשיך לשפר את האפליקציה.