See Shulchan Aruch Choshen Mishpat
סימן רמא - המתנה במה תתקים וכן המחילה והנותן דבר שאינו מסים
where is states:
ה': יֵשׁ מִי שֶׁאוֹמֵר, שֶׁהַנּוֹתֵן מַתָּנָה לַחֲבֵרוֹ אֵינוֹ מַתָּנָה, אֶלָּא אִם כֵּן שֶׁיִּהְיֶה בְּדַעַת הַנּוֹתֵן שֶׁתְּהֵא בִּרְשׁוּת מְקַבֵּל לַעֲשׂוֹת בָּהּ כָּל חֶפְצוֹ. בַּמֶּה דְּבָרִים אֲמוּרִים, שֶׁנְּתָנָהּ לוֹ סְתָם אֶלָּא שֶׁנִּכַּר מִתּוֹךְ מַחֲשַׁבְתּוֹ שֶׁאֵינוֹ מְכַוֵּן לִתְּנָהּ לוֹ שֶׁיַּעֲשֶׂה בָּהּ כָּל חֶפְצוֹ. אֲבָל אִם מְפָרֵשׁ, אֲפִלּוּ אִם נְתָנָהּ לוֹ עַל מְנַת שֶׁלֹּא לִתְּנָהּ לְאַחֵר אוֹ שֶׁלֹּא לְמוֹכְרָהּ אוֹ שֶׁלֹּא לְהַקְדִּישָׁהּ, אוֹ אֲפִלּוּ עַל מְנַת שֶׁלֹּא יַעֲשֶׂה בָּהּ שׁוּם דָּבָר אֶלָּא דָּבָר פְּלוֹנִי, הָוֵי מַתָּנָה לְאוֹתוֹ דָבָר שֶׁפֵּרַשׁ בִּלְבַד.
Some are of the opinion that a gift is not absolute unless it's given without any strings attached. Even if the giver's condition is not stated clearly but implied it wouldn't an unconditional gift.
But everybody agrees that:
If he's gives a gift for a specific purpose, it's only the receiver's property for that specific purpose.
So, you asked 2 questions:
- Can I demand that he pay me back?
You absolutely can demand your money back.
- If I give someone a gift, am I allowed to place any conditions as to how that gift should be used, or is a gift always unconditional?
Absolutely. Yes, you can, as you see from the next S'if discussing מַתָּנָה עַל מְנַת לְהַחֲזִיר. The question is, how to make it Halachically conditional, e.g. does it need an explicit double condition (if you do and if you don't).
For completeness, here's the next S'if - that you can make a condition to get the gift back - and it's a valid gift And a valid condition, hence you get your gift back:
ו': הַנּוֹתֵן מַתָּנָה עַל מְנַת לְהַחֲזִיר, בֵּין מִיָּד בֵּין לִזְמַן קָצוּב, אוֹ כָּל יְמֵי חַיֵּי הַנּוֹתֵן אוֹ כָּל יְמֵי חַיֵּי הַמְקַבֵּל, הָוְיָא מַתָּנָה לַזְּמַן הַקָּצוּב, בֵּין בְּקַרְקַע בֵּין בְּמִטַּלְטְלִין, וְאוֹכֵל הַפֵּרוֹת עַד אוֹתוֹ הַזְּמַן; וְהוּא שֶׁמַּחֲזִירָהּ לַנּוֹתֵן לַזְּמַן הַקָּצוּב, אֲבָל אִם אֵינוֹ מַחֲזִירָהּ, נִתְבַּטְּלָה הַמַּתָּנָה.
הגה: לֹא קָצַב לוֹ זְמַן לְהַחֲזִיר, יָכוֹל הַמְקַבֵּל לְהַחֲזִיר לוֹ כְּשֶׁיִּרְצֶה. וְאִם הוּא דָבָר הַצָּרִיךְ לַנּוֹתֵן, כְּגוֹן שֶׁהוּא אֶתְרוֹג בִּימֵי הֶחָג, וְאָמַר: עַל מְנַת שֶׁתַּחֲזִירֵהוּ לִי, בְּוַדַּאי כַּוָּנָתוֹ שֶׁיַּחֲזִירֶנּוּ לוֹ בְּעוֹד שֶׁצָּרִיךְ לוֹ וְצָרִיךְ לְהַחֲזִיר לוֹ מִיָּד. וְאִם אָמַר: עַל מְנַת שֶׁתַּחֲזִירֵהוּ, וְלֹא אָמַר: לִי, יָכוֹל לְהַחֲזִיר כְּשֶׁיִּרְצֶה (תְּשׁוּבַת רַשְׁבָּ''א סִימָן אֶלֶף) . הַנּוֹדֵר לַחֲבֵרוֹ לִתֵּן לוֹ מַתָּנָה, לֹא מְהַנֵּי אִם נוֹתֵן לוֹ עַל מְנַת לְהַחֲזִיר (רִיבָ''שׁ סִימָן שמ''א).