A look at שולחן ערוך, יורה דעה סימן רצ״ו shows:
ב:) אין אסור משום כלאי הכרם אלא מיני תבואה ומיני ירקות בלבד אבל שאר מיני זרעים מותר לזרעם בכרם ואין צריך לומר שאר אילנות:
I.e. Only grains and vegetables may not be planted in a vineyard, other seeds may be planted.
Similarly in כלאים פרק ה - משנה ח
הַמְקַיֵּם קוֹצִים בַּכֶּרֶם, רַבִּי אֱלִיעֶזֶר אוֹמֵר, קִדֵּשׁ. וַחֲכָמִים אוֹמְרִים, לֹא קִדֵּשׁ אֶלָּא דָבָר שֶׁכָּמוֹהוּ מְקַיְּמִין. הָאִירוּס וְהַקִּסּוֹם וְשׁוֹשַׁנַּת הַמֶּלֶךְ וְכָל מִינֵי זְרָעִים, אֵינָן כִּלְאַיִם בַּכָּרֶם. הַקַּנְבּוֹס, רַבִּי טַרְפוֹן אוֹמֵר, אֵינוֹ כִלְאָיִם, וַחֲכָמִים אוֹמְרִים, כִּלְאָיִם. וְהַקִּנְרָס, כִּלְאַיִם בַּכָּרֶם:
One who allows thorns to remain growing in a vineyard: Rabbi Eliezer says: he [thereby] prohibits [the vineyard]. But the sages say: he does not prohibit except if it something that is generally allowed to grow. Iris, ivy, and the king’s lily, and all manner of seeds are not kilayim in a vineyard. [As for] hemp: Rabbi Tarfon said: it is not kilayim, But the sages say it is kilayim. Artichokes are kilayim in a vineyard.
It seems that Kilayim does not apply to non-food plants.